Tutoriel : ezPAARSE – ezMESURE Guide des bonnes pratiques

Table des matières

  1. Nommage des fichiers de log
  2. Automatisation des traitements avec ezPAARSE
  3. Automatisation des chargements avec la commande ezMESURE
  4. Visualisation des tableaux de bord dans Kibana
  5. Vos identifiants Kibana
  6. Nommage de votre index
  7. Nommage des objets Kibana
  8. Nommage de vos objets Kibana

Nommage des fichiers de log

Le nommage de fichiers de log directement à la source (au niveau de la configuration EZproxy par exemple) permet d’avoir une traçabilité complète lors de la suite des traitements.

Une bonne pratique recommandée par l’équipe ezPAARSE est d’utiliser la configuration EZproxy pour nommer directement les fichiers de log de façon explicite.

La directive à utiliser est la suivante :

LogFile -strftime %Y-%m-%d_univ-XXX[autres informations facultatives].log

Exemple

LogFile -strftime %Y-%m-%d_univ-lemans.log

Va demander à EZproxy de générer un fichier de log par jour en y ajoutant le nom de l’université.

Voir le site de l’OCLC pour plus d’informations

Si vous avez des fichiers déjà nommés (avec la directive par défaut d’EZproxy par exemple), il est possible de les renommer en masse en utilisant une commande du type :

rename 's/ezp(.*)\.log/$1_univ-lemans.log/g' *.log

 

Automatisation des traitements avec ezPAARSE

Une fois les fichiers de log correctement nommés, la commande ecbulkmaker d’une instance locale d’ezPAARSE permet de traiter un ensemble de fichier log.

export http_proxy=''; ecbulkmaker -H "ezPAARSE-Predefined-Settings:00-fr-univ-paris8" /data/archives/ESR/univ-paris8 /data/results/ESR/univ-paris8/archive

La commande ci-dessus utilise les prédéfinis de l’université Paris 8 pour traiter tous les fichiers du répertoire

/data/archives/ESR/univ-paris8 et pour mettre le résultat du traitement dans le répertoire /data/results/ESR/univ-paris8/archive

Cette commande peut être lancée plusieurs fois dans le même répertoire, elle ne générera que les fichiers non encore traités.

Les plateformes éditeurs sont en constantes évolutions. Ce qui nous amène à procéder à des mises à jours des parseurs régulièrement. C’est pourquoi, nous vous invitons à retraiter vos logs de l’année en cours au moins deux fois par an (juillet et décembre) pour bénéficier des derniers enrichissements dans les ECs.

 

Automatisation des chargements avec la commande ezmesure

Une fois la commande ezmesure installée sur votre système, il est possible de charger automatiquement le résultat du traitement d’ezPAARSE dans le dépôt national ezMESURE.

ezmesure indices insert univ-fcomte /data/results/ESR/univ-fcomte/encours/*.csv

Cette commande peut être lancée plusieurs fois dans le même répertoire, elle n’insèrera que les ECs non encore chargés ou alors fera des mises à jour. Le nom de votre index est important et doit répondre aux bonnes pratiques (voir plus bas, le nom de votre index). Il sera toujours identique.

Pour le détail des usages de la commande ezmesure, voir plus bas.

Données ezPAARSE transmises à EzMESURE : il est fortement conseillé de n’utiliser que les données issues directement d’un traitement ezPAARSE pour les insertions dans ezMESURE de façon à limiter les erreurs de chargement. Nous vous déconseillons vivement de modifier les fichiers que vous souhaitez déposer dans ezMESURE ! En effet, si vous effectuez une modification en ouvrant un fichier d’ECs avec Excel, vous risquez de voir les identifiants, comme les ISBN ou les ISSN, (chaîne de caractères) convertis en nombre de façon silencieuse. Le format actuellement accepté par la commande ezMESURE (v1.4.2) est du CSV. Les champs obligatoires sont les champs : 

  • datetime,
  • log_id,
  • rtype,
  • mime,
  • title_id
  • doi,

automatiquement générés par ezPAARSE.

Il est conseillé de conserver un certain nombre de champs de gestion utilisés pour l’administration des données (même s’il ne sont pas obligatoires). Il s’agit des champs : ezpaarse_version, ezpaarse_date, middlewares_version, middlewares_date, platforms_version, platforms_date, middlewares.

Tous les champs du fichier de données insérées sont ensuite exploitables en visualisation avec Kibana, grâce à la création de visualisations et de dashboards personnalisés. A l’issue d’un premier chargement, le lien vers un dashboard par défaut vous est communiqué par l’équipe. Celui-ci est ensuite éventuellement modifiable à votre convenance.

 

 

Visualisation des tableaux de bord dans Kibana

Si vous aviez déjà un tableau de bord, celui est automatiquement à jour du fait des chargements des données. Vous n’avez qu’à faire varier la sélection des dates. Il suffit alors de visiter ezMESURE  avec vos identifiants et de choisir votre tableau de bord dédié dans l’espace Kibana.

Si vous n’avez pas encore de tableau de bord, contactez l’équipe.

Vous pouvez aussi créer vos tableaux de bord personnalisés en respectant les bonnes pratiques (voir plus bas) et même être aidé par l’équipe pour le faire (voir tutoriels).

 

 

Vos identifiants Kibana

Un contact est nécessaire avec l’équipe pour accèder à l’espace Kibana et obtenir votre premier dashboard par défaut.

Vos identifiants vous sont alors communiqués par mail après la première inscription dans ezMESURE, ils correspondent à la partie précédent le @ de votre adresse mail.

 

 

Nommage de votre index

Le nom de votre index est important, il correspond généralement à la partie suivant le @ de votre adresse mail ou a la forme univ-XXX (Dans le cas des partenaires universitaires).

 

 

Nommage des objets KIBANA

Les objets KIBANA sont associés à des index. Pour pouvoir savoir à quel index est associé un objet, une bonne pratique est de reprendre le nom de l’index dans le nommage de l’objet en le faisant précéder du nom_de_l_index: puis de matérialiser l’objectif de cet objet. Par exemple pour une visualisation affichant des chiffres : metrics. Si on veut indiquer qu’on est en cours de travail sur cet objet, on peut y faire figurer ses initiales.

Il existe trois types d’objets principaux dans kibana,

Reprise du nom des index dans le nommage kibana

ex de stockage : /data/results/ESR/univ-fcomte

ex d’index : univ-fcomte, bibcnrs-inc,

ex d’objet :

  • search : univ-fcomte
  • visualization : univ-fcomte:metrics
  • dashboard : univ-fcomte:default

vue dashbards searchs visualizations

 

 

Nommage de vos objets Kibana

Lorsque vous créez vos dashboards personnalisés, vos objets kibana doivent être nommés en respectant la syntaxe suivante :

(nom de l’index)

Initiales – univ-xxx:description du dashboard

Initiales – biblio-xxx:description du dashboard

exemple : FT – univ-orleans: dashboard formation

Ce nommage permet ensuite de retrouver facilement les dashboards associés à une personne (à ses initiales) en utilisant les filtres d’affichage

Les objets de visualisation Kibana peuvent être dédiés à un usage spécifique. C’est le cas par exemple pour la génération de dashboard PDF. Dans ce cas, il est possible de le signaler pour les retrouver facilement en utilisant le mot clé « report » dans les noms des objets.

Bonne lecture

Sylvie FRANCK pour ezTEAM