Bibliometrie_Guide_bonnes-pratiques

Bibliométrie

Guide des bonnes pratiques

CC-BY (v. 4.0) | Université du Québec | 2022

La bibliométrie est une analyse quantitative des publications savantes. Les méthodes bibliométriques sont utiles pour appuyer la description et l’évaluation de la production scientifique ainsi que pour effectuer une veille informationnelle. Ce guide vise à sensibiliser les intervenants et intervenantes de la recherche à une utilisation éclairée des données bibliométriques dans un contexte d’évaluation de la recherche.

Introduction

COMPRENDRE

CONTEXTUALISER

ADAPTER

COLLABORER

COMPRENDRE

CONTEXTUALISER

ADAPTER

COLLABORER

Comprendre

Chaque outil a ses forces et ses faiblesses

Plusieurs facteurs affectent la valeur des indicateurs

Les indicateurs bibliométriques doivent être utilisés avec prudence

Chaque discipline a ses particularités

les forces et les limites des outils et indicateurs

Les outils fournissant des données bibliométriques ont chacun leurs forces et leurs faiblesses en ce qui concerne :

• la qualité de leurs données,
• la couverture des disciplines,
• les langues de publications,
• les types de documents.

• L’exactitude des données : des doublons de profils ou des noms mal orthographiés peuvent être à l’origine de données inexactes ;
• La couverture de la base de données : les domaines de recherche et les langues de publication ont une couverture inégale dans certains outils, ce qui peut avantager ou désavantager chercheurs et chercheuses ;
• Le genre : les femmes ont tendance à être moins citées que leurs pairs masculins pour des raisons qui n’ont rien à voir avec la qualité de leurs travaux ;
• Les types de documents : les recensions d’écrits et les articles sont généralement plus cités que les livres et les articles de conférence ;
• Les auto-citations : elles peuvent faire gonfler la valeur des indicateurs. Heureusement, certains outils permettent de les exclure de leur calcul ;
• Le temps : les indicateurs dérivés de citations, comme l’indice h, sont plus sensibles au passage du temps, ce qui les rend inadéquats pour comparer des chercheurs et chercheuses qui ne sont pas au même stade de leur carrière. Par ailleurs, les citations s’accumulent sur une une plus ou moins longue période de temps selon les disciplines.

• Les indicateurs bibliométriques sont nombreux, basés sur des calculs distincts et communiquent des informations spécifiques. Informez-vous sur la façon dont ils sont calculés, dans quel contexte ils sont pertinents et dans quel contexte on doit les utiliser avec discernement.
• Le facteur d’impact d'une revue se calcule en divisant le nombre de citations obtenues pour les articles publiés pendant une période donnée (2 ou 5 ans) par le nombre total d’articles publiés pendant cette même période dans la revue. Le facteur d’impact est proposé par le Journal Citation Reports grâce aux données de Web of Science.

Le facteur d'impact ne devrait jamais être utilisé pour évaluer l’impact ou la qualité de la production scientifique d’individus, de groupes de recherche ou d’institutions. Selon la déclaration DORA, les limitations du facteur d'impact sont:

1. Les distributions des citations dans les revues sont très asymétriques ;
2. Les propriétés du facteur d’impact sont propres à chaque domaine : il s’agit d’un agrégat de types d’articles multiples et très divers, avec des articles primaires comme des articles de synthèse ;
3. Les facteurs d’impact peuvent être manipulés (ou « instrumentalisés ») par une politique éditoriale ;
4. Les données utilisées pour calculer les facteurs d’impact ne sont ni transparentes ni ouvertement accessibles au public.

Les habitudes de citations et de communication des résultats de la recherche varient d’une discipline à l’autre. Toutefois, il existe des indicateurs normalisés en fonction des disciplines, comme le Field-Weighted Citation Impact (disponible dans l’outil SciVal) ou le Category Normalized Citation Impact (disponible dans l’outil Incites), qui sont à privilégier dans certains contextes. Les indicateurs normalisés sont pondérés selon les pratiques de citations disciplinaires et permettent donc une comparaison de l'impact scientifique entre plusieurs disciplines.

+ Info

+ Info

+ Info

COMPRENDRE

CONTEXTUALISER

ADAPTER

COLLABORER

Contextualiser

est primordial: l'analyse quantitative vient appuyer l'argumentation

cHERCHEUsescHERCHEURS

éVALUATriceséVALUATEURS

Bibliothécaires Agent·es de recherche

Le contenu scientifique d’un article est beaucoup plus important que les indicateurs de publication ou l’image de marque de la revue dans laquelle il a été publié. Déclaration DORA

Chercheuses / Chercheurs

• Ne prenez pas de raccourci! Servez-vous des indicateurs pour construire un récit d’impact qui met en valeur vos contributions scientifiques et votre excellence. Vous pouvez enrichir ce récit en ajoutant d’autres informations telles les retombées politiques, sociales et économiques de vos recherches.
• Posez-vous ces questions : que voulez-vous démontrer? À quoi serviront les données bibliométriques? Quels sont les éléments dont il faut tenir compte ? Quels ensembles de données doivent être analysés pour répondre au besoin?

Évaluatrices / Évaluateurs

• Évaluer n'est pas synonyme de classer! Il existe divers indicateurs pour appuyer différentes forces en recherche. Évitez de comparer uniformément les performances d’individus aux profils variés.
• Évaluez les données bibliométriques selon l'objectif recherché : qui évaluez-vous et pourquoi?

Bibliothécaires / Agent·es de recherche

• Cernez le besoin : prenez le temps d’échanger avec la personne faisant la demande afin de bien comprendre ce qu’elle tente de démontrer et proposez des indicateurs selon son besoin.
• Considérez la mission de l’entité de recherche.

+ Info

+ Info

+ Info

Adapter

COMPRENDRE

CONTEXTUALISER

ADAPTER

COLLABORER

pour tenir compte des spécificités des pratiques de diffusion de la recherche propres à une culture disciplinaire

cHERCHEusescHERCHEURS

éVALUATriceséVALUATEURS

Bibliothécaires Agent·es de recherche

Chercheuses / Chercheurs

• Choisissez des indicateurs qui représentent le mieux votre réalité.
• Au besoin, inspirez-vous des mesures alternatives pour bonifier la rédaction de votre récit d’impact. Alors que les indicateurs "traditionnels" tirent majoritairement leurs données des métadonnées des articles scientifiques, les mesures alternatives (ou Altmetrics) se basent sur d'autres sources, comme les réseaux sociaux, les médias de masse, les blogues, les politiques publiques, etc.Exemples : citations dans les rapports gouvernementaux, dans les brevets, mention dans des blogues d'actualités scientifiques
• Les mesures alternatives peuvent servir de complément à une analyse bibliométrique traditionnelle : elles offrent un portrait de l’intérêt de la communauté scientifique ou du public pour une recherche. Toutefois, elles comportent certains biais. Par exemple, l’attention reçue n’est pas gage de la qualité de la recherche, car elle peut être liée à une controverse ou servir d’autopromotion.

Évaluatrices/Évaluateurs

• Relativisez les données par rapport au contexte;
• Gardez une vision d’ensemble;
• Privilégiez les indicateurs qui concordent avec l’entité et la conjoncture analysées;
• Au besoin, combinez plusieurs indicateurs de façon à saisir au mieux les performances scientifiques;
• Personnalisez l’évaluation.

Bibliothécaires / Agent·es de recherche Offrez un service personnalisé :

• Aidez les chercheurs et chercheuses à bien identifier les particularités de leurs modes de diffusion de la recherche;
• Ciblez leurs spécialités de recherche afin de sélectionner les indicateurs qui refléteront au mieux la réalité de ce milieu de référence;
• Orientez-les vers des outils et ressources pertinentes.

+ Info

+ Info

+ Info

cHERCHEUsescHERCHEURS

éVALUATriceséVALUATEURS

Collaborer

COMPRENDRE

CONTEXTUALISER

ADAPTER

COLLABORER

pour encourager un processus transparent qui fait évoluer les pratiques

Bibliothécaires Agent·es de recherche

Chercheuses / Chercheurs

• Impliquez-vous dans le processus en consultant les responsables de la bibliométrie ou les bibliothécaires de votre institution et validez avec eux la méthodologie et les données.
• Maintenez à jour vos contributions scientifiques sur les plateformes (ex: dépôt institutionnel, ORCID, etc.). Cela permet de réduire les erreurs et d’augmenter la qualité et la fiabilité de vos données dans les outils bibliométriques.

Évaluatrices / Évaluateurs

• Présentez aux personnes concernées les critères d’évaluation qui s’appuient sur les données bibliométriques;
• Ouvrez-vous à la discussion sur l’ajout de données complémentaires pour supporter l’évaluation.

Bibliothécaires / Agent·es de recherche

• Décrivez la méthodologie et l'information pertinente pour la reproductibilité de l'analyse.
• Validez les données avec la personne faisant la demande.

COMPRENDRE

CONTEXTUALISER

ADAPTER

COLLABORER

Crédits

Ce guide est le fruit d’un travail collaboratif de:

Pour plus d’informations sur la bibliométrie, consultez le Carrefour bibliométrie et communiquez avec le ou la bibliothécaire responsable dans votre établissement.

COMPRENDRE

CONTEXTUALISER

ADAPTER

COLLABORER

Bibliographie

Bibliothèque de l’ÉTS. (2016). Du bon usage des indicateurs bibliométriques à l’ÉTS.

Bibliothèque de l’Université Laval. (2022). Bibliométrie et impact de la recherche.

CASRAI. (2022). Snowball metrics : Standardized research metrics, by the sector for the sector.

Conseil des Académies canadiennes. (2012). Éclairer les choix en matière de recherche : indicateurs et décisions.

Coutrot, L. (2008). Sur l'usage récent des indicateurs bibliométriques comme outil d'évaluation de la recherche scientifique. Bulletin de Méthodologie Sociologique, 100, 45–50.

DORA. (2012). Déclaration de San Francisco sur l’évaluation de la recherche.

COMPRENDRE

CONTEXTUALISER

ADAPTER

COLLABORER

Bibliographie

Université du Québec. (2022). Carrefour bibliométrie.

Gingras, Y. (2008). La fièvre de l’évaluation de la recherche: Du mauvais usage de faux indicateurs, Bulletin de méthodologie sociologique, 100, 42-44.

Gingras, Y. (2014). Les dérives de l’évaluation de la recherche : du bon usage de la bibliométrie. Raisons d’agir.

Hicks, D., Wouters, P., Waltman, L., de Rijcke, S., & Rafols, I. (2015). Bibliometrics : The Leiden Manifesto for research metrics. Nature, 520(7548), 429-431.

Larivière, V., et Sugimoto, C. R. (2018). Mesurer la science. Presses de l’Université de Montréal.

Service des bibliothèques de l’UQAM. (2022). Bibliométrie : indicateurs de performance des revues.

Service des bibliothèques de l’UQAM. (2022). Bibliométrie : indicateurs reliés aux autrices et aux auteurs.

Université du Québec. (2021). Cultivez votre identité numérique.