Depuis le 11 juillet, huit revues savantes appartenant à la Société américaine de microbiologie ont éliminé toute référence au facteur d’impact dans leurs sites Web, outils de promotion et publications imprimées. Le directeur de la Société, Stephano Bertuzzi, soutient que cette mesure doit être bannie. «Le vent tourne contre le facteur d’impact», écrit le reporter de Nature Ewen Callaway.

Vincent Larivière, professeur à l’École de bibliothéconomie et des sciences de l’information de l’Université de Montréal, est parmi les spécialistes à s’être exprimé dans le sens du vent réformiste… «Cette mesure crée plus de confusion sur la qualité de la recherche scientifique qu’elle l’éclaire. À mon avis, il faudrait l’abandonner complètement», affirme le premier auteur d’un article paru le 5 juillet dans bioRxiv et qui dit souhaiter une prise de conscience, par la communauté scientifique, des limites du facteur d’impact dans l’évaluation de la recherche.

Si le vent tourne, cela pourrait bien être précisément à cause de cet article signé par huit sommités de l’édition savante – dont Sowmya Swaminathan, responsable de la politique éditoriale chez Nature; Marcia McNutt, éditrice de Science; et Véronique Kiermer, éditrice de PLOS – et qui a obtenu une visibilité mondiale avant même que l’encre ait séché sur le papier. Science l’a cité dans ses premières pages avec un titre évocateur : «Hate journal impact factors? New study gives you one more reason» (Vous détestez les facteurs d’impact? Une nouvelle étude vous donne raison). Nature est allée plus loin : «Beat it, impact factor!» (Débarrassez-vous du facteur d’impact!).

Créée en 1972 afin d’aider les bibliothécaires à choisir les revues les plus pertinentes pour les usagers de collections scientifiques – à une époque où la numérisation des données était inexistante –, cette mesure a commencé à déraper dans les années 90 et est devenue un facteur de compétence… des auteurs. Le fait de publier dans des revues à fort facteur d’impact est considéré comme un critère de promotion dans d’innombrables universités. Ce facteur peut permettre aux établissements de grimper de quelques rangs dans les palmarès internationaux. On connaît des cas en Chine et en Russie où les chercheurs se voient accorder des primes proportionnelles aux facteurs d’impact des revues dans lesquelles ils publient.

Pourquoi cette «dérive»? «Parce que la dématérialisation des informations a remis en question le concept même de revue savante», répond Vincent Larivière, joint aux Pays-Bas, chez des collègues néerlandais spécialisés dans la mesure de la science.

«Erreur méthodologique 101»

Nature a actuellement un facteur d’impact de 38,1 et Science de 34,7; cela signifie que chaque article de ces revues est cité en moyenne environ 38 et 35 fois sur une période de deux ans. Or, tout juste une quarantaine d’articles sur les centaines que ces revues publient annuellement correspondent à ces moyennes. «Le facteur d’impact est hautement influencé par un petit nombre d’articles abondamment cités», déplore l’article de Nature. Au point où la très grande majorité des articles de cette revue sont cités beaucoup moins souvent que le laisse entendre l’indice, soit de 0 à 35 fois.

Vincent Larivière et ses collaborateurs ont calculé que les citations des trois quarts des articles parus dans 11 revues majeures au cours des dernières années se situent sous la valeur du facteur d’impact. En d’autres termes, moins de un article sur quatre obtient au moins la valeur moyenne. «La moyenne est un indice pertinent quand les données varient peu et suivent une distribution normale. Par exemple, au Canada, la taille moyenne des femmes est de 168 cm, et la plupart des Canadiennes se situent autour de cette valeur. Or, dans le cas des articles scientifiques, la majeure partie sont cités sous la médiane et une minorité d’articles sont hautement cités, ce qui rend la moyenne bien peu représentative des articles individuellement», résume l’expert.

Pour bien illustrer leur portée dans le monde de la science, les revues devraient présenter très clairement dans leurs pages un tableau synthèse des citations reçues par leurs articles. Elles pourraient afficher leurs performances dans des sites comme ORCID_iD, un répertoire numérique en libre accès qui assure une transparence dans la communication scientifique. Le site CrossRef peut aussi assurer la visibilité des citations dans le monde. «L’unité de mesure doit être l’article lui-même et non la revue», croit l’universitaire.

Qu’est-ce qu’une revue?

Les revues scientifiques sont-elles encore pertinentes aujourd’hui? «On peut se poser la question!» concède Vincent Larivière, qui rappelle certains éléments propres à ce type de publication : la révision par les pairs, la périodicité, la thématique commune… «On compte plus de 100 000 revues savantes, auxquelles on peut ajouter bon nombre de revues d’idées dans lesquelles publient de nombreux universitaires. La quasi-totalité de ces publications offrent une version électronique de leur contenu.»

Imprimée ou pas, la revue savante demeure le lien qui unit les membres d’une communauté d’idées. «Si vous êtes abonné à la Revue d’histoire de l’Amérique française, vous partagez avec les lecteurs et les auteurs un intérêt pour le thème. Vous voulez savoir ce qui se fait et, éventuellement, y contribuer vous-même.»

La chose est différente pour les revues généralistes de référence, qui ont une portée mondiale et multidisciplinaire. C’est dans Nature, fondée en 1869, que Wilhelm Röntgen décrit les rayons X en 1896; que James Watson et Francis Crick proposent la double hélice de l’ADN en 1953; et que le clonage de la brebis Dolly est annoncé en 1996. Lancée en 1880 par Thomas Edison, Science, la revue de l’Association américaine pour l’avancement des sciences, a publié les travaux historiques du physicien Albert Einstein et de l’astronome Edwin Hubble. «Ces revues sont prestigieuses en partie parce qu’elles sont très anciennes. Longtemps, elles ont été presque les seules à avoir une pénétration mondiale. À présent, cette caractéristique est commune et plusieurs articles importants paraissent dans des revues considérées comme moins prestigieuses», souligne M. Larivière.

Entre ces gros joueurs et la Revue d’histoire de l’Amérique française, un nouveau modèle s’est immiscé : la plateforme de diffusion numérique. «Je pense au plus gros diffuseur de l’heure en science, qui compte plus de 33 000 articles publiés en 2015 : la Public Library of Science [PLOS]. C’est une plateforme de diffusion qui n’a pas de périodicité; les articles paraissent quand ils sont prêts. Mais elle répond toujours à certains critères, telle la révision par les pairs.»