L' EVALUATION DES PUBLICATIONS ELECTRONIQUES (2006)

Rapport pour le CSU/ U.S.T.H.B sur
L' EVALUATION DES PUBLICATIONS
ELECTRONIQUES
2006
§.1. Scientométrie
L’ensemble des travaux entrepris depuis des années dans le but d’analyser quantitativement (et qualitativement) l’activité de recherche scientifique, a donné lieu à la science de la science aux
USA et à la naukovodemie en URSS, à savoir la scientométrie. On voit se développer au début des années soixante aux Etats Unis, les travaux de Solla Price et de Eugène Garfield qui en 1963 fonde
l’ Institute for Scientific Information (ISI) et développe la base de données bibliographique Science Citation Index (SCI). Par ailleurs, en URSS, l’article de Borichevski (1926), militait pour l’instauration d’une nouvelle discipline dont l’objet est l’étude de la nature intrinsèque de la science. Mais c’est avec l’apport de Dobrov qui a établi un institut dans ce but, que la Naukometrica est née.
Les analyses scientométriques se scindent en deux catégories, conduisant ainsi à définir deux indicateurs, à savoir, les indicateurs d’activité qui fournissent des données sur le volume de l’impact de la recherche, et les indices relationnels qui s’occupent des liens et des interactions entre chercheurs et domaines de recherche. L’activité de recherche se transmet au lecteur sous forme d’articles scientifiques, de livres ou de brevets. Afin de disposer de ce savoir, des bases de données scientifiques spécialisées telles que, Physical Abstracts, INSPEC (électricité, électronique..), Biosis (sciences de la vie), et celles généralistes telles que, Pascal (base de données Française) ; et des bases de données brevets telles que Questel, Orbit, dialog, etc., ont été développées.

§.2. Revues traditionnelles
En ce qui nous concerne, nous nous intéressons aux articles scientifiques qui ont pour rôle, la communication de l’information scientifique, la validation de la recherche et par conséquent, la reconnaissance du chercheur. Les revues qui contiennent un ensemble d’articles sont définies comme des publications en série, à parution régulière, dotées d’un titre déposé et composées d’une suite d’articles évalués par un comité de lecture en fonction de critères scientifiques (Dévillard 1993). Les revues sous la forme actuelle ont vu le jour en 1665 avec le journal des Sçavans de l’Académie des Sciences (France) et la Phylosophical Transactions de la Royal Society of London.
Les revues sont caractérisées par :
                        i/ les normes de publication telles que: la régularité d’apparition, la description complète des titres, des abstracts, des adresses des auteurs et des références citées, et le processus d’expertise,
                        ii/ le contenu éditorial : la revue doit présenter du nouveau, en particulier si la spécialité est suffisamment couverte. En fait, un nombre réduit de revues rend compte de la plus grande partie de la littérature (Loi de Bradford).
                        iii/ la diversité internationale des auteurs des articles sources et cités, ainsi que,
           iv/ l’analyse de citation. Le processus d’évaluation des revues par l’ISI permet d’évaluer, de comparer et de classer les revues. Mais alors, cette analyse affecte nécessairement la réputation des revues et donc leur argument de vente. Il est basé sur un nombre défini d’indicateurs, à définir avec précision si l’on aspire à une utilisation correcte des données de citation dont disposent les éditeurs de l’ISI, viz, le taux de citation global, le facteur d’impact, l’indice d’immédiateté, et la demi-vie des citations.
La demi-vie des citations, est une mesure de longévité des citations d’une revue et représente la durée au bout de laquelle le nombre de ces citations franchissent vers le bas, le seuil de la moitié de leur nombre total. L’indice d’immédiateté permet de cerner les périodiques les plus ‘’chauds’’, et mesure donc la rapidité de citation des articles. Par exemple, il y a eu 4913 citations d’articles publiés en ‘’Science’’ en 1995, alors qu’il y a eu 1037 articles publiés au total, ce qui nous donne un indice d’immédiateté de Science = 4913/1037 = 4.738. Les très grandes revues généralistes possèdent un indice supérieur à 2. Quant au facteur d’impact des revues, c’est une mesure de la notoriété de la revue et constitue la fréquence moyenne de citation des articles d’une revue sur une durée définie. C’est quantitativement le ratio du nombre de citations au nombre d’articles publiés par une revue sur une période de référence de deux ans. Par exemple, le facteur d’impact de Science en 1995 est calculé comme suit : le nombre de citations en 1995 d’articles publiés en 1993 et 1994 est égal à 45663 alors que le nombre d’articles publiés en 1993 et 1994 est égal à 2084, ce qui donne un facteur de 45663/2084= 21.911~22. Cependant, le facteur d’impact ne reflète pas la qualité d’un article, e.g., de nombreux articles dans Science et Nature ne sont pas cités. Plusieurs facteurs peuvent intervenir pour distordre les résultats que l’on peut espérer d’une analyse basée sur le facteur d’impact. En effet, certains éléments tels que : la dégénérescence due aux noms homographes, la prise en compte du premier auteur seulement, l’autocitation, la surreprésentation des articles méthodologiques et des articles de synthèse, la différence entre domaines, et les effets hégémoniques, i.e, les citations sont celles relevées par l’ISI, la littérature non exprimées en anglais n’est pas prise en compte, souvent sont cités les articles de son propre pays, etc.
En conclusion, les indicateurs suscités ne sont pas fiables pour juger la production individuelle. A titre d’exemple, la revue Science est classée la première par les scientifiques, alors qu’elle est mise au deuxième rang par l’ISI. Il est nécessaire néanmoins de signaler que, la littérature traditionnelle (avec le support papier), vit actuellement une crise. En effet, deux facteurs importants peuvent être à l’origine de cette crise, à savoir, la taille de la littérature en augmentation exponentielle et la technologie électronique en plein essor. De nouvelles revues voient le jour en permanence, sans que personne ne les achète, tandis que les anciennes voient leurs abonnements stoppés. A titre d’exemple, l’université d’Harvard qui réserve la somme de ~ 60M$ pour ces bibliothèques, serait-t-elle capable de suivre la croissance de la littérature. Cette croissance est caractérisée par un doublement du nombre d’articles. Odlyzko (AT&T Bell Lab.)estime que la publication de 50 000 articles par année en mathématiques peut aboutir à 1 million d’articles après 10 ans. La moitié de la production est réalisée donc durant la dernière décennie, dépassant ainsi les capacités actuelles des bibliothèques. Sachant que les articles dans les revues de plus en plus spécialisées ne sont lus que par un nombre restreint de chercheurs. De l’autre côté l’informatique et l’électronique se sont énormément développées. En plus de l’argument économique, on peut évoquer la lenteur dans la publication (des années parfois..), alors que les chercheurs publient dans le but d’être lus et cités dans des délais en accord avec la récente vélocité technologique. Il a été noté par Odlyzko le fait que le support papier présente des difficultés dans la production, la distribution, l’archivage, etc.
§.3. Les e-publications
Mais alors pour les raisons suscitées, un nouveau mode de publication est apparu durant les années 80, viz., les journaux sur réseaux. Au début ce fut la phase du balbutiement, mais actuellement nous sommes en présence d’expériences concluantes. Les potentialités offertes par ce mode de publications sont multiples : i/ les images 3D, ii/ la vidéo, iii/ le son, iv/ l’interactivité, en l’occurrence, l’article peut être augmenté par des commentaires notamment, ainsi des auteurs qui citent un article retrouvent leur article dans les références du premier, v/ la vélocité de la diffusion, et vi/ l’éventuelle émergence de nouvelles communautés : on pourra alors espérer un changement du mode de pensée car tributaire du mode de communication.
Harnad voit en l’édition électronique, la quatrième révolution cognitive après celles induites par la parole, l’écriture et l’imprimerie. Cependant, il est nécessaire de faire la distinction entre les revues électroniques et celles qui sont les ‘’clones’’ des revues de support en papier. Les e-revues peuvent adopter les mêmes normes internationales que les revues traditionnelles, et on note en particulier le système de validation (d’expertise). Mieux encore, dans le cas des e-revues, la validation peut être ouverte, i.e., la première version est soumise pendant un laps de temps déterminé, et à laquelle on adjoint des commentaires. De cette manière, la version finale est augmentée des commentaires et de la réponse de l’auteur. Mais alors, un comité de lecture informel et aux frontières floues peut être constitué de facto. Il a été noté par Odlyzko néanmoins, qu’au début des années 90, toutes les e-revues en mathématiques appliquaient le système de validation conventionnel (peer review).
Citons quelques exemples d’expériences menées dans le cadre de la e-publication :
Elsa : c’est une collaboration entre Elsevier et l’université De Monfort (Leicester), qui a aboutit à la conversion d’une centaine de revues, pour être mises à la disposition d’utilisateurs prédéfinis dans le but de les évaluer.
SuperJournal : c’est un projet Britannique qui a mis en association 20 éditeurs et 9 universités dans le but d’étudier les chances du journal électronique.
Melvyl : l’université de Californie en accord avec IEEE, a mis en ligne presque une centaine de revues et 200 proceedings de conférence, sur les 9 campus californiens.
Blend : c’est une étude sur l’impact des e-journaux (1980 à 1984).Il a été souligné dans cette étude, l’importance d’une nouvelle forme de validation.
§.4. OA-revues
Une étude plutôt récente (oct. 2004) a été réalisée par ISI (maintenant Thomson Scientific) sur les revues à libre accès (Open Access). Mc Veigh les définit comme étant des revues gratuites, électroniques et avec comité de lecture. Le chercheur est autorisé à télécharger, à copier, à imprimer, etc., des articles de son choix. Mc Veigh estime que la publication électronique a changé le mode de l’accès à la littérature scientifique, et maintenant l’accès libre est en train de changer le mode de distribution de la matière électronique.
Il a été noté que souvent les OA-revues se classent en général parmi les journaux de faibles facteurs d’impact et d’indices d’immédiateté. Cependant, en physique, en technologie et en mathématiques, les OA-revues sont au contraire bien classées. Ceci est dû, à la tradition déjà établie des pré-prints électroniques.
Ces revues se classent en deux catégories, elles sont soit nouvelles soit déjà établies mais s’accommodent avec le nouveau paysage de la distribution. L’étude montre en outre, que le nombre des OA-revues ne cesse d’augmenter, en particulier pour la physique, les mathématiques et la technologie. L’analyse de la distribution des OA-revues montre que la région Asie/pacifique (79) est la plus avancée dans ce mode de diffusion suivie par l’Amérique du nord, pour que vienne en fin de classement la région Moyen orient/Afrique (5). Mais c’est la région d’Amérique du sud/centrale qui vient en première position si l’on considère le nombre des OA-revues par unité de revues (42.3%). Le Brazilian Journal of Physics, le Chinese Journal of Physics et Pramana Journal of Physics, représentent des échantillons des OA-revues.
§.5. Pré-prints électroniques
Il a été signalé ci-dessus que la tradition des pré-prints électroniques est bien établie dans les communautés des physiciens et des mathématiciens. En fait, avant la deuxième guerre mondiale, la notion de pré-print n’était pas répandue. Tandis que de nos jours les pré-prints sont devenus indispensables dans certaines disciplines. Il est admis qu’il est rare pour les mathématiciens d’être à la pointe des connaissances à travers les publications traditionnelles. Lev Landau (Nobel) le physicien russe enrichissait ses connaissances à travers les séminaires. Un spécialiste en informatique a dit un jour ‘’ si je le lis dans un journal, alors je ne suis pas dans le circuit ‘’.
La version électronique des pré-prints a été proposée par Paul Ginsparg de Los Alamos National Laboratory. En seulement une année la communauté des physiciens théoriciens des hautes énergies a balancé dans le nouveau système proposé. Ginsparg attribue cette tendance au fait que dans cette communauté le premier moyen de diffuser l’information est le pré-print envoyé par courrier; le second étant la revue classique (papier), car les résultats qu’elle contient sont déjà obsolètes au moment de sa mise en circulation. Cette forme de documentation est appelée ‘’ e-print archives’’. La première base de données hep-th (high energy physics theory) a vu le jour en Août 1991, elle était destinée aux physiciens travaillant sur la théorie des cordes. D’ailleurs, certains pensent que ces e-archives sont leur grande contribution à la science. Au début le système était connu en tant que pré-print de LANL (xxx.lanl.gov) et ensuite en tant qu’ ArXiv.org et domicilié à présent à l’université de Cornell. Ceux sont des pré-prints dans des domaines aussi variés que la physique, les mathématiques, l’informatique, la biologie, la science non-linéaire, etc. En septembre 2005 on comptait 340 000 e-prints (articles), sachant que 3000 à 4000 nouveaux e-prints sont introduits dans le système chaque mois. Il est admis qu’ ArXiv.org était un des éléments à l’origine de la révolution de la publication scientifique connue sous le nom d’accès libre (OA : open access). Un autre avantage d’ArXiv.org est la réduction des frais de publication de deux (02) ordres de grandeurs.
L’expérience montre que l’accès à l’information scientifique à travers les archives e-print est extrêmement utile, en dépit du fait que les e-prints ne sont pas validés par un comité de lecture conventionnel. Mais ceci ne constitue aucunement un problème majeur, dans la mesure où dans chaque communauté il est aisé pour les spécialistes de déceler les incohérences. En outre, la qualité peut être imposée par l’établissement de plusieurs barrières : la première étant l’avis favorable préalable d’un endosseur, ensuite le comité en charge d’ArXiv doit entériner la décision de l’endosseur. Mais en vérité la barrière réelle est le chercheur lui-même, car un e-print mal préparé ou contenant des erreurs (ou plagiat), est exposé à toute la communauté scientifique internationale, et même s’il décide de le retirer il en restera une trace. En fait, la validation est implicite et s’inscrit dans le temps. Le e-print intéressant est cité par les spécialistes. D’ailleurs, dans l’échantillon que nous présentons, il apparaît que les statistiques correspondant un e-print donné, sont accessible, e.g., le nombre de fois cité, le nombre de fois téléchargé, etc. On peur voir n article non validé (unrefereed) attirer plus d’attention qu’un validé. Il a été noté par Ginsparg qu’à des fins administratives, viz., recrutement, budget de recherche,.., un ‘’ hot pré-print ‘’ dans un CV peut être aussi important qu’une publication classique. En effet, des scientifiques de renom soumettent à ArXiv leurs papiers déjà publiés, car ce système leur offre une audience plus large. Rappelant que le système de validation classique‘’peer review‘’ présente des fois quelques faiblesses : le ‘’referee‘’ peut être subjectif (avoir des préjugés sur une université donnée par exemple) ou simplement incompétent.
§.6. Références
1. M.Callon, J-P. Courtial, et H. Penan, la scientométrie, série que sais-je (Eds. Dahlab, 1996).
2. M.Benromdhane, les nouvelles pratiques de production et d’usage des revues scientifiques dans leur passage à l’électronique, CISI’99, (Tunis 1999) URL.http://www.recodoc.univ-lyon1.fr/ publications/CISI99/CISI99.htm
3. A.F.Chatelain-Gibert, Journaux électroniques scientifiques points de vue des utilisateurs, rapport de recherche bibliographique, DESS en informatique documentaire, (ENSSIB, Univ. Claude Bernard, 1996).
4. N.Pinhas et C. Kordon, Du bon usage du facteur d’impact, URL. http://www.bu.univnantes.fr /   sante/periodic/impact.html.
5. Généralités,URL. http://www.eva.inserm.fr/ Bibliometrie/ EvaBiblioGenIF Journaux Scientifiques .htm.
6. T.D.Nguyen, P.Prinderre, C. Sauzet, H. Rostaing, et J. Kister, Contribution à l’évaluation stratégique de la recherche par l’étude des temps de premières citations, URL. http://isdm.univ-tln.fr.  
7. M.E. Mc Veigh, Open access journals in the ISI citation databases : analysis of impact factors and citation patterns. A citation study from Thomson Scientific, 2004.
8. A.M.Odlyzko, Tragic loss or good riddance? The impending demise of traditional scholarly journals, Intern. J. Human-Computer Studies, 42, p71122(1995), accessible aussi à l’adresse URL. http://www.dtc.umn.edu/~odlyzko/doc/tragic.loss. txt.
9. P.Ginsparg, Winners and losers in the global research village, Invited Cont. for Conf. at UNESCO HQ, Paris, 19-23 Feb. 1996, during session Scientist’s View of Electronic Publishing. URL. http://people.ccmr.cornelle.edu/~ginsparg/blurb/p g96unesco.html .
10. P.Ginsparg, Creating a global knowledge network, Invited Cont. for Conf. at UNESCO HQ, Paris, 19-23 Feb. 2001, Second Joint ICSU Press-UNESCO Expert Con. On Electronic Publishing in Science.URL. http://people.ccmr.cornelle.edu/ ~ ginsparg/blurb/pg01unesco.html.
R.ANNOU