L’évaluation des savoirs scientifiques : modalités et enjeux





télécharger 89.01 Kb.
titreL’évaluation des savoirs scientifiques : modalités et enjeux
page1/3
date de publication11.10.2017
taille89.01 Kb.
typeDocumentos
e.20-bal.com > comptabilité > Documentos
  1   2   3


L’évaluation des savoirs scientifiques : modalités et enjeux

Muriel Lefebvre

Université de Toulouse – LERASS

Muriel.lefebvre@univ-tlse1.fr

In Schöpfel, J. (dir). 2008, La publication scientifique : analyses et perspectives, Paris, Hermès.

La rédaction de publications constitue une des activités essentielles de tout chercheur. Ces publications ont souvent plusieurs rôles : diffusion des connaissances, pour s’assurer la paternité d’un résultat, support de conservation d’une démarche ou encore instrument de validation des résultats proposés. C’est cette dernière dimension qui va nous intéresser plus spécifiquement. La recherche scientifique et les activités d’un chercheur sont en effet essentiellement évaluées depuis de nombreuses années à partir des publications d’articles [MER 73], [CAL 93], et chaque chercheur s’efforce de publier dans des revues reconnues pour valoriser ensuite son travail de recherche.

Mais comment ce système a t-il été mis en place ? Quelles sont les procédures actuellement en vigueur pour évaluer le contenu des publications ? Après une première partie exposant la genèse et le rôle des revues dans la communication scientifique, nous exposerons les différents systèmes d’évaluation qui coexistent aujourd’hui, renvoyant selon les cas à une expertise de contenu ou à une mesure de l’impact d’un article. Ces deux systèmes font actuellement l’objet de nombreuses critiques par les chercheurs de toutes disciplines et plusieurs initiatives numériques ont récemment été développées, présentées comme des alternatives aux dispositifs traditionnels d’évaluation. C’est à leur explicitation que sera consacrée la troisième partie de notre article.

5.1. La revue au cœur de la communication scientifique validée

Les premières revues scientifiques sont apparues au XVIIe siècle avec la création des sociétés savantes1. En France, le Journal des Sçavans a été créé en 1665 par l’Académie de Sciences ; en Angleterre, il s’agit de la revue Philosophical Transactions éditée la même année par la Royal Society. Ces revues, qui ont connu un succès immédiat, du fait de leur petit format, facile à reproduire, et assurant une diffusion rapide et régulière des informations scientifiques, ont joué un rôle important dans le développement et le fonctionnement de la science moderne, tant comme support de diffusion et de discussion de la science que comme instance de formalisation des pratiques scientifiques.

En effet, les revues, en structurant les échanges épistolaires soutenant jusque-là la diffusion et la discussion des connaissances nouvelles, ont contribué à rendre publics et collectifs les débats scientifiques : en publiant dans une revue, un auteur s’exposait désormais au regard de l’ensemble de la communauté des chercheurs et non plus seulement à ses collègues proches. Les revues ont donc constitué, depuis leur création, un espace public de discussion critique de la science, pour reprendre une expression de Boure & Suraud [BOU 95], qui est progressivement devenu un espace de légitimation des savoirs nouveaux. Le développement des revues s’est accompagné d’une transformation du régime de la preuve en science : alors que jusqu’au XVIIe siècle, seuls quelques témoins étaient présents aux expériences personnelles et souvent théâtralisées conduites par les savants (la renommée de ces derniers assurant la légitimé de leurs travaux), on assiste progressivement à la mise en place d’une technologie littéraire dépersonnalisant les comptes rendus d’expérience afin d’assurer un caractère public et diffusable à l’identique aux publications scientifiques [LIC 96]. L’écriture des publications s’est ensuite progressivement codifiée parallèlement aux tentatives de structuration et d’organisation des disciplines. Un format de présentation des recherches, le format IMRAD2, a ainsi graduellement été mis en place dans les disciplines expérimentales. A partir de la fin du XIXe siècle, on voit également apparaître des manuels de style, propres à chaque discipline, qui décrivent les « bonnes manières » et les règles formelles à adopter pour rédiger un article.

Depuis leur origine, les revues sont donc au cœur des processus de normalisation et d’évaluation de la recherche scientifique. Elles sont devenues aujourd’hui le principal support de validation d’une recherche mais également un instrument institutionnel d’évaluation des chercheurs et de leur carrière.

5.2. Les pratiques traditionnelles d’évaluation des publications

Deux systèmes d’évaluation sont actuellement principalement utilisés par une majorité de disciplines pour évaluer un article : un système d’évaluation de contenu, en amont de la publication (système des rapporteurs) et un système d’évaluation de l’impact d’un article, réalisé en aval de la publication (système bibliométrique). Il convient de noter cependant que les utilisations de ces deux systèmes diffèrent d’une discipline à l’autre, en fonction de la culture éditoriale de la communauté considérée, de son objet de recherche, de ses méthodes et de son fonctionnement organisationnel et communicationnel [KLI 00]. L’article constitue la publication de référence dans la plupart des disciplines dites Sciences, Technique et Médecine (STM), mais ce n’est pas toujours le cas en Sciences Humaines et Sociales (SHS) où la monographie joue un rôle fondamental. Toutes les publications n’ont donc pas le même statut et ne sont pas évaluées selon les mêmes critères dans toutes les disciplines [MER 73]. Par ailleurs dans certaines disciplines des sciences humaines et sociales comme la psychologie ou l’économie, on rencontre des pratiques éditoriales (et en particulier des pratiques d’évaluation) proches de celles des disciplines sciences, techniques et médecine ; tandis qu’à l’inverse, une discipline comme les mathématiques comporte de nombreux points communs avec les sciences humaines et sociales.

5.2.1. Le système des rapporteurs ou l’évaluation du contenu par les pairs

Avant d’examiner plus en détails le système d’évaluation par rapporteurs (referees), il convient au préalable de rappeler le fonctionnement d’une revue. Deux personnes sont responsables du dispositif éditorial : l’éditeur (en anglais editor) et le diffuseur (publisher). L’éditeur scientifique, généralement un chercheur, gère la création, le contenu. Il s’appuie sur un comité scientifique et sur un comité de rédaction, composés, pour le premier, de chercheurs reconnus dans le champ et légitimant le contenu éditorial de la revue et pour le second, de chercheurs s’occupant de la gestion scientifique quotidienne de la revue (contact avec les auteurs, les rapporteurs…). Le diffuseur, lui, a la responsabilité de la mise en forme définitive du prototype, sa reproduction, sa diffusion, ce qui suppose des savoir-faire que maîtrisent rarement les auteurs, plus préoccupés par le contenu que par la forme de la publication. Il s’occupe de la production (mise en page, design page de couverture, impression), du marketing (meilleure visibilité de la revue, catalogues…) et de la distribution (gestion des abonnements, diffusion en librairie…). C’est un métier à part entière, qui la plupart du temps ne concerne pas les chercheurs. L’organisation des modalités d’évaluation incombe donc dans l’intégralité à l’éditeur scientifique.

Le dispositif d’évaluation par rapporteurs (ou évaluation par les pairs, le peer-reviewing) a été organisé et systématisé avec l’apparition des comités de lecture, après 1945, dans un contexte d’essor considérable du nombre de publications, celles-ci étant par ailleurs de plus en plus spécialisées [BUR 90]. Les éditeurs ont progressivement mis en place plusieurs filtres : celui de l’éditeur qui sélectionne un article pour son intérêt thématique, puis celui des rapporteurs qui vérifient la qualité technique de la publication. La gestion de ce dispositif devient alors une responsabilité pour l’éditeur et la renommée d’une revue s’est petit à petit construite sur la rigueur de son système d’évaluation [BOU 95].

Le fonctionnement du système d’évaluation par les pairs comporte plusieurs étapes : l’article est envoyé par l’auteur à l’éditeur soit spontanément, soit en réponse à un appel à contribution sur un thème précis, soit en réponse à une sollicitation directe de l’éditeur3. Avant soumission, l’auteur s’est référé aux instructions aux auteurs publiées par la plupart des revues, qui donnent généralement une feuille de style mais également des instructions sur la structure des articles, la place et la taille des images, etc. L’article soumis est ensuite examiné par le comité de rédaction qui demande à des scientifiques (généralement deux) connus dans le champ4 d’évaluer la qualité du document proposé, sur la base :

-d’une évaluation scientifique : intérêt de la recherche, caractère innovant, solidité de la méthodologie, adéquation avec la ligne éditoriale de la revue, points forts, points faibles…

-d’une évaluation de la forme : lisibilité, qualité de l’expression, notes et bibliographie, longueur du texte.

Pour qu’un article soumis à publication dans une revue soit accepté, il doit comporter des résultats originaux n’ayant pas été publiés ailleurs. Chaque contribution ne peut donc être publiée qu’une seule fois. Une grille de lecture est en principe fournie aux rapporteurs permettant d’homogénéiser les critères d’expertise. Sur cette base, après lecture de l’article, les rapporteurs font les recommandations suivantes : la publication en l’état, des modifications (légères ou importantes), le refus de l’article. Si les deux rapporteurs sont d’accord, l’éditeur suit leurs recommandations, dans le cas contraire, il décide lui-même ou fait appel à un troisième rapporteur. En cas de modifications, les demandes sont transmises à l’auteur par l’intermédiaire de l’éditeur qui en fait une synthèse. Une fois l’article corrigé, celui-ci est renvoyé à l’éditeur accompagné d’une lettre expliquant comment les demandes de modification ont été prises en compte. La procédure peut être dite « en aveugle » (l’auteur ou les rapporteurs ont été anonymisés), « en double aveugle » (l’auteur et les rapporteurs ont été anonymisés : l’auteur ne connaît pas le nom de ses rapporteurs et ces derniers ne savent pas qui est l’auteur de l’article évalué) ou encore publique (l’auteur et les rapporteurs sont explicitement mentionnés).5 C’est le passage d’un article par ce dispositif éditorial propre aux revues « à comité de lecture » qui assure ensuite la validation de son contenu et légitime sa publication.6

Le rapport de confiance que l’auteur (et les lecteurs) entretiennent avec le fonctionnement éditorial de la revue est ici fondamental. Il repose sur la relation entretenue avec l’éditeur, dont le rôle de modérateur/filtre est généralement présenté par les chercheurs comme essentiel (voire excessif puisqu’il peut également décider de manière parfois arbitraire du devenir d’un article). C’est l’éditeur qui permet que le système des rapporteurs fonctionne, et c’est lui qui en porte la responsabilité. Il choisit les rapporteurs en fonction de leur qualité scientifique, de leur intégrité et de leur capacité à émettre des commentaires constructifs. Il s’assure théoriquement de l’indépendance des rapporteurs vis-à-vis des auteurs, en déjouant les réseaux de chercheurs qui fonctionnent parfois selon le système des « renvois d’ascenseurs ». Il s’assure également du fait que l’auteur et le rapporteur ne sont pas en compétition sur le sujet traité. Mais pour une petite revue, surtout si elle est jeune, le risque existe d’avoir moins d’exigence et de rigueur, que ce soit en confiant le travail de rapporteurs uniquement au comité éditorial de la revue, en fonctionnant par sollicitations auprès des auteurs (les articles commandés sont ensuite rarement refusés) ou enfin, par « copinage ».

Depuis une vingtaine d’année, ce mode d’évaluation par les pairs est souvent critiqué par les chercheurs7, l’expertise d’un article étant un processus particulièrement long qui, selon les disciplines, peut prendre de six mois à deux ans, voire plus (comme en mathématiques ou en économie), et qui est peu valorisé8, ce qui explique peut-être en partie l’absence de sérieux de certains rapports, et leur style parfois peu courtois. C’est finalement un processus très coûteux en temps, un article refusé dans une revue finissant souvent par être publié ailleurs après une seconde évaluation. L’anonymat est par ailleurs rarement respecté, et il est facile d’identifier l’auteur (analyse de la bibliographie, auto-citations, références à une école de pensée…) voire les évaluateurs (dans certaines disciplines, il n’existe que 2 ou 3 spécialistes d’un thème dans le monde), lorsque l’article n’est pas le résultat d’un système de « copinage ». L’anonymat favoriserait de plus le désengagement des rapporteurs, qui ne sont pas forcément aussi spécialistes que l’auteur de l’article et ne peuvent vérifier l’intégralité des résultats présentés (erreur, fraude, plagiat ne sont pas exceptionnels9). Les rapporteurs valoriseraient par ailleurs souvent davantage les recherches classiques que les innovations et renforceraient ainsi le courant intellectuel dominant. Enfin, en l’absence fréquente de grille de lecture et donc de critères précis sur lesquels s’appuyer, l’évaluation comporte toujours une importante dimension subjective (un jeune chercheur n’évalue pas forcément de la même manière qu’un chercheur senior), souvent dénoncée, surtout lorsqu’il n’existe pas de droit de réponse systématique de l’auteur aux rapporteurs.

Malgré ces critiques et ces inconvénients, ce système continue à être utilisé et à servir de modèle de référence pour légitimer une publication, notamment parce comme l’ont bien montré Piolat et Vauclair [PIO 04], ce dispositif participe directement à la production des connaissances que ce soit par sa dimension heuristique10 ou encore par le rôle social et communautaire qu’il joue au sein des communautés de chercheurs.

5.2.2. L’évaluation par les bases de données de citations : mesurer l’impact d’une publication

Outre cette évaluation de contenu, un article peut également faire l’objet d’une évaluation de son impact supposé, après sa publication. Parmi les outils bibliographiques utilisés, on peut citer le Science Citation Index, créé en 1963 par Eugène Garfield, qui répertorie par discipline les citations qui sont faites d’un article donné dans la littérature spécialisée (environ 3700 revues considérées comme centrales sont analysées, dans le seul domaine Sciences, Techniques et Médecine). Des outils similaires ont été développés en sciences humaines et sociales dans les années 70 : le SSCI (Social Sciences Citation Index analysant 1700 revues) et le AHCI (Arts and Humanities Citation Index analysant 1130 revues)11. Initialement ces index permettaient d’accroître les connaissances statistiques sur les publications scientifiques. Ils sont aujourd’hui utilisés par les chercheurs pour trier dans le flot d’articles produits chaque jour ceux qui ont été les plus cités en partant du présupposé que s’ils sont cités, c’est qu’ils sont pertinents et intéressants.

L’utilisation de ces outils a conduit à un déplacement progressif des critères de jugement de la qualité des travaux scientifiques : du système collectif d’évaluation de contenu par les pairs, on est passé à une évaluation en aval par taux de citations que reçoit un article après sa publication. Leur succès a renforcé le rôle clé des publications et ces outils ont rapidement été utilisés pour mesurer quantitativement la productivité de la recherche scientifique et des chercheurs. Ainsi, de nombreuses institutions, dans le monde entier, y font aujourd’hui référence comme critère d’évaluation. C’est le cas en France de la plupart des sections CNU (Conseil National des Universités) lors de l’attribution des postes d’enseignants-chercheurs (les candidatures sont examinées au regard du nombre de publications produites par les candidats et de leur impact) ou encore des budgets et subventions accordés aux équipes de recherche (calculés en fonction du nombre de chercheurs dits « publiant » présents dans un laboratoire12). Par leur simplicité et leur rapidité d’utilisation, les outils statistiques d’évaluation ont donc une influence décisive, dans de nombreuses disciplines (en biologie, en chimie notamment) sur la carrière des chercheurs et le devenir des équipes de recherche.

De nombreux biais sont néanmoins fréquemment évoqués. Cet outil correspond aux modalités de publication des disciplines dites « sciences, techniques et médecine » (en prenant essentiellement en compte des articles de revues anglo-saxonnes) mais n’est pas approprié pour étudier les sciences humaines et sociales grandes productrices de monographies. Une grande partie de la production scientifique mondiale (rapports, ouvrages, mémoires, etc.) est ainsi laissée de côté. De même les pratiques de citations sont extrêmement variables d’une discipline à l’autre, d’un chercheur à l’autre. Des articles sont parfois cités sans avoir été lus (phénomène d’auteur ou de thème à la mode), tandis que certaines références peuvent être omises de manière délibérée. Par ailleurs, l’auto-citation et le « renvoi d’ascenseur » permettent à un chercheur d’avoir un bon indice de citation de manière artificielle. De plus, un auteur sait implicitement qu’il a plus de chances d’être publié s’il cite des articles de la revue où il a choisi de soumettre son document. Enfin, un article fréquemment cité n’est pas forcément un bon article : il peut s’agir d’un mauvais article très souvent critiqué.

Le prolongement de cet outil bibliométrique est le facteur d’impact qui mesure la notoriété d’une revue. Cette notoriété est calculée en fonction du nombre de citations dont les articles publiés dans une revue font en moyenne l’objet les deux années précédant celle examinée. Une revue dotée d’un fort facteur d’impact attire d’autant plus les auteurs, qui espèrent accroître la visibilité de leur recherche et ainsi mieux valoriser leurs articles.
  1   2   3

similaire:

L’évaluation des savoirs scientifiques : modalités et enjeux iconÀ l’école des sans-papiers
«usagers» des médias. Elle cherche à mettre en commun savoirs professionnels, savoirs théoriques et savoirs militants au service...

L’évaluation des savoirs scientifiques : modalités et enjeux iconRapport 415 (98-99) office parlementaire d'evaluation des choix scientifiques...

L’évaluation des savoirs scientifiques : modalités et enjeux iconA – Enjeux socio-économiques et scientifiques

L’évaluation des savoirs scientifiques : modalités et enjeux iconGlossaire relatif aux Modalités d’évaluation

L’évaluation des savoirs scientifiques : modalités et enjeux iconIii modalités de pilotage, de suivi et d’évaluation

L’évaluation des savoirs scientifiques : modalités et enjeux iconIntitule de la sequence : Enjeux et modalités du recrutement

L’évaluation des savoirs scientifiques : modalités et enjeux icon1 Le processus de concurrence : définition et enjeux scientifiques

L’évaluation des savoirs scientifiques : modalités et enjeux iconSavoirs transmis et savoirs utiles : formation initiale et apprentissage personnel

L’évaluation des savoirs scientifiques : modalités et enjeux iconRésumé : l’objet de la communication est de s’interroger sur l’évolution...
...

L’évaluation des savoirs scientifiques : modalités et enjeux iconAppel d’offres pour l’evaluation de l’experimentation des actions...
«qualité» permettant de définir les principes et les modalités d’un processus qui doit renforcer l’homogénéité de la prestation,...






Tous droits réservés. Copyright © 2016
contacts
e.20-bal.com