Les Impacts de la recherche

[Loubel]

A la demande générale, mais en un peu plus de six lignes, un topic focalisant sur ce qu'on appelle les impacts de la recherche.

Introduction
« De tout temps », c’est à dire dès le moment ou la recherche a été reconnue et ou il est venu à certains l’idée (parfaitement légitime) d’évaluer ses résultats, celle-ci a été évaluée de façon très largement majoritaire par le nombre de publications que celle-ci produisait (=évaluation bibliométrique).
Comment ça marche les publications :

► Afficher le texte

Les publications sont en général structurées sur le mode : présentation du problème (= « intruduction »), comment on va faire pour le résoudre (= « matériels et méthodes »), nos résultats, discussion, bibliographie (à laquelle il est fait référence dans le coprs du papier en tant que de besoin). Un article a plusieurs co-auteurs (retrouvez les articles des personnes que vous connaissez ici pour la recherche médicale). Les premières et dernières positions sur l’article sont particulières. La première place correspond à celle de la personne qui a mené le travail (et qui sera cité dans les cas ou on ne cite que le premier auteur : selon Bidule et coll., en 2011, il est démontré que…), la dernière est celle de l'auteur qui a organisé le travail, trouvée les financements etc...
Ces publications se font dans des revues dites « scientifiques », la plupart du temps américaines, et sinon, dans la très grande majorité des cas en anglais. En effet, la renommée d’un journal est cotée par son "impact factor" (exemple en hépatologie en 2012), qui résume en gros le nombre de fois où le journal est cité dans la partie « bibliographie » d’autres articles scientifiques. Et évidemment, l’anglais étant la langue la plus lue et les USA le pays le plus grand et riche pour faire de la recherche…
Les publications sont régies par des règles strictes : les « papiers », comme on dit, sont soumis à deux, trois, quatre experts de tout ou partie du sujet de l’article (par exemple un méthodologiste-statisticien et un ou deux experts du domaine). Ceux-ci donnent leur avis sur la « qualité » de l’article, pertinence du sujet, manière de poser la question, manière d’y répondre, manière d’interpréter les résultats, nouveauté des résultats etc etc… L’éditeur du journal en question décide en fonction de « revues » (« reviews ») de rejeter le papier, de demander des modifications (plus ou moins lourdes) avant de prendre ou pas l’article, ou d’(exceptionnellement) accepter le papier.
Ce système a bien sûr ses limites : certains journaux encourageaient les auteurs à citer le journal pour pouvoir publier dedans (augmentation artificielle de l’impact factor), certains auteurs « reconnus » semblent bien voir leurs papiers de niveau « normal » être « sur-cotés » sur la renommée de leurs auteurs, les copinages aident (auteur et éditeur, auteur et reviewers, etc etc) par les liens d’amitié ou d’intérêt, et les inimitiés desservent (en raison de liens inverses).

Hors-sujet

On arrive à l’heure actuelle à une évaluation bibliométrique individuelle, sachant que les auteurs peuvent être scorés en fonction du journal ou l’article est publié, du nombre de fois ou l’article est cité et de la position de l’auteur sur la liste des signataires (qui peut donner lieu à de solides empoignades).

On peut donc évaluer une unité, une équipe, un laboratoire de recherche, voir un pays pour la qualité de sa recherche en mesurant la somme des publications de tous ses membres.
Dans un deuxième temps, il y a eu mettons dans les dix dernières années une tendance à mesurer aussi les impacts de la recherche en considérant le nombre de brevets déposés (cf fichier joint). Fait intéressant, brevets et publications sont deux faces opposées de la même pièce puisque quand on écrit un brevet, on ne peut pas publier les résultats de la recherche dans des revues scientifiques. Du moins pas tout de suite...

A l’heure de questionnements de plus en plus forts sur l’utilité et les financements de la recherche (par exemple ici, avec en plus à 1’30 : comment se mettre à dos tous les chercheurs en quinze secondes…) en raison de ce qu’on appelle la crise économique…, la détermination à la fois précise et complète et la prise en considération de ses impacts sont devenues cruciales. La prise de conscience que l’évaluation bibliométrique ne suffit ni à mesurer l’importance d’une recherche ni à en promouvoir tous les bénéfices a conduit à proposer le concept d’impact de la recherche.

ClassificationS
Différentes classifications sont proposées concernant les impacts de la recherche.

La première fait appel à trois notions : les impacts instrumentaux (directs, changements de politique, pratiques ou comportements), les impacts conceptuels (indirects ; changements de niveaux de connaissance, compréhension ou attitudes), et les impacts symboliques (indirects ; évolution des mentalités, des mobilisations et des influences).

La prise en compte des résultats de la recherche peut aussi être distinguée de trois autres manières : (i) Techno (producer)-push ou le produit de la recherche est adapté aux besoins, allant jusqu’à l’idée que la promotion de la recherche et les décisions sont guidées par les chercheurs, (ii) Market (user)-pull ou le besoin guide les efforts de recherche et ou les décisions sont prises par d’autres intervenants que les chercheurs, et (iii) Echanges/Collaboration ou les liens entre chercheurs et décideurs permettent la promotion et les décisions concernant la recherche.

Les impacts de la recherche pouvant se situer à différents stades du "processus de recherche", il est aussi pertinent de les positionner autour d’une représentation du processus de la recherche qui peut se figurer ainsi : idée, projet, mise en place, suivi, résultats, impact.

Bon, alors les impaaaaaacts ?, Vas-yyyyyyyy, Accouuuuuuche

J’ai recensé les activités liées aux impacts selon une classification dite du modèle de Becker (cf référence ci-dessous) des indicateurs d’impacts se définissant en six grands chapitres (cinq dans la version la plus récente...mais bon je n'ai pas tout refait).

[tabs: Résultats et activités]Brevets
Livres et chapitres
Matériels Biologiques
Dispositifs médicaux
Instruments de mesure
Sites web dédiés à l’étude
Matériels d’enseignement Méthodologies de recherche
Données (Partagées, Bases de)
Préparations pharmaceutiques
Applications (logiciels, mobile…)
Procédures et Techniques diagnostiques
Médiatisation - Médiation (y.c. réseaux sociaux)
Conférences (professionnelles ou non), de consensus[tabs: Progression de la connaissance]Publications : Citations des (y.c. meta - analyses & revues) ; (-metrics) ; reprints
Nouvelle étude, direction, champ, ou discipline de recherche (renouvellement)
Material Transfert Agreement (Transferts de propriétés)
Etudiants/stagiaires : progression, poursuite, bourses
Institut ou centre (création résultat d’une recherche) Modifications de la compréhension
Collaborations/Partenariats
Publications ; « classiques »
Résultat/Etudes auxiliaire
Curriculum guidelines (?)
Requête d’information
Pratique de recherche
« Gray Literature »*
Preuve de concept[tabs: Bénéfices pour la santé]Recommandations pour les mesures de la qualité
Augmentation de ressources & de l’expertise
Techniques et procédures de laboratoire
Prévention/Eradication de maladie
Recommandations cliniques Nécessités de signalement
Aide à la décision clinique
Pratiques cliniques
Essais cliniques
Qualité de vie[tabs: Bénéfices pour la communauté]Conscience et identification de facteurs de risque
Information sur la santé des consommateurs
Evaluation et accès à la qualité des soins Plans de couverture assuranciels (USA)
Prévention/Promotion de la santé
Mesures hygiéno-diététiques
Traitements standards[tabs: Bénéfices politique et administratifs]Participation à des comités divers
Recommandations diverses
Législation/Régulation Témoignages
Politiques
Standards[tabs: Bénéfices économiques.]Licences
Economies
Cout-efficacité
Espérance de vie Spin-Off, Start-up
Morbidité et mortalité
Quantité-Qualité de vie
Qualité des services de soins

Bien sur, tous les projets n’ont pas nécessairement d’impact dans toutes les dimensions listées ci-dessus.

Je trouve intéressant d'avoir un vue plus complète des effets potentiels de la recherche dans la société. Maintenant c'est un outil. La manière de s'en servir : quels indicateurs considérer ?, quels objectifs ?, quels moyens ? sont bien sûr capitaux dans l'orientation de la politique sociétale.

Moralité des courses ?

Il est clair, y compris pour les auteurs des articles auxquels je me réfère, que la gouvernance de la recherche doit tenir compte de ces impacts, mais doit également veiller à maintenir un équilibre entre la recherche « orientée-impact » et la recherche non orientée. En effet, les chercheurs ont coutume de dire que ce n'est pas en améliorant la bougie qu'on aurait inventé l'électricité, pour illustrer le fait que l'orientation de la recherche n'est pas forcément un bonne chose (le nec plus ultra). On comprend aussi qu'une politique de recherche (publique ou privée) se définisse des objectifs : brevets et trucs à vendre pour les entreprises, "thèmes" généraux (cancer, alzheimer) pour la recherche publique, par exemple (mais il y a d'autres appels d'offres).


Références
Beacham B, Kalucy L McIntyre E : Focus on understanding & measuring research impact. 2005, 2, 1-12, Flinders Press Adelaïde, ISSN : 1832-9721.
The Becker list : Impact indicators : https://becker.wustl.edu/sites/default/ ... erence.pdf (accès le 1 Mai 2014). MASTER_LAST UPDATED 04 February 2014. Washington University School of Medicine in St. Louis Bernard Becker Medical Library. Work licensed under a Creative Commons Attribution-Noncommercial-Share Alike 3.0 United States License. Questions ? mailto:sarlic@wustl.edu

[Pier Kirool]

C'est sympa les étoiles. Je les découvre. Je croyais que personne n'avait lu le topic. Ca a séché tout le monde manifestement...

[Melvill]

Hors-sujet

Une petite plaisanterie sur les enseignants-chercheurs et leurs publications qui fait rire (jaune) les bibliothécaires :

Deux chercheurs discutent
- "J'ai une proposition pour publier dans une revue à méga impact factor !
- Pour combien ?
- 1 500 $.
- Alors ?
- Ben j'ai fait le chèque direct, tu penses !"

Blague à part nous repayons ensuite une vrai fortune l'accès à ces publications "à impact factor", avec des augmentations impromptues de 150% des tarifs. La seule lutte contre ce rançonnage serait que les chercheurs publient dans des bases de partage gratuites. Mais comme ils sont évalués sur leurs publications dans les revues qui rançonnent les bibliothèques universitaires, le serpent se mort la queue...

[Yniel]

Je n'avais pas répondu (par procrastination...) et parce qu'étant par ma famille pas mal dans le milieu de la recherche, j'ai une vision qui me fait m'interroger sur cet aspect marchandisation de la recherche.
Ces fameux "impacts", qui vont à l'encontre de la conception historique de la recherche en France (ou au moins à l'image qu'elle a?) poussent à deux effets :
- délaisser les domaines qui ne suscitent pas assez d'intérêt pour un papier dans une revue plus grand public, et donc une perte de diversité dans les sujets traités (Et une perte réelle d'étudiants, et thèsards dans certains domaines type matériaux, qui ne sont plus "à la mode")
- pousser à la quantité de publications plus qu'à leur qualité (Le contenu est souvent moindre, et les relectures / travail de fond et de la forme trop succintes)

Certes pour le grand public les chercheurs (comme on me l'a déjà dit !) peuvent paraître ne pas faire grand chose car souvent leur travail semble trop ésotéric, sortit de toute réalité (et certains profitaient de leur situation pour ne pas faire grand chose)
Mais cette obligation de rentabilité enlève à mon sens (et est vécu comme tel par certains) la liberté, l'initiative et cette envie un peu hors normes d'innover et d'inventer le futur.

[Maithril]

Je découvre cet article et je me pose quelques questions.

Si je comprends bien la nécessité de mesurer les "impacts" de la recherche, il y a là un principe de rentabilité sous-tendu qui me gène. Je m'explique, tout ne peut pas être rentable. Ou du moins à court terme et, en espèce sonnante et trébuchante.

La créativité, l'innovation ne peuvent pas pour moi répondre à des critères mesurables, à des objectifs pré-définis. Je pense même qu'il est possible qu'une recherche ne donne rien, se trompe et permette plus tard d'avancer. Pour aller plus loin, tenter de calculer ces impacts pour derrière mettre en place des financements me semble contre-productif.
A l'extreme, cela pousse les chercheurs non pas à effectuer des recherches mais à une escalade de brevets et autres publications. Quel est l'intérêt?

[Pier Kirool]

N'oubliez pas de lire ce qui est souligné. Il me paraît assez légitime que l'argent public ait au moins pour partie un guide d'utilisation.
Si on "flèche" les recherches ("cancer" par exemple), on laisse une grande liberté aux chercheurs sur la manière d'arriver aux résultats.
Si on mesure les impacts, c'est toujours mieux que de donner l'argent sans savoir ce qui en est fait. L'utilisation doit en être très précautionneuse, c'est certain car arriver à des dérives "productivistes à tout prix et partout" serait contre-productif.
Mais l'utilisation de l'argent public, c'est la politique...votez ! Et si la recherche vous intéresse, regardez le programme des partis sur la recherche.

[marmotte]

oh la la, quel sujet étoffé!!! je rajoute juste quelques remarques

« De tout temps », c’est à dire dès le moment ou la recherche a été reconnue et ou il est venu à certains l’idée (parfaitement légitime) d’évaluer ses résultats, celle-ci a été évaluée de façon très largement majoritaire par le nombre de publications que celle-ci produisait (=évaluation bibliométrique).

Si on recule un peu plus loin dans le temps, les "savants" ne publiaient pas grand choses et se retrouvaient plus qu'à leur tour sur des buchers. Le savoir était produit par quelques "curieux" aisés qui pouvaient passer leur vie à se poser des questions et à essayer d'y répondre sans motivation pécuniaire.
Certains savant produisaient sur commande (recherche appliquée) ou juste en essayant de comprendre.

Comment ça marche les publications :

On a pensé évaluer les chercheurs selon leur nombre et qualité de publication. Hors les chercheurs sont intelligents et trouvent tous les moyens d'augmenter leur citation index, maintenant remplacé pas leur "h". Les revues (dirigées par les mêmes chercheurs) trouvent des moyens d'augmenter artificiellement leur citation index (par exemple demander à un auteur en vue sur un sujet à la mode de rédiger un article de synthèse).
Certaines méthodes restent "honnêtes": multiplier les auteurs (on est 4 avec un article chacun, on croise les co-authoship et hop 4 articles chacun dans sa liste, mieux que Jesus et les petits pains), saucissonner les données en deux articles, autocitation ou allocitation pour certains articles pour faire augmenter le h.... d'autres le sont moins, maquillage de données, vol de données/ d'idées, création assistée par ordinateur de données....Devant les pression de publications ce type de comportement est en très grosse augmentation, les sanctions sont quasi nulles. Certains pensent même que certain gros résultats devraient être reproduits par deux laboratoires indépendants.

Les relecteurs d'article, faute de temps ne relisent plus vraiment sauf dans les grandes revues ou l'effet "mode" et "amitié" joue de plus en plus. Mieux vaut avoir une bonne renommée pour publier dans les plus grosses revues.
Il est donc tout a fait possible de publier des travaux déjà publiés ailleurs ou de publier de fausses données, certains ont même publié des articles sur comment y arriver.

La bibliométrie a donc atteint ses limites, mais comme c'est facile tout le monde s'en sert...
Le système commence a se mordre la queue et il est probable que le "publish or perish" finisse par avoir un impact négatif sur la production scientifique (si ce n'est pas déjà le cas) les chercheurs cherchant à maximiser les critères d'évaluation (qui les aideront à trouver un poste) et non la qualité de leur recherche.

Les impacts de la recherche pouvant se situer à différents stades du "processus de recherche", il est aussi pertinent de les positionner autour d’une représentation du processus de la recherche qui peut se figurer ainsi : idée, projet, mise en place, suivi, résultats, impact.

Le problème est que le recherche ne fonctionne pas toujours ainsi, en particulier pour les découvertes les plus importantes:

On est souvent sur un schéma alternatif: idée, projet, mise en place, résultat inattendus recherche de pourquoi la recherche a donné ces ***** de résultats non publiable, proposition de nouvelles hypothèses, test de nouvelles hypothèses, répétition des deux dernières phase pendant un bout de temps avant de comprendre....
Ce type de recherche plus créative est de plus en plus difficilement publiable ou finançable. Il n'en reste pas moins qu'une manip qui rate complètement ou avec des résultats allant à l'encontre de ce qui est communément admis (donc non publiable, évaluations négatives...) est parfois à la source de nouveau concept/ mécanismes a plus long terme...

Par exemple Barbara Mc Clintock (allez voir sur WIKI) a découvert l'existence des transposons vers 1950. La communauté scientifique n'était pas prête a accepter cette idée, McClintock faisait office de clown de service dans les colloque ou tout le monde moquait ouvertement d'elle, elle a même renoncé à publier ses données. Dans les années 60 l'avancée des technique moléculaire a montrée qu'elle avait raison. Prix nobel de médecine SEULE en 1983.

L'histoire des sciences montre aussi plusieurs exemples de découvertes qui n'ont été acceptées que des années plus tard. La société (civile ou des chercheurs) peut ne pas être prête à accepter certaines découvertes novatrices (Gallillée en sait quelque chose, Darwin a été plus prudent). Un des rôles à mon avis fondamental de la recherche est de préparer la société à l'acceptation de nouvelles idées.

L'évaluation des recherches "créatives" et du rôle sociétal de la recherche me semblent particulièrement difficile tant à évaluer qu'à développer. Par contre une pression trop forte de conformité à des critères d'évaluation trop stricts risque de mettre un terme aux recherches hasardeuses en terme d'évaluation mais qui produisent parfois d'énormes bonds conceptuels.


Moralité des courses ?
maintenir un équilibre entre la recherche « orientée-impact » et la recherche non orientée.
[/quote]

et oui!!! enfin aujourd'hui en France les vaches sont maigres pour la recherche non orientée.....
Mais enfin tous les chercheurs gardent un peu de sous des contrats appliqués pour faire des trucs vraiment rigolo sur lesquels on peut vraiment s'entrainer les neurones

[Pier Kirool]

On est souvent sur un schéma alternatif: idée, projet, mise en place, résultat inattendus recherche de pourquoi la recherche a donné ces ***** de résultats non publiable, proposition de nouvelles hypothèses, test de nouvelles hypothèses, répétition des deux dernières phase pendant un bout de temps avant de comprendre....

Pour moi c'est le même schéma que celui qui finit par "résultats, impact". L'impact pouvant être de nouvelles idées et de nouvelles hypothèses. Mais je suis d'accord que c'est difficile à gérer... à partir de quand les résultats négatifs peuvent-ils être considérés comme sans issue ? Certains recommandent que la confiance en la personne soit le principal critère d'attribution des crédits...

une manip qui rate complètement ou avec des résultats allant à l'encontre de ce qui est communément admis

A mon avis, ce n'est pas tout à fait la même chose. Si elle rate, il faut la refaire, si elle ne donne pas le résultat attendu, il faut revoir les concepts (en gros, quoi...).

Un des rôles à mon avis fondamental de la recherche est de préparer la société à l'acceptation de nouvelles idées.

Je suis d'accord, mais çà me paraît être en premier le rôle de l'éducation, ça...

une pression trop forte de conformité à des critères d'évaluation trop stricts risque de mettre un terme aux recherches hasardeuses en terme d'évaluation mais qui produisent parfois d'énormes bonds conceptuels.

Il va surement y avoir des cycles. En ce moment on est dans une phase ou la majorité pense qu'il faut réduire les dépenses publiques (chercheurs, mais aussi infirmières, policiers, juges, médecins, personnel chargé de lutter contre la fraude fiscale : rien que des métiers inutiles...) et donc probablement le financement de la recherche publique. On va en voir les conséquences à un moment ou à un autre (cf ce qui se passe avec la désinsectisation) et on redonnera un coup de barre dans l'autre sens, j'espère...

tous les chercheurs gardent un peu de sous des contrats appliqués pour faire des trucs vraiment rigolo sur lesquels on peut vraiment s'entrainer les neurones

hé hé hé, bien sûr... y a de la stratégie à tous les niveaux...

[Maithril]

Je partage en grande partie l'opinion de notre marmotte.
Pour moi, l'apprentissage, ou la découverte, par l'erreur, n'est pas un vain mot. Se tromper fait partie inhérente du processus de création car cela impose de prendre des risques, de sortir des sentiers battus, et donc de faire fausse route qui à rebrousser chemin.

Avec cet aspect "rentabilité" de la recherche, j'imagine aisément que nos chercheurs sont plus obnubilés par le retour sur investissement que par la prise de risque. Et je pense que cela perd l'essence même de la recherche!

Quand on regarde l'histoire, on peut s'apercevoir que des découvertes ont été faites par hasard, voire par erreur. Prenons l'exemple de la découverte de la pénicilline. A aucun moment Fleming ne cherchait un médicament antiseptique. Avec ce modèle d'impact de la recherche, aurait-il eu la curiosité de regarder et d'étudier ce qui n'entrait pas dans son champs de recherche? Au risque de perdre du temps sur quelque chose qui n'avait pas à ses yeux plus d'intérêt que ça? Il s'est d'ailleurs passé près de 15 ans entre la découverte et l'obtention du prix nobel.

Un des rôles à mon avis fondamental de la recherche est de préparer la société à l'acceptation de nouvelles idées.

Là par contre, je ne suis pas d'accord du tout. La recherche n'est pas là pour préparer la société mais plutôt pour avoir ces nouvelles idées, pour les trouver. La recherche est un monde de précurseurs, ensuite, au sein de la société, d'autres se chargent de faire accepter les nouveaux concepts.

[Pier Kirool]

Je pense que la curiosité est une caractéristique individuelle. Si on met quelqu'un de non-curieux dans un contexte de "liberté de la recherche", il n'ira à mon avis de toute façon pas bien loin. Inversement, comme celà a déjà été dit, les chercheurs s'arrangent assez bien pour faire financer leurs recherches "libres" avec leurs contrats "fléchés. Et il existe aussi des fonds d'amorçage spécialement conçus pour aider au défrichage de nouvelles idées, nouvelles hypothèses...

Je ne dis pas qu'il faut tout focaliser en tant qu'objectif, 'out voir ou tout décider à partir du prisme des impacts. Je pense que cette vision enrichit la vision de la "liberté" (contrairement à beaucoup qui y voient une sorte d'ultime, la notion de liberté me semble très limitée, en particulier vu que nous évoluons dans un espace énormément occupé par l'Autre à qui nous devons le même respect qu'à nous mêmes, mais c'est un autre débat) de la recherche, en y apportant d'autres sujets pour valoriser le travail des chercheurs que les publications.

La notion d'équilibre (curseur, choix politique, on appelle ça comme on veut) entre recherche "fléchée" et "non fléchée" me paraît plus riche que toute vision qui rejette en bloc l'un ou l'autre des termes.

[Maithril]

La notion d'équilibre (curseur, choix politique, on appelle ça comme on veut) entre recherche "fléchée" et "non fléchée" me paraît plus riche que toute vision qui rejette en bloc l'un ou l'autre des termes.

Cette notion me plait bien. Chez moi, c'est une caractéristique : rien n'est blanc ou noir, tout est gris. Et j'applique ce principe à tout.