Multiplications des erreurs et des pressions extérieures : pouvons-nous encore faire confiance à la science ?

Atlantico : Un récent travail d'analyse mentionné par le site Quartz (voir ici) fait état de la perte de rigueur des méthodes de travail dans le domaine des sciences comportementales au cours des 60 dernières années. Peut-on étendre ce constat à l'ensemble du domaine scientifique, quelle que soit la discipline considérée ? 

Alexandre Delaigue : Toutes les sciences font face à des problèmes. Celui dont on parle maintenant s’appelle la "crise de la réplication". On pourrait définir la réplication de la façon suivante : vous faites une étude et vous constatez un résultat, dans n’importe quel domaine (médecine, psychologie, économie, etc.). Les relations ainsi observées sont testées à l’aide de données statistiques suivant des protocoles différents. Parmi ces derniers, on retrouve notamment les protocoles dits "aléatoires" : on prend, par exemple, dans le cas médical, 100 personnes choisies au hasard, parmi lesquelles on en choisit 50 au hasard à qui l’on va administrer le médicament testé, puis 50 autres au hasard à qui l’on donne un placebo dans les mêmes circonstances. Nous sommes alors dans le cas de ce qui est appelé l’"évaluation au hasard". Telle est la méthode scientifique qui devrait être suivie par tous ; or, ce n’est pas le cas. En économie par exemple, on ne peut pas augmenter le salaire minimum uniquement de la moitié de la population choisie au hasard pour observer ce qui se passe dans le cas où le salaire minimum de l’autre moitié n’a pas été augmenté. Dans le cas de la psychologie, nous pouvons observer des biais qui proviennent du fait que les expériences de cette discipline sont le plus souvent menées auprès des étudiants. Cela pose alors la question de savoir si l’expérience pourrait marcher dans d’autres contextes, et si le même résultat pourrait donc être trouvé.

Il y a enfin un autre problème, plus profond, qui est le suivant : quand on trouve un résultat, il y a ce que nous appelons la "règle de validation" qui consiste à regarder si le résultat trouvé à l’issue de l’expérience ne pourrait pas être, en fait, le fruit du hasard. Imaginons que je suis un magicien et que je vous dis qu’à chaque fois que je lance une pièce, elle tombe sur pile. Je la lance cinq fois de suite et je tombe cinq fois de suite sur pile. A priori, cela ne devrait pas marcher ; mais il se pourrait que, par chance, cela puisse fonctionner. Malgré vingt autres lancers de pièce ratés, on peut alors photographier ces cinq lancés réussis, les prendre, et les publier pour montrer que cela a donc bien fonctionné. Le test de la règle de validation est donc le suivant : étant donné les propriétés statistiques du résultat trouvé, il s’agit de se demander quelles sont les chances pour que ce résultat soit donc le fruit du hasard.Si la chance pour que ce résultat provienne du hasard est inférieure à 1/20, alors le résultat est validé. Or, vous vous rendez compte que si l’on réalise 50 expériences avec cette règle, il n’y en aura que 2,5 pour lesquelles on va tomber sur de bons résultats. Tel est donc le problème général en matière scientifique. Celui-ci a toujours été présent, mais aujourd’hui, grâce aux moyens dont nous disposons pour réaliser ces tests de réplication de plus en plus fréquents, on se rend compte qu’il y a un problème. Il s’agit donc davantage d’une prise de conscience du problème que d’une malhonnêteté accrue des scientifiques par rapport aux décennies précédentes.

Néanmoins, on ne peut pas occulter le fait qu’il y a plus de pressions à l’heure actuelle afin d’obtenir des résultats immédiats. La pression sur les laboratoires de recherche est plus forte parce que les incitations sont plus importantes. Pour maintenir les crédits dans les laboratoires, il faut désormais afficher des résultats, avoir des publications – alors qu’il est de plus en plus difficile d’avoir un emploi dans le domaine académique. Automatiquement donc, ces incitations poussent à la fraude.

Dans de nombreux domaines aujourd’hui, il est possible de répliquer les expériences grâce aux moyens techniques, mathématiques, et informatiques dont nous disposons. Ceci a permis de refaire un certain nombre d’expériences et de constater que le compte n’y était pas. A ce problème de prise de conscience donc, s’ajoute un problème lié aux institutions. Si l’on prend l’exemple du domaine médical, au regard du coût suscité par le lancement d’un médicament, les budgets sont tellement importants que la pression est très forte. La laboratoire a donc très envie et est pressé d’obtenir de bons résultats, quitte à constater par la suite que les scientifiques ont été un peu inconséquents sur les effets secondaires. 

Ce phénomène de manque de rigueur dans les méthodes de travail des scientifiques est à mettre en parallèle avec celui de la manipulation des données qu'ils peuvent faire. Qu'est-ce qui peut motiver un scientifique à agir de la sorte ? Quelles sont les pressions extérieures qui peuvent contribuer à ce phénomène ?

Il faut bien comprendre, avant toute chose, que les scientifiques sont des gens comme vous et moi, qui aiment bien avoir raison. Il faut aussi rappeler qu’il n’existe pas, dans le domaine scientifique, de résultats parfaits. En tenant compte de ces deux remarques, vous pouvez donc, en tant que scientifique, trouver un résultat au cours de votre expérience et vous y attacher ; vous voulez y croire très sincèrement, et sans malhonnêteté. La frontière entre le traitement honnête de vos résultats suivant les méthodes expliquées dans la question précédente et le fait de vous piéger vous-même est extrêmement ténue. Il y a des cas où, objectivement, on peut faire face à des individus profondément malhonnêtes – très rares en science – mais il ne faut pas oublier qu’il y a tout un spectre entre les deux. A ce titre, prenons l’exemple des travaux de Gilles-Eric Séralini sur les OGM. Ce professeur n’est pas quelqu’un de malhonnête dans le sens où il n’a pas voulu truquer ses données et ses résultats. Il est juste très profondément et sincèrement persuadé que ses données sur les OGM tendent à montrer quelque chose. Or, le problème réside dans le fait que ses collègues, qui cherchent à répliquer ses résultats, ne les trouvent pas. Il est constaté alors que les résultats de Séralini ne proviennent que de cas particuliers.

Il existe également le cas des erreurs sincères, comme ce fut le cas pour l’étude Reinhart-Rogoff qui affirmait qu’une dette publique supérieure à 100% posait des problèmes sur la croissance. En fait, il s’agissait d’une erreur contenue dans leur tableau Excel. Une fois cette erreur corrigée, on s’est alors rendu compte qu’ils s’étaient trompés. On ne peut pas faire la différence nette entre les gentils scientifiques honnêtes qui sont d’une rigueur totale, et de l’autre côté les malhonnêtes qui truquent leurs données.

Aujourd’hui, le problème est le suivant : nous manipulons des données qui ne sont pas "propres". Ainsi, le travail du scientifique consiste à lever l’ambigüité suscitée par ces données ; mais dans ce processus, les erreurs sont toujours possibles. 

Quelles conséquences cette manipulation des données par les scientifiques, tous domaines confondus, peuvent-elles avoir sur la compréhension que nous avons du monde ?

Au sujet de cette compréhension, il faut bien se dire une chose : dès que vous lisez dans un article "une étude montre", vous pouvez, en général, arrêter la lecture à ce stade parce que le taux de réplication, c’est-à-dire le nombre de fois où des scientifiques ont essayé de refaire la même étude et ont constaté que cela ne fonctionnait pas, est élevé d’une manière générale. Dans le domaine médical (test de médicaments), cela arrive plus d’une fois sur deux à peu près ; cette proportion atteint les deux fois sur trois dans le domaine de la psychologie ; et je ne parle même pas du cas de la nutrition où vous pouvez laisser tomber tout de suite tellement le niveau est faible ! La vigilance doit être accrue surtout lorsque l’"étude montre" un résultat "sexy". C’est la règle que nous devrions donc adopter : la prudence. Mais il est vrai que nous avons tous des incitations à vouloir trouver des explications très claires à tout ; nous aimons la science magique. Or, elle ne l’est pas.

Encore une fois, tout est une question de biais : il ne s’agit pas de dire que les auteurs écrivent ces articles malhonnêtement. On est là dans une logique de publication dite "du clic" : les gens liront plus facilement et en masse un article avec pour titre "Manger une pomme tous les jours permet de gagner deux ans de vie supplémentaire" qu’un article avec pour titre : "Manger un petit peu de ci et un petit peu de ça tout en faisant de l’exercice réduira un peu votre risque cardio-vasculaire d’après cinquante études réalisées, la moitié étant convaincante et l’autre moitié ne l’étant pas". Nous sommes donc tous, au final, dans le même bateau, un bateau dans lequel il convient d’être prudent.

Jusqu'à quel point la connivence entre le milieu scientifique dans son ensemble, et les acteurs économiques et politiques, a-t-elle porté préjudice à la science ? Quel est le risque, à terme, pour la communauté scientifique ? 

Ce qu’on oublie bien souvent, c’est que la pression peut aussi aller dans l’autre sens : ce ne sont pas tant des acteurs économiques qui vous menacent d'un retrait des budgets si vous dites des mauvaises choses sur eux ou en l’absence de résultats. Le cas le plus fréquent est en fait le suivant :ce sont des scientifiques, convaincus de quelque chose, qui vont continuer à être payés par des entités pour poursuivre la production d’études dans ce domaine-là, et dont eux-mêmes sont véritablement convaincus. On se retrouve alors dans le problème suivant : des travaux de scientifiques vont continuer à être financés alors que les résultats de ces travaux ne sont pas du tout partagés par le reste de la communauté. Encore une fois, ces scientifiques sont profondément sincères, et ils peuvent continuer à l’être parce qu’il n’y a pas de processus d’élimination dans la mesure où il existe, de l’autre côté, des intérêts qui leur permettent de continuer à réaliser une énième étude sur le même sujet.

Cette réalité entretient le doute : cela a pu être constaté notamment dans le domaine du réchauffement climatique. On a également pu constater le même genre de problème sur un certain nombre de médicaments : des médicaments sont toujours en vente parce que des scientifiques continuent à dire que les résultats sont probants alors qu’en réalité, ils ne le sont pas. Le problème est donc le suivant : des mauvaises politiques sont alors maintenues, de mauvais médicaments, dangereux, continuent à être commercialisés, etc. On ne peut donc pas négliger le fait qu’il existe une industrie du doute, alimentée par de forts intérêts. 

Propos recueillis par Thomas Sila