Toutes les méthodes pour détecter une étude "bidon"

Atlantico : Selon vous il existerait un "effet US" qui conduirait bon nombre d’études américaines à être biaisées dans leurs résultats, ou du moins exagérées, notamment dans le domaine des comportements humains. Pourquoi cela ? Serait-ce lié à une tendance à l’exagération spécifiquement américaine ?

Daniele Fanelli : C’est possible, cependant il faut rester prudent. Au vu de ce que les précédentes recherches suggèrent, nous avançons l’hypothèse selon laquelle la pression exercée sur les chercheurs est plus importante aux États-Unis qu’ailleurs. Ils doivent montrer des avancéestangibles. Mais il est également possible que certains traits culturels interviennent.

Comment faire pour distinguer les études sérieuses des études "bidon" ? Ces dernières présentent-elles des caractéristiques communes ?

Il est important de préciser que notre étude ne quantifie pas les études "bidon", si par ce terme on entend la volonté d’induire en erreur. Dans une plus large mesure, "l’effet US" semble plutôt être l’émanation inconsciente de la pression  exercée sur les chercheurs. Les cas de tromperies et de fraudes sont rarissimes.

Même en l'absence d’erreur scientifique ou de mensonge, une part importante des études avançant des résultats impressionnants sur le plan statistique ont de fortes chances de d'être fausses. Pas au sens de "falsifié", mais plutôt de "statistique obtenue au petit bonheur la chance". La probabilité de rencontrer des erreurs dépend cependant des spécificités du champ d'études et du sujet abordé, ainsi que de la rigueur des méthodes employées et du degré de consensus scientifique autour du sujet. Ce que l'on appelle par exemple les “sciences douces” (sciences humaines, sciences sociales, NDLR) sont un domaine de recherches où le consensus est assez faible.

On peut en déduire que les faux résultats sont simplement inhérents à l'exercice scientifique. Plutôt que de réfléchir à une manière de les détecter, nous devrions nous assurer que le processus scientifique soit lui-même capable de s'autocorriger. Autrement dit, il faudrait que toute découverte importante soit suffisamment soumise à la critique pour être validée. Le savoir scientifique est fiable. Non pas que les scientifiques soient considérés comme plus honnêtes ou objectifs que les autres, mais parce que leurs théories sont constamment exposées à un processus collectif de sélection et de correction.

Devons-nous nous méfier des chercheurs américains. Y aurait-il un manque de déontologie ?

Je ne pense pas, car "l’effet US" est tout de même limité, et il n’est pas causé par – nous l’avons vu – une quelconque malhonnêteté.  Ce phénomène est surtout révélateur de la situation de la recherche scientifique en général, et des conséquences que les politiques qui y sont rattachées peuvent avoir sur les publications.

Propos recueillis et traduits par Gilles Boutin