L’accès plein d’embuches à la « vérité scientifique » : des biais systémiques dans l’analyse des données

(Par CHRISTIAN LÉVÊQUE dans Factuel du 

La crédibilité de la science repose sur une démarche rationnelle et intègre, qui ne prête pas le flanc à des accusations de manipulation des expériences et des données. On en attend des informations objectives qui puissent servir de base solide à des prises de décision. Ce principe général de bon sens repose néanmoins sur la croyance qu’il est possible pour la science de dire la « vérité ».

La croyance que la science, et elle seule, soit porteuse de la « vérité » est héritée du scientisme. Cette doctrine apparue au XIXe siècle repose sur une confiance totale dans l’application des méthodes dites scientifiques pour résoudre les problèmes de l’humanité. Le scientisme plonge ses racines dans le rationalisme de Descartes et le positivisme d’Auguste Comte, et il est associé à l’idée que les connaissances scientifiques sont réputées sûres. Dans le contexte de l’époque, où la science cherchait à s’émanciper des considérations métaphysiques, cet argument a joué son rôle. Depuis, on a relativisé cette affirmation de l’infaillibilité de la science. Non pas pour la discréditer, comme certains ne manqueront pas de le faire, mais pour en cerner les limites et en tenir compte.

Ce qui renvoie aux méthodes adoptées par la science pour accéder à la connaissance, une question qui fait l’objet de nombreuses discussions depuis l’Antiquité. J’ai, dans un précédent billet, rappelé que la connaissance se construit à partir de controverses, et que ce que dit la science aujourd’hui est fonction de l’avancement des connaissances et des technologies mobilisées. De nouvelles découvertes peuvent ainsi remettre en cause les paradigmes actuels. Il est donc possible que certaines vérités d’hier ne soient plus d’actualité quand la connaissance progresse, ce qui est, je le reconnais, assez déstabilisant pour le grand public et pour les politiques qui ont besoin de certitudes. C’est pourtant une réalité qui n’a pas empêché l’humanité de progresser.

Un article récent de la revue Nature [1] attire l’attention sur une autre question relative au fonctionnement de la science et dont on parle peu, mais qui semble prendre de l’importance depuis que différents spécialistes ont admis que la reproductibilité de leurs observations n’était pas assurée [2]. Pour les sciences expérimentales, on questionne depuis longtemps la réplicabilité des expériences. On se souvient des débats médiatiques qui ont eu lieu à ce sujet en 1988, concernant la « mémoire de l’eau » [3], et, plus récemment, « l’affaire Séralin » [4] en 2012, dont les résultats ont été totalement remis en cause par un programme européen. Dans le premier cas, on n’a jamais réussi à reproduire l’expérience. Dans le second cas, d’autres expériences ont invalidé les premiers résultats, en démontrant l’existence de biais méthodologiques majeurs.

Mais toutes les sciences ne se prêtent pas de la même manière à l’expérimentation. Pour les sciences dites d’observation que sont la géologie, la sociologie ou l’écologie, par exemple, il est difficile de mener des expériences en vraie grandeur. Ainsi, de nombreux écologues sont sceptiques quant à la répétition d’expériences sur le terrain, puisque les conditions n‘étant jamais identiques, et que l’on ne peut pas maitriser tous les paramètres, on ne peut être assuré de la qualité des résultats. À l’inverse, les expériences menées en microcosme et en milieu contrôlé ne reproduisent pas, quant à elles, les conditions du terrain.

Devant la difficulté d’expérimenter, on a alors recours à la multiplication des observations de terrain, dans une démarche dite comparative. Ce qui pose deux questions majeures.

  • D’une part la qualité des données d’observation repose sur la méthodologie d’échantillonnage utilisée. Mais ceux qui pratiquent le terrain savent bien qu’il y une part d’aléatoire dans l’échantillonnage. On peut en partie y remédier en multipliant les observations, mais cela a un coût. Des quantités de travaux ont été publiés sur ce sujet des biais d’échantillonnage, sans résoudre réellement la question. Ces biais sont inhérents à l’hétérogénéité des objets étudiées (distribution spatiale ou dynamique temporelle), mais aussi à la sélectivité des instruments d’observation ou de prélèvement en écologie. Il est donc difficile d’avoir une image totalement objective de la réalité. Sans compter que les observations réalisées sont pour partie liées aux choix de l’observateur en matière d’échantillonnage. Ces questions qui ont fait autrefois l’objet de nombreux travaux semblent marginalisées de nos jours, mais elles n’ont pas disparu pour autant.
  • L’autre question majeure concerne les méthodes utilisées pour analyser les données. C’est cette dernière question qui a fait l’objet de la publication dont nous parlons. Dans un projet réunissant 246 participants, Gould et al. (2023) [5] ont fait analyser par différentes équipes deux ensembles de données avec une question associée à chacun des ensembles : « La croissance des oisillons de mésanges bleues (Cyanistes caeruleus) est-elle influencée par la compétition avec les frères et sœurs ? » et « Quelle est l’influence de l’enherbement sur le recrutement des semis d’Eucalyptus spp. ? » Cette étude comparative d’envergure des résultats d’analyse en écologie montre que les résultats issus du même ensemble d’observations réalisées sur le terrain sont parfois très divergents. Les différences constatées dépassent ce qui pourrait être attendu par de simples erreurs d’échantillonnage. Les auteurs mettent en cause l’hétérogénéité biologique, l’hétérogénéité méthodologique et l’hétérogénéité analytique [6]. Ils spéculent que les divergences entre les résultats résultent des choix en matière d’analyses statistiques réalisés par les scientifiques…

 

Or, en matière d’écologie et de gestion de l’environnement, cette question de la signification des résultats d’analyse est stratégique pour la mise en œuvre des politiques environnementales. En voici un exemple concret, concernant la question débattue de l’érosion de la biodiversité. Le WWF indique dans son rapport annuel que l’indice planète vivante (IPV) 2020 fait état d’une chute moyenne de 68 % des populations suivies de mammifères, oiseaux, amphibiens, reptiles et poissons entre 1970 et 2016. Ces chiffres alarmistes ont connu un grand succès médiatique, alimentant le discours anxiogène sur la dégradation de la planète.

Pourtant, deux publications scientifiques publiées simultanément et utilisant la même base de données Planète vivante que le WWF conduisent à des conclusions différentes. Pour Daskalova et al. (2020), qui ont analysé 10.000 séries chronologiques de populations et plus de 2.000 espèces de vertébrés faisant partie de la base de données Planète vivante, seulement 15 % des populations ont diminué en abondance, 18 % ont augmenté et 67 % n’ont montré aucun changement net au fil du temps. La revue Nature a publié également un article de Leung et al. (2020), qui contredit les informations publiées par le WWF et met en cause les méthodes statistiques utilisées. En réanalysant les données utilisées par Living Planet Index (14.000 populations de vertébrés sauvages appartenant à 4.000 espèces réparties dans le monde), les auteurs ont montré que les estimations qui parlent d’un déclin moyen de 50 % des vertébrés depuis 1970 font l’objet d’un biais considérable qui repose sur le fait que 2,4 % des populations sont en très fort déclin. Si on met à part cet ensemble restreint de populations (354 populations) qui pèse lourd sur la moyenne, la tendance globale est alors à une croissance légèrement positive. Ce qui démontre que les moyennes mondiales sont fortement influencées par les extrêmes et ne sont pas représentatives des situations locales observées sur le terrain.

On peut tirer les leçons suivantes de ces travaux :

  •  Le traitement des données à partir d’une même base de données conduit à des résultats différents, comme on l’a vu plus haut. Sont en cause notamment les méthodes d’analyse des données utilisées. Pour pallier ces biais méthodologiques, certains proposent de multiplier et diversifier les analyses et de rechercher ce qu’elles partagent en commun en matière de conclusions. Ce qui nécessite une autre organisation de la recherche.
  • Les résultats alarmistes du WWF, pourtant contestés par les travaux scientifiques, ont été largement relayés par les médias, alors que ceux des scientifiques sont passés sous les radars. Pourquoi un tel « tri sélectif » de l’information ? Ce qui pose la question des relais médiatiques de l’information scientifique et de la forte propension à privilégier les informations alarmistes. Information ou désinformation ?
  • Le WWF et les autres grandes ONG joue un rôle important dans les orientations des politiques de protection de la nature. Or, celles-ci reposent sur des informations discutables, si ce n’est erronées…
  • Autrement dit, on fait croire au public que des politiques coercitives de protection de la nature doivent être prises sur la base de résultats qualifiés de scientifiques, qui sont en réalité produits par de la pseudo-science délibérément anxiogène des mouvements militants.

 

La grande leçon de tout cela c’est que l’approche de la « vérité scientifique » n’est pas aussi simple que le grand public peut l’imaginer, et que les informations diffusées ont parfois (souvent ?) un faux nez scientifique. Les exemples que j’ai pris ici dans le domaine de l’écologie concernent bien entendu d’autres disciplines que ce soit en sciences humaines ou naturelles.

Une fois encore il ne s’agit pas de discréditer la science, mais de savoir comment elle fonctionne et comment elle peut être instrumentalisée. La science a dit… mais quelle science ? Et l’on peut demander aussi, dans certains domaines : quels scientifiques ? Car le monde scientifique est fait d’humains dont certains ont leurs croyances et/ou leur égo. L’épisode Covid nous en a donné l’illustration.


[1] Oza Anil, 2023. Reproducibility trial: 246 biologists get different results from same data sets. Wide distribution of findings shows how analytical choices drive conclusions. Nature news,  https://www.nature.com/articles/d41586-023-03177-1

[2] Baker, M. 1,500 scientists lift the lid on reproducibility. Nature 533, 452–454 (2016). https://doi.org/10.1038/533452a

[3] https://www.ina.fr/ina-eclaire-actu/1988-jacques-benveniste-et-la-memoire-de-l-eau

[4] KUNTZ, M., 2019. L’affaire Séralini. L’impasse d’une science militante, Paris, Fondapol, 60 p.

[5] Gould, E. et al. 2023. Same data, different analysts: variation in effect sizes due to analytical decisions in ecology and evolutionary biology. https://ecoevorxiv.org/repository/view/6000/

[6] https://www.youtube.com/watch?v=Xt6b0LlblQk

 

Nos articles sont généralement publiés sous licence Creative Commons CC BY-NC-SA

Ils peuvent être reproduits sous la même licence, en en précisant la source, et à des fins non commerciales.

2 réponses

  1. Bravo pour cet article qui met bien en évidence les difficultés rencontrées par les scientifiques pour argumenter dans le sens de leurs conclusions. Mais cet article passe à coté de la notion de sérendipité!
    En effet il n’aborde que des cas où le chercheur veut absolument aboutir à une conclusion et évacue le cas où le chercheur ne veut qu’accroitre ses connaissances en se livrant à des observations et des expériences. Toute observation et/ou expérience apporte un plus et parfois l’intuition, l’accumulation, la chance apportent l’évidence qui manque dans les connaissances. La Science progresse plus par ces évènements isolés que par la mise en oeuvre d’une science programmée qui enlève toute légèreté et liberté et qui ne débouche que sur des conclusions tellement difficiles à défendre que le chercheur en oublie sa vraie mission: La vraie découverte!

  2. Non ce n’est pas si simple. Terrier Marcel cite à juste titre l’intuition : dans certains cas on se réveille le matin avec une idée précise qui nous a été déposée pendant le sommeil (par qui ou par quoi?) et qu’on a immédiatement envie de mettre en œuvre.
    Une autre forme d’avancée procède d’une démarche inhabituelle en contradiction avec la démarche scientifique classique laquelle consiste à avancer pas à pas du connu vers le nouveau, en fragmentant les phénomènes, en proposant une théorie à peine différente et en voyant un à un si les effets concordent.
    Confronté à un fort changement de paradigme auquel la démarche classique n’est pas adaptée, cette démarche différente considère qu’il est préférable de prendre le sujet à l’inverse, dans une approche de méta analyse, à savoir retenir d’abord les effets invariants ou récurrents dans les phénomènes observés et trouver une théorie globale qui pourrait les expliquer. Cette démarche se heurte bien sûr à l’approbation des pairs.

Laisser un commentaire

Les commentaires sont modérés avant d’être publiés, restez courtois.

Derniers commentaires :

Formulaire de contact

Recevoir la Newsletter hebdomadaire