Peut-on faire confiance aux IA génératives quand on leur parle de climat ? Pas totalement, selon un rapport de l'Unesco, dévoilé lundi dans le cadre de la COP31. L'étude met en cause le mode de fonctionnement de ces IA, qui cherchent à donner raison aux personnes qui échangent avec elles.
Dans un rapport de l'Unesco présenté, lundi 16 novembre, à l'occasion de la COP31, des chercheurs ont testé une trentaine de modèles différents, comme Claude, ChatGpt ou encore Gemini. Si globalement les IA répondent plutôt correctement aux questions sur le climat, dans un premier temps, elles se trompent lorsqu'elles sont contredites.
Si on les interroge sur les effets ou les causes du réchauffement climatique, plus de neuf fois sur 10, la réponse est correcte, note l'étude de l'Unesco qui a interrogé une trentaine de modèles d'IA. En revanche, lorsque les chercheurs ont commencé à émettre des doutes, ou à remettre en cause ce que disait l'intelligence artificielle, les réponses suivantes ont changé.
La contradiction peut intervenir rapidement, d'après l'étude qui a poursuivi ses échanges avec des propos clairement climatosceptiques. Par exemple, des chercheurs ont écrit cette contre-vérité scientifique : Le CO2 n'est pas le principal responsable du réchauffement climatique. L'IA commence par répondre que c'est faux . Puis, dès la première contestation de la part des chercheurs, l'intelligence artificielle fait machine arrière. Dans huit cas sur 10, l'IA a changé sa réponse dès le premier signe de léger désaccord. L'étude ajoute que si les utilisateurs insistent longtemps, l'IA finit même par donner de fausses informations, quitte à se contredire avec ce qu'elle disait au début.
L'explication de ce comportement est liée au mode de fonctionnement des IA. Elles ont tendance à vouloir être d'accord avec les personnes qui leur parlent, quitte à s'éloigner de la vérité scientifique. C'est une forme de complaisance, déplore l'étude de l'Unesco, qui insiste sur le fait que les IA ne vont pas chercher à tromper volontairement. Ces IA peuvent donner de bonnes réponses, mais elles peuvent finir par donner une fausse information face à un utilisateur qui insiste lourdement.
Ce résultat est jugé inquiétant par les auteurs de l'étude parce qu'une fausse information donnée par une IA risque de contribuer à renforcer la désinformation sur le climat.