Les chercheurs ont repéré un inconvénient évident des chatbots plus intelligents. Bien que les modèles d’IA deviennent prévisibles et plus précis à mesure qu’ils progressent, ils sont également plus susceptibles de répondre (à tort) à des questions qui dépassent leurs capacités plutôt que de dire « Je ne sais pas ». Et les humains qui les interrogent sont plus susceptibles de prendre leurs hallucinations confiantes au pied de la lettre, créant ainsi un effet de ruissellement de désinformation confiante.
« Ils répondent à presque tout ces jours-ci », José Hernández-Orallo, professeur à l'Universitat Politecnica de Valencia, Espagne, dit Nature« Et cela signifie plus de vraisemblance, mais aussi plus d’incorrects. » Hernández-Orallo, le chef du projet, a travaillé sur l’étude avec ses collègues de l’Institut de recherche en intelligence artificielle de Valence, en Espagne.
L'équipe a étudié trois familles de LLM, dont la série GPT d'OpenAI, LLaMA de Meta et le BLOOM open supply. Ils ont testé les premières variations de chaque modèle et sont passés à des variations plus grandes et plus avancées, mais pas aux plus avancées d'aujourd'hui. Par exemple, l'équipe a commencé avec le modèle ADA GPT-3 relativement primitif d'OpenAI et a testé les itérations menant à GPT-4, qui est arrivé en mars 2023. Le GPT-4o, vieux de quatre mois, n'a pas été inclus dans l'étude, pas plus que le plus récent o1-preview. Je serais curieux de savoir si la tendance se maintient toujours avec les derniers modèles.
Les chercheurs ont testé chaque modèle sur des milliers de questions portant sur « l’arithmétique, les anagrammes, la géographie et les sciences ». Ils ont également interrogé les modèles d’IA sur leur capacité à transformer des informations, par exemple en classant une liste par ordre alphabétique. L’équipe a classé leurs réponses en fonction de la difficulté perçue.
Les données ont montré que la proportion de réponses erronées des chatbots (au lieu d'éviter complètement les questions) augmentait à mesure que les modèles se développaient. L'IA est donc un peu comme un professeur qui, à mesure qu'il maîtrise davantage de sujets, croit de plus en plus qu'il a les réponses en or sur tous ces sujets.
Les choses sont encore plus compliquées lorsque les humains interrogent les chatbots et lisent leurs réponses. Les chercheurs ont demandé à des volontaires d’évaluer l’exactitude des réponses des robots d’IA et ils ont découvert qu’ils « classaient à tort les réponses inexactes comme étant exactes, étonnamment souvent ». La proportion de réponses fausses perçues à tort comme correctes par les volontaires se situait généralement entre 10 et 40 %.
« Les humains ne sont pas capables de superviser ces modèles », conclut Hernández-Orallo.
L'équipe de recherche recommande aux développeurs d'IA de commencer à améliorer les performances pour les questions simples et de programmer les chatbots pour qu'ils refusent de répondre aux questions complexes. « Nous avons besoin que les humains comprennent : « Je peux l'utiliser dans ce domaine, et je ne devrais pas l'utiliser dans ce domaine » », a déclaré Hernández-Orallo Nature.
C’est une suggestion bien intentionnée qui pourrait avoir du sens dans un monde idéal. Mais il y a peu de possibilities que les entreprises d’IA s’y plient. Les chatbots qui disent plus souvent « Je ne sais pas » seraient probablement perçus comme moins avancés ou moins utiles, ce qui entraînerait une utilisation moindre – et moins d’argent pour les entreprises qui les fabriquent et les vendent. Au lieu de cela, nous recevons des avertissements en petits caractères indiquant que « ChatGPT peut faire des erreurs » et « Gemini peut afficher des informations inexactes ».
Cela nous laisse le soin d’éviter de croire et de diffuser des informations erronées hallucinées qui pourraient nous nuire ou nuire aux autres. Pour plus d'exactitude, vérifiez les réponses de votre foutu chatbot, pour avoir crié à haute voix.
Vous pouvez lire l'étude complète de l'équipe dans Nature.
