Avez-vous déjà entendu parler des hallucinations liées aux systèmes d’IA ? Ces phénomènes, encore teintés de mystère, inquiètent les décideurs qui redoutent leurs effets adverses lors du déploiement de systèmes d’IA dans leur organisation. Nous explorons ici la nature et les implications du phénomène d’hallucination pour permettre à ces décideurs de mieux se saisir du sujet et d’agir en conséquence.
En décembre dernier, l’assistant d’IA générative Amazon Q a expérimenté de “sévères hallucinations” en dévoilant des données confidentielles (localisation de data centers, divulgation de programmes de réduction interne etc.) lors d’une avant-première publique (Schiffer & Newton, 2023). Cet exemple de controverse souligne bien les risques derrière les hallucinations en IA. Mais en quoi ces hallucinations consistent-elles exactement ?
Un éventail de définitions
Il est d’abord intéressant de constater qu’il n’y a pas de consensus clair dans la définition des hallucinations liées aux systèmes d'intelligence artificielle (SIA). Le Merriam-Websterles définit comme une “réponse fausse ou trompeuse présentée comme un fait certain” (Merriam-Webster, 2024) là où IBM les assimile à la perception de “modèles ou [d’]objets qui sont inexistants ou imperceptibles pour les observateurs humains, créant des résultats qui sont absurdes ou tout à fait inexacts” (IBM, 2024). Au fil des recherches, nous constatons qu’on prête souvent aux hallucinations une ou plusieurs de trois caractéristiques : elles présentent aux utilisateurs des résultats insatisfaisants (faux, trompeurs ou absurdes), de manière convaincante (plausible, factuelle) et qui semblent non justifiés par les données d’entraînement du modèle.
Certains préfèrent utiliser le terme de confabulation ou d’illusion (delusion) à celui d’hallucination pour éviter l’anthropomorphisation des SIA et souligner le creative-gap filling principle, ce principe selon lequel les SIA générative peuvent combler créativement leurs lacunes pour répondre à une requête utilisateur inédite (Douglas Heaven, 2023).
Au cœur des préoccupations : les Large Language Models
Les hallucinations sont devenues un sujet de préoccupation majeur dans le domaine de l'IA. Bien qu’elles se manifestent dans l’utilisation de différents types de SIA (computer vision, reconnaissance vocale…) (Garg, 2023) (Carlini, 2018), elles sont particulièrement documentées dans l’utilisation de ceux impliquant des Large Language Models (LLMs). De par leur accessibilité et leur déploiement à grande échelle, ces grands modèles de langage spécifiques à la génération de texte (comme ChatGPT) sont plus susceptibles de produire des hallucinations ayant un impact négatif significatif. Par exemple, Bard (ancien chatbot d’IA générative de Google, changé pour Gemini depuis) a affirmé à tort lors d’une démonstration que le télescope spatial James Webb a été le premier à prendre des photos d'une planète située en dehors du système solaire de la Terre. L’erreur a coûté une chute en bourse de 9% du cours d’Alphabet, maison-mère deGoogle (Milmo, 2023).
À l’épreuve des faits : les hallucinations les plus problématiques
Une étude récente (Zhang, et al., 2023) propose une taxonomie des hallucinations liées aux LLMs en trois catégories : celles contradictoires avec l’intrant (ou input), le contexte ou les faits établis (cf. Figure1). Une autre taxonomie propose une distinction en deux catégories : les hallucinations liées à la factualité (incohérence factuelle ou fabrication de faits) et celles liées à la fidélité (incohérence contextuelle, logique ou par rapport aux instructions) (Ye, Liu, Zhang, Hua, & Jia, 2023). Les hallucinations peuvent également être catégorisées selon les différentes applications des LLMs (synthèse, traduction, systèmes de dialogue...) ou les différents types de LLMs ( multilingues, spécifiques à un domaine…) pour en dresser un tableau plus complet.
Les hallucinations liées à la factualité sont les plus documentées car, selon le contexte de l’utilisateur du SIA, ses conséquences peuvent être significatives. Les industries où la factualité est primordiale (telles que la santé, le juridique, la finance, l’éducation…) sont particulièrement susceptibles d’être réfractaires à un tel risque. Dans ces contextes, il est alors essentiel de comprendre l’origine possible des hallucinations pour avoir les moyens d’y remédier.
Données, modèle et interactions : les sources d’hallucinations
Les LLMs sont des modèles qui, pour être efficaces, requièrent une phase d’entraînement conséquente sur de vastes corpus de données. Du processus d’entraînement initial à la phase d’interactions avec les utilisateurs, les sources d’hallucinations sont multiples (cf. Figure 2). La figure ci-dessous illustre certaines des sources d’hallucinations en les regroupant en trois types : celles liées aux données, au modèle en lui-même et à la phase d’inférence (interactions et requêtes). Quelques sources notables d’hallucinations sont liées aux biais des données d’entraînement, aux biais de connaissance paramétrique, aux problèmes d’encodage des données ou au phénomène d’overfitting (Zhang, et al., 2023) (Huang, et al., 2023). Ces sources d’hallucinations sont identifiables tout au long du cycle de vie d’un LLM. Aujourd’hui il existe également des outils de détection d’hallucinations basés sur la génération (évaluation de textes générés par un LLM) ou sur la discrimination (évaluation de la capacité du LLM à distinguer une déclaration véridique d’une déclaration hallucinée) (Ji, et al., 2024). Du développement au déploiement d’un LLM se dessinent alors différents leviers d’action permettant à un décideur de réduire le taux d’hallucinations problématiques pour son activité cible.
Des leviers d’action tout au long du cycle de vie des LLMs
Des mesures d'atténuation d’hallucinations existent ainsi à travers le cycle de vie des LLMs (cf. Figure 3). La mesure la plus mise en avant est celle de la sélection soignée des données utilisées pourpré-entraîner et affiner les modèles. En effet, un jeu de données de haute qualité, et adapté à un besoin spécifique, permet de diminuer sensiblement la probabilité d’obtention de résultats insatisfaisants pour l’utilisateur d’un LLM. Par ailleurs, d’autres mesures permettent également de réduire le risque d’hallucinations, que ce soit pendant les phases de développement du modèle (utilisation de graphique de connaissance, le supervised fine-tuning, la révision humaine etc.) ou d’inférence (le prompt engineering, la génération augmentée par récupération ou RAG, l’utilisation de méthodes de fact-checking…) (Tonmoy, et al., 2024).
Dans l’état actuel des LLMs sur le marché, si un décideur souhaite limiter les impacts négatifs des hallucinations dans son organisation, ce dernier a donc des options pour initier une saine gestion du risque de ses SIA. Pour autant, ce risque d’hallucinations peut-il vraiment être réduit à néant ?
Les hallucinations : bug ou fonctionnalité ?
Bien que Sam Altman, le CEO d’OpenAI, ait évoqué avec humour n’avoir que peu de confiance dans les réponses générées par ChatGPT, ce dernier estime que le problème des hallucinations sera réglé d’ici 2 ans (O'Brien & The Associated Press, 2023). D’autres experts, comme Emily Bender, Directrice du laboratoire de linguistique informatique de l'université de Washington, ou Yann LeCun, Chief AI Scientist chez Meta, pensent le contraire. LeCun appelle même à un changement de paradigme complet : selon lui, les SIA Générative (basés sur des LLMs par nature auto-régressifs, donc probabilistiques) ne pourront jamais être exempts d’hallucinations car les réponses générées sont structurellement incontrôlables (LeCun, 2023). En effet, les LLMs ne “raisonnent” pas à la manière d’êtres humains et il apparaît dès lors évident qu’un certains nombre de réponses générées soient insensées ou absurdes. De plus en plus d’experts avancent que les hallucinations ne sont pas un bug mais bien une fonctionnalité propre à la technologie derrière les SIA Générative. En élargissant la définition d’hallucination telle que considérée jusqu’alors dans notre réflexion (soit un résultat insatisfaisant présenté de manière factuelle) à celle d’une caractéristique inhérente aux SIA Générative, il devient alors possible de poser un regard nouveau sur ce phénomène et d’en voir des avantages.
Les hallucinations comme source de créativité
Une étude propose par exemple de poser un regard positif sur les hallucinations des LLMs en insistant sur leur potentiel créatif (Jiang, et al., 2024). Les auteurs dressent notamment un parallèle entre les hallucinations des LLMs et deux grandes “hallucinations” historiques ayant permis des avancées majeures : l’héliocentrisme, perçu historiquement comme une “hallucination” factuelle avant la révolution scientifique qu’a permis la publication de Copernic, et la découverte accidentelle de la pénicilline à travers l’expérience involontaire de Fleming, pouvant être comparée à une “hallucination” de fidélité. De plus, des recherches en sciences cognitives soulignent que la créativité humaine ne consiste pas seulement à récupérer des informations, mais aussi à recombiner et à développer les connaissances existantes, un phénomène similaire aux hallucinations des LLMs.
À l’échelle organisationnelle, il est ainsi possible de dresser nombreux cas d’usage qui permettent de tirer parti de cette créativité : l’idéation dans le marketing, le design thinking, le développement de produits, la data visualization, la prospective stratégique… Microsoft par exemple joue sur cette caractéristique des LLMs en proposant avec son outil d’IA Copilot la possibilité d’ajuster le degré de factualité ou de créativité des réponses générées par le chatbot.
Pour aller plus loin : l’humain face à la technologie
Au terme de cette synthèse, nous pouvons constater que le phénomène d’hallucination des SIA nous questionne sur nos perceptions de la technologie ainsi que sur les notions liées à la responsabilité, la confiance ou encore la vérité.
Tout d’abord, il semble que deux écueils menacent tout utilisateur d’un SIA Générative : l’anthropomorphisme, ici la tendance à doter un SIA de capacités “humaines” de raisonnement (voire d’un statut d’expert) ou à l’inverse d’une volonté de tromperie ; et l’oubli de l’écart entre l’état actuel de la technologie et l’usage qu’on souhaite en faire (utiliser un LLM comme un navigateur de recherche, une base de données etc.). Derrière l’effervescence des discours sur les hallucinations, nous pouvons déceler ainsi deux préoccupations : la nécessité de fiabilité et l’enjeu de la responsabilité.
Dans le premier cas, certains discours en vogue apparaissent démesurés : est-il toujours pertinent (et possible ?) d’exiger des réponses absolument factuelles d’un SIA Générative lorsque les humains n’en sont pas capables eux-mêmes ? Il n’existe pas à ce jour de standard de vérité universel et objectif. Il s’agit ainsi pour le décideur, avec les moyens à sa disposition, de doser au mieux la factualité et la marge d’erreur du SIA développé ou utilisé, en fonction de son champ d’application (dosage certainement différent dans l’application du SIA au secteur de la santé comparé à celui du design artistique).
Quant à la responsabilité des impacts causés par les hallucinations, elle apparaît dès lors partagée entre les fournisseurs et développeurs de SIA Générative, qui créent et calibrent leur modèles pour un usage attendu, et les utilisateurs de ces systèmes à qui incombe un usage raisonnable et critique des contenus générés. Là aussi des leviers d’action existent : le développement d’une gouvernance éthique des SIA à l’échelle organisationnelle et la sensibilisation des parties prenantes (clients, employés…) à la technologie pour n’en nommer que deux.
Au-delà des hallucinations, dans le développement et le déploiement des SIA à l’échelle organisationnelle, l’application de l’éthique comme une méthodologie de compréhension, d’évaluation et de sensibilisation des impacts liés aux SIA permet de créer les conditions de la confiance. Confiance, non pas en une technologie mais entre d’une part, des humains qui proposent un outil comme un service, et d’autre part des humains qui utilisent cet outil pour répondre à un besoin.
Aymeric Thiollet
Human Technology Foundation, 22 avril 2024
Schiffer, Z., & Newton, C. (2023, Décembre). Amazon’s Q has ‘severe hallucinations’ and leaks confidential data in public preview, employees warn. Récupéré sur Platformer: https://www.platformer.news/amazons-q-has-severe-hallucinations/
Merriam-Webster. (2024, Avril). Hallucination. Récupéré sur Merriam-Webster : https://www.merriam-webster.com/dictionary/hallucination
IBM. (2024, Avril). What are AI hallucinations? Récupéré sur ibm.com : https://www.ibm.com/topics/ai-hallucinations
Douglas Heaven, W. (2023, Mai 2). Geoffrey Hinton tells us why he’s now scared of the tech he helped build . Récupéré sur MIT Technology Review: https://www.technologyreview.com/2023/05/02/1072528/geoffrey-hinton-google-why-scared-ai/
Garg, S. (2023, Mars 14). What are AI Hallucinations? Récupéré sur All Things How : https://allthings.how/what-are-ai-hallucinations/
Carlini, N. (2018). Audio Adversarial Examples. Récupéré sur nicholas.carlini.com: https://nicholas.carlini.com/code/audio_adversarial_examples/
Milmo, D. (2023, Février 9). Google AI chatbot Bard sends shares plummeting after it gives wrong answer. Récupéré sur The Guardian : https://www.theguardian.com/technology/2023/feb/09/google-ai-chatbot-bard-error-sends-shares-plummeting-in-battle-with-microsoft
Zhang, Y., Li, Y., Cui, L., Cai, D., Liu, L., Fu, T., . . . Shi, S. (2023, Septembre 24). Siren’s Song in the AI Ocean: A Survey on Hallucination in Large Language Models. Récupéré sur arxiv.org: https://arxiv.org/pdf/2309.01219.pdf
Ye, H., Liu, T., Zhang, A., Hua, W., & Jia, W. (2023, Septembre 13). Cognitive Mirage: A Review of Hallucinations in Large Language Models. Récupéré sur arxiv.org : https://arxiv.org/pdf/2309.06794.pdf
Huang, L., Yu, W., Ma, W., Zhong, W., Feng, Z., Wang, H., . . . Liu, T. (2023, Novembre 9). A Survey on Hallucination in Large Language Models : Principles, Taxonomy, Challenges, and Open Questions. Récupéré sur arxiv.org: https://arxiv.org/pdf/2311.05232.pdf
Ji, Z., Lee, N., Frieske, R., Yu, T., Su, D., Xu, Y., . . . Fung, P. (2024, Février 19). Survey of Hallucination in Natural Language Generation. Récupéré sur arxiv.org : https://arxiv.org/pdf/2202.03629.pdf
Tonmoy, S., Zaman, S., Jain, V., Rani, A., Rawte, V., Chadha, A., & Das, A. (2024, Janvier 8). A Comprehensive Survey of Hallucination Mitigation Techniques in Large Language Models. Récupéré sur arxiv.org : https://arxiv.org/pdf/2401.01313.pdf
O'Brien, M., & The Associated Press. (2023, Août 1). Tech experts are starting to doubt that ChatGPT and A.I. ‘hallucinations’ will ever go away: ‘This isn’t fixable’. Récupéré sur Fortune : https://fortune.com/2023/08/01/can-ai-chatgpt-hallucinations-be-fixed-experts-doubt-altman-openai/
LeCun, Y. (2023, Mars 24). n.d. Récupéré sur LinkedIn : https://www.linkedin.com/posts/yann-lecun_i-have-claimed-that-auto-regressive-llms-activity-7045908925660950528-hJGk?
Jiang, X., Tian, Y., Hua, F., Xu, C., Wang, Y., & Guo, J. (2024, Février 2). A Survey on Large Language Model Hallucination via a Creativity Perspective. Récupéré sur arxiv.org : https://arxiv.org/pdf/2402.06647v1.pdf
Dhaduk, H. (2023, Octobre 26). The Curious Case of LLM Hallucination: Causes and Tips to Reduce its Risks. Récupéré sur Simform : https://www.simform.com/blog/llm-hallucinations/
.png)
.png)