Hallucination de l'IA : pourquoi elle invente, et comment une entreprise s'en protège

Imaginez un client qui écrit à votre entreprise pour savoir quand sa commande partira. Une IA prépare la réponse : « Votre commande sera expédiée jeudi. » La phrase est polie, bien tournée, rassurante. Le problème, c’est que personne n’a jamais dit jeudi. L’IA a écrit ce qui ressemblait le plus à une bonne réponse.

C’est ce qu’on appelle une hallucination : une réponse fausse, présentée avec la même assurance qu’une réponse juste. Pour un particulier qui pose une question à ChatGPT, c’est agaçant. Pour une entreprise qui laisse l’IA préparer des messages à ses clients, c’est un engagement qu’on n’a pas pris, un prix qu’on n’a pas fixé, ou une promesse qu’on ne pourra pas tenir.

La bonne nouvelle, c’est qu’on sait très bien s’en protéger. Il faut seulement comprendre d’où vient le problème.

Ce sujet fait partie de ce que je fais pour les entreprises : chaque assistant que j’installe est construit autour de ces protections.

Pourquoi une IA invente

Une IA comme ChatGPT, Claude ou Gemini ne consulte pas une base de faits quand elle vous répond. Elle produit, mot après mot, le texte le plus probable compte tenu de ce que vous lui avez écrit. La plupart du temps, le texte le plus probable est aussi le bon. Mais quand l’information lui manque, elle ne s’arrête pas pour autant : elle produit quelque chose de plausible.

Deux conséquences en découlent, et elles comptent pour une entreprise.

• L’IA ne sait pas qu’elle ne sait pas. Elle répond avec le même ton assuré, qu’elle ait raison ou tort. Le ton de la réponse ne vous dit donc rien sur sa fiabilité.
• Elle invente surtout là où elle n’a pas l’information. Votre délai de livraison de cette semaine, le stock d’un produit, la remise accordée à un revendeur : rien de tout ça n’est dans sa mémoire. Si on ne lui donne pas la donnée, elle la devine.

Où c’est dangereux dans une entreprise

Toutes les erreurs ne se valent pas. Une formule maladroite dans un brouillon se corrige d’un coup d’œil. Voici en revanche les informations sur lesquelles une hallucination coûte cher, parce qu’elles engagent l’entreprise.

1. Les prix, les remises et les conditions de paiement. Un tarif inventé dans un mail devient vite une négociation perdue d’avance.
2. Les délais et les dates. Une date d’expédition ou de livraison promise, c’est un engagement envers le client.
3. Les stocks et la disponibilité. Annoncer qu’un produit est disponible alors qu’il ne l’est pas, c’est une commande qu’on devra annuler.
4. Les conditions juridiques. Garanties, conditions générales de vente, droit de rétractation : l’IA peut citer une règle qui n’existe pas, avec un numéro d’article à l’appui.
5. Les références techniques et réglementaires. Une norme, une durée de conservation, une composition : dans un atelier ou un commerce alimentaire, une erreur sur ce terrain peut aller bien au-delà d’un client mécontent.

Le point commun de ces cinq cas, c’est qu’il s’agit d’informations propres à votre entreprise, ou qui changent souvent. C’est exactement là que l’IA a le moins de chances de savoir, et le plus de chances d’inventer.

Cinq protections qui permettent de s’en servir quand même

On ne supprime pas les hallucinations, on organise le travail pour qu’elles ne sortent jamais de l’entreprise. Voici les protections que je mets en place, de la plus importante à la plus fine.

1. Un humain valide tout ce qui part chez un client. C’est la protection principale, et elle n’est pas négociable. L’IA prépare un brouillon, une personne de l’entreprise le relit et l’envoie. Un délai inventé se repère en deux secondes par quelqu’un qui connaît le planning ; il passe inaperçu s’il part tout seul.

2. L’IA va chercher l’information au lieu de la deviner. Plutôt que de lui demander de « répondre au client », on la relie à votre logiciel de gestion pour qu’elle consulte l’état réel de la commande, le stock ou la fiche client avant d’écrire. C’est ce qui a été fait à la Chocolaterie du Nouveau Monde : les brouillons de réponse sont construits à partir de ce que contient Odoo, et pas de ce que l’IA croit savoir. J’explique ce que l’IA d’Odoo sait faire, et ce qu’il faut ajouter, dans cet article sur Odoo et l’IA.

3. On lui dit quoi faire quand l’information manque. Une IA à qui personne n’a dit « si tu ne trouves pas l’information, écris-le » comblera le vide. Ses consignes doivent donc prévoir ce cas noir sur blanc : signaler qu’elle ne sait pas, plutôt que de proposer une réponse plausible. Ces consignes s’écrivent là où l’équipe peut les lire et les corriger.

4. Les chiffres qui engagent restent entre les mains de l’équipe. Pour les prix, les remises et les conditions, la règle la plus simple est que l’IA ne les formule jamais d’elle-même : soit elle les recopie depuis le logiciel en indiquant d’où ils viennent, soit elle laisse un blanc que la personne qui valide remplit.

5. On corrige les consignes, pas seulement le brouillon. Pendant les premières semaines, on regarde ce que l’IA prépare et ce que l’équipe en corrige. Chaque erreur qui revient devient une consigne. Corriger le brouillon règle le problème une fois ; corriger la consigne le règle pour la suite.

Ce que ces protections ne font pas

Soyons honnêtes : aucune de ces protections ne rend l’IA infaillible. Elles réduisent fortement le risque et, surtout, elles garantissent qu’une erreur est rattrapée avant d’arriver chez le client. C’est pour cela que la validation humaine reste en tête de liste : les autres protections réduisent le nombre d’erreurs, celle-là les empêche de sortir.

Ces règles méritent aussi d’être écrites pour toute l’équipe, y compris pour ceux qui utilisent l’IA de leur côté, sur leur propre téléphone. C’est l’un des rôles d’une charte IA dans l’entreprise.

En résumé

• Une hallucination est une réponse fausse donnée avec assurance. Ce n’est pas une panne, c’est la façon dont l’IA fonctionne.
• Elle est dangereuse surtout sur ce qui est propre à votre entreprise : prix, délais, stocks, conditions, références techniques.
• Les cinq protections : un humain qui valide, une IA qui consulte vos données au lieu de deviner, des consignes pour le cas où l’information manque, des chiffres qui restent entre les mains de l’équipe, et des consignes corrigées au fil des erreurs.

---

Vous voulez que l’IA prépare les réponses à vos clients sans risquer qu’elle invente ? C’est précisément ce que je fais : je relie votre messagerie et votre logiciel de gestion pour que l’IA consulte vos vraies données, et vous validez avant que rien ne parte. Parlons de votre entreprise : le premier échange de vingt minutes est gratuit.