Après avoir découvert l’intelligence artificielle, de nombreux dirigeants ont vécu la même expérience.
La démonstration est impressionnante.
L’outil semble comprendre les questions, raisonner, synthétiser et produire des réponses en quelques secondes.
Puis survient le moment de doute.
L’IA affirme quelque chose qui n’existe pas.
Elle attribue une décision à la mauvaise personne.
Elle invente une référence de document.
Ou elle répond avec beaucoup d’assurance à une question dont elle ne connaît pas réellement la réponse.
On appelle cela une hallucination.
Le terme est spectaculaire, mais il peut aussi être trompeur.
Car dans de nombreux cas, le problème ne vient pas de l’intelligence artificielle elle-même.
Il vient de la qualité des données sur lesquelles elle s’appuie.
Pour un financier, la situation est finalement assez familière.
Une erreur d’analyse ou une erreur de comptabilité ?
Lorsqu’un directeur financier constate une incohérence dans un tableau de bord, il ne remet pas immédiatement en cause l’outil de reporting.
Il commence généralement par vérifier :
- les données sources ;
- les écritures ;
- les imputations comptables ;
- les rapprochements réalisés.
Un chiffre erroné dans un reporting n’est souvent que la conséquence d’une erreur plus ancienne.
L’analyste n’a fait qu’exploiter une information déjà dégradée.
Avec l’intelligence artificielle, la logique est très proche.
Lorsque l’IA produit une réponse incorrecte, la question à poser n’est pas seulement :
Pourquoi le modèle s’est-il trompé ?
Mais également :
Sur quelles données a-t-il construit sa réponse ?
Une IA ne sait pas distinguer une donnée fiable d’une donnée erronée
Dans une comptabilité, une facture saisie deux fois produit une information fausse.
Une charge imputée dans le mauvais compte produit une analyse fausse.
Une facture absente produit un résultat faux.
Pourtant, le logiciel comptable fonctionne parfaitement.
Il exploite simplement les informations qui lui ont été fournies.
L’intelligence artificielle se comporte souvent de la même manière.
Si les documents sont incomplets, contradictoires ou obsolètes, elle les utilisera malgré tout.
Si plusieurs versions d’un document coexistent sans indication claire de leur validité, elle pourra privilégier la mauvaise.
Si l’information pertinente n’est pas accessible, elle tentera parfois de compléter les vides à partir de probabilités.
C’est précisément ce mécanisme qui peut produire certaines hallucinations.
Quand les données sont mal classées
Dans l’article précédent, nous avons comparé l’indexation au plan comptable.
Cette analogie mérite d’être prolongée.
Imaginons qu’une entreprise décide soudainement de comptabiliser certaines dépenses marketing dans les charges financières.
Les données existent.
Les montants sont exacts.
Mais leur classement est erroné.
Les analyses produites ensuite perdront progressivement leur pertinence.
Dans un système d’intelligence artificielle, il peut se produire la même chose.
Un document mal catégorisé.
Une date incorrectement identifiée.
Un auteur mal reconnu.
Une relation mal établie entre deux informations.
Individuellement, ces erreurs paraissent mineures.
Collectivement, elles peuvent altérer la qualité des réponses.
Les hallucinations les plus dangereuses ne sont pas les plus visibles
Lorsqu’une IA invente totalement un fait, l’erreur est parfois facile à détecter.
Le risque le plus important est souvent ailleurs.
Il se situe dans les réponses plausibles.
Celles qui semblent cohérentes.
Celles qui s’appuient sur une partie seulement de l’information disponible.
Celles qui omettent un élément essentiel sans que l’utilisateur en soit conscient.
Tout administrateur connaît ce phénomène.
Un rapport peut être exact sur le plan technique tout en conduisant à une mauvaise décision si certaines informations n’ont pas été remontées.
L’IA est confrontée au même défi.
Le véritable sujet est la gouvernance de l’information
Beaucoup d’organisations abordent encore l’IA comme un projet technologique.
Pourtant, les premiers enjeux sont souvent ailleurs.
Ils concernent :
- la qualité des données ;
- la traçabilité des sources ;
- les responsabilités ;
- les processus de mise à jour ;
- les règles de conservation de l’information.
Autrement dit, des sujets de gouvernance.
Les entreprises qui obtiennent aujourd’hui les meilleurs résultats avec l’IA ne sont pas forcément celles qui disposent des modèles les plus sophistiqués.
Ce sont souvent celles qui maîtrisent le mieux leur patrimoine informationnel.
Ce qu’un administrateur devrait demander
Lorsqu’une organisation déploie des solutions d’intelligence artificielle, les questions ne devraient pas se limiter aux performances du modèle.
Un administrateur pourrait tout aussi bien demander :
- D’où proviennent les données ?
- Comment sont-elles mises à jour ?
- Qui contrôle leur qualité ?
- Comment les différentes versions sont-elles gérées ?
- Peut-on retracer les sources utilisées pour produire une réponse ?
Curieusement, ces questions ressemblent beaucoup à celles posées lors d’un audit financier.
Et ce n’est probablement pas un hasard.
Conclusion
Les hallucinations de l’IA sont parfois présentées comme un problème technologique complexe.
Elles sont souvent plus simples à comprendre.
Dans de nombreux cas, elles ressemblent à ce qu’un financier qualifierait d’erreur de tenue comptable.
Lorsque les données sont mal collectées, mal classées, mal réconciliées ou insuffisamment gouvernées, les décisions qui en découlent deviennent fragiles.
L’intelligence artificielle ne supprime pas l’importance de la qualité de l’information.
Elle la rend au contraire encore plus visible.
Après tout, aucun conseil d’administration n’accepterait de piloter une entreprise à partir d’une comptabilité approximative.
Pourquoi accepterait-il de piloter une organisation à partir de données dont la qualité n’est pas maîtrisée ?