Mes archives mentaient : 60 % de vide, et mon IA répondait quand même
Mes archives mentaient : 60 % de vide, et mon IA répondait quand même
Voilà ce qui arrive quand on construit une mémoire artificielle sur du sable. J'ai découvert récemment que mon système de documentation personnelle — ces archives censées servir de cerveau externe à mon IA locale — était rempli à 60 % d'espaces vides, de métadonnées orphelines et de fichiers qui n'existaient plus. Et le pire ? Mon modèle continuait à générer des réponses confiantes comme si de rien n'était.
C'est un signal faible d'un problème bien plus large que je voulais partager : la hallucination n'est pas seulement une propriété des LLM. C'est une propriété des systèmes mal architecturés. Quand on combine une base de connaissances pourrie avec un modèle de langage, on ne crée pas une intelligence augmentée. On crée une machine à mensonges convaincants.
Commençons par les faits. Mon homelab tourne sur une RTX 4070 Ti avec Ollama et quelques modèles classe 8B (llama3.1:8b, mistral:7b). Rien d'extraordinaire. Pour enrichir ces modèles, j'ai mis en place un système de retrieval-augmented generation (RAG) : l'IA interroge mes archives avant de répondre, censément pour ancrer ses réponses dans mes données réelles. En théorie, c'est du bon sens. En pratique, j'ai découvert que mes archives étaient un musée de ruines.
Pourquoi ? Parce que j'avais fait ce que 90 % des gens font : j'avais créé une structure de dossiers sans vraiment la maintenir. Des fichiers supprimés mais dont les métadonnées restaient en base. Des liens brisés. Des chemins qui pointaient vers du vide. Des notes d'il y a trois ans qui référençaient des projets abandonnés. Et surtout, aucun audit de la qualité des données. J'avais juste supposé que "si c'est dans mes archives, c'est vrai".
Résultat : quand je posais une question à mon IA locale, elle fouillait ces archives vides, ne trouvait rien de pertinent, et alors ? Elle hallucininait. Elle créait une réponse plausible en extrapolant à partir du contexte et de son entraînement. Elle faisait son job de LLM : générer du texte cohérent. Sauf que ce texte était du pur air. Et j'aurais pu le croire, parce que le ton était confiant, la structure était logique, l'argumentation était lisse.
Voilà le point de basculement : une IA n'a pas besoin de connaître la vérité pour avoir l'air de la dire. Elle n'a pas besoin d'accès à de vraies données pour générer du texte qui semble factuel. Et si vous lui donnez une base de connaissances pourrie, elle ne vous le signalera pas. Elle fera juste ce qu'elle sait faire : prédire le token suivant.
Ce qui m'a poussé à creuser, c'est une question banale que j'ai posée à mon IA : "Quel était mon dernier article sur la souveraineté technologique ?" La réponse était détaillée, bien structurée, et totalement fausse. L'article n'existait pas. Elle l'avait inventé de toutes pièces en s'appuyant sur des fragments de contexte (le mot "souveraineté" dans mes archives, mon intérêt connu pour le sujet, des patterns d'écriture). C'était une hallucination pure, mais elle avait l'air d'une vraie réponse.
C'est là que j'ai lancé un audit complet. Et j'ai découvert le carnage : 60 % de vide. Des dossiers entiers qui n'avaient pas été synchronisés correctement. Des fichiers qui avaient disparu lors d'une migration. Des métadonnées qui pointaient vers des chemins qui n'existaient plus. Et pendant ce temps, mon système RAG faisait de son mieux avec ce qu'il avait, c'est-à-dire pas grand-chose.
Pourquoi vous raconter ça ? Parce que nous sommes en train de déployer des systèmes d'IA partout — en entreprise, en administration, dans des décisions qui affectent des gens — sans vraiment nous poser la question : sur quelle qualité de données construit-on ces systèmes ? Et qui audite la qualité de ces données ? Qui s'assure que la base de connaissances n'est pas remplie à 60 % de vide ?
En entreprise, c'est pire. Les données sont dispersées dans vingt systèmes différents. Personne ne sait vraiment ce qu'il y a où. Les métadonnées sont un fouillis. Les propriétaires de données ne se parlent pas. Et puis on connecte une IA générative à tout ça, on lui demande de "transformer la prise de décision", et on est surpris quand elle sort des réponses confidentes mais fausses.
Je ne suis pas en train de dire que les LLM sont inutiles. Je dis que les LLM sont des multiplicateurs : ils amplifient la qualité de ce qu'on leur donne. Si vous les alimentez avec de la merde, vous aurez de la merde bien structurée et convaincante.
Ma solution, c'était radical : j'ai vidé 60 % de mes archives. J'ai supprimé les fichiers orphelins, les métadonnées brisées, les références mortes. J'ai revalidé chaque lien. J'ai créé une structure claire avec des règles de maintenance. Et maintenant, quand mon IA interroge mes archives, elle a 40 % de moins à fouiller, mais ce qu'elle trouve est vrai. Les hallucinations ont baissé drastiquement. Pas disparu, mais sensiblement moins fréquentes.
C'est un microcosme de ce qu'on devrait faire à plus grande échelle : arrêter de supposer que "plus de données = mieux". Commencer par auditer la qualité. Accepter de jeter ce qui est pourri. Construire des pipelines de maintenance. Créer de la transparence sur ce qu'on sait et ce qu'on ne sait pas.
Parce qu'au final, le vrai danger n'est pas que l'IA hallucine. C'est qu'elle hallucine sur du vide, et que personne ne le sache. C'est qu'on prend ses réponses pour argent comptant parce qu'elles sont confiantes. C'est qu'on construit des décisions sur du sable et qu'on appelle ça de l'innovation.
Alors voilà ma question pour vous : avez-vous audité la qualité de vos données avant de les connecter à une IA ? Avez-vous mesuré le vide ? Ou vous aussi, vous supposez juste que c'est bon parce que ça a l'air de fonctionner ?
Partagez vos expériences en commentaire. J'imagine que je ne suis pas le seul à avoir construit une cathédrale sur du vide.