Debats

Des experts de niveau doctorat, interrogés dans leur propre spécialité, se trompent quatre fois sur dix quand ils vérifient une affirmation. Ethan Mollick, professeur à Wharton, en conclut qu’on s’inq

Repartage — contenu de Anthony Basille

Des experts de niveau doctorat, interrogés dans leur propre spécialité, se trompent quatre fois sur dix quand ils vérifient une affirmation. Ethan Mollick, professeur à Wharton, en conclut qu’on s’inquiète trop de vérifier ce que produit l’IA. Je lis l’étude autrement.

Sur les chiffres, il a raison. L’étude vient de Duke et d’Amazon, publiée à ACL cette année. Des spécialistes devaient dire si des affirmations tirées de rapports de recherche étaient fondées. Seuls, ils tombent juste dans 60,8 % des cas. Sur la recherche de faits en ligne, les agents de 2026 dépassent 90 % là où des humains disposant de deux heures par question plafonnent à 25 %, d’après les chiffres des labos. L’IA qui inventait ses références, c’était 2023. Beaucoup de formations en font encore leur chapitre central. Les miennes aussi, il y a deux ans.

Le résultat qu’il ne cite pas est dans la même étude. Quand ces experts cessent de vérifier seuls et examinent les preuves apportées par un agent, leur score monte à 90,9 %. Les auteurs l’écrivent noir sur blanc : un expert est meilleur auditeur que vérificateur.

Ma conclusion est donc différente. Ce qu’il faut vérifier a changé. Chasser l’erreur factuelle ligne par ligne, la machine le fait mieux que nous. Ce qu’aucun test de factualité ne mesure, c’est si la question était la bonne, et si la réponse vaut pour votre situation.

Un essai d’Anthropic publié fin octobre le montre. Des analystes ont suivi la préférence cachée de leur agent dans 86 % des cas. Il n’y avait aucune erreur factuelle à trouver, les questions n’avaient pas de bonne réponse. Tout était exact, et la décision n’était plus la leur.

Il y a aussi un piège que l’aviation documente depuis trente ans. Plus un système est fiable, moins on le surveille. L’erreur devient rare, plus personne ne la cherche, et le jour où elle arrive, elle passe.

C’est ce qui a changé dans la partie esprit critique de mes formations à l’IA. On y parle de moins en moins d’hallucinations. On y apprend à auditer un raisonnement et à voir le cadre qu’une réponse impose. Avec une condition que l’étude rappelle sans le vouloir : ses auditeurs avaient un doctorat. On n’audite bien que ce qu’on sait faire.

Une réserve, que le graphique partagé par Mollick porte lui-même en petits caractères. Ces scores viennent de tests construits pour piéger. La fiabilité d’un usage quotidien reste à mesurer.

Une IA qui se trompe souvent, tout le monde la relit. L’esprit critique commence à servir le jour où elle a presque toujours raison.

– Anthony

Sources LinkedIn