Décryptage sourcé
Le champion du test a encore perdu contre votre imprimante
Une médaille sur un exercice ne décrit pas toute une journée de travail.
Au championnat imaginaire, l’IA résout des énigmes impeccables. Puis quelqu’un lui confie une facture de travers, une consigne ambiguë et un fichier appelé « définitif-vraiment-3 ». L’imprimante observe la scène. Elle connaît déjà ce genre de compétition.
Une évaluation dépend des tâches et des conditions retenues. Le NIST recommande de documenter les limites de généralisation et d’éviter de déduire des capacités générales d’observations étroites ou anecdotiques. Un résultat peut informer sans suffire à prédire une autre utilisation.
Pour lire un score, cherchez ce qui a été demandé, comment la réussite a été définie et quelles erreurs restent invisibles dans la moyenne. Pour votre propre comparaison, notre proposition est de conserver quelques exemples représentatifs, y compris les cas gênants, et de noter aussi les corrections nécessaires. Une démonstration réussie reste un exemple, pas une garantie.
Le ressort comique apparaît quand le trophée remplace le travail : le robot pose sa médaille sur le scanner et attend qu’elle fasse le reste. Pour revenir au sérieux, retirez la médaille et décrivez une tâche précise. C’est moins spectaculaire, mais beaucoup plus facile à vérifier.
Les sources, sans costume de clown : NIST AI 600-1 — Generative AI Profile
