Explicação com fontes
O campeão do teste voltou a perder contra a impressora
Uma medalha num exercício não descreve um dia inteiro de trabalho.
Num campeonato imaginário, a IA resolve enigmas impecáveis. Depois recebe uma fatura torta, uma instrução ambígua e um ficheiro chamado definitivo-mesmo-3. A impressora observa. Já conhece essa competição.
Uma avaliação depende das tarefas e condições escolhidas. O NIST recomenda documentar limites de generalização e evitar inferir capacidades gerais de observações restritas ou anedóticas. Um resultado informa sem prever necessariamente outro uso.
Procure num resultado a tarefa, a definição de sucesso e os erros escondidos pela média. Para comparar por si, sugerimos exemplos representativos, incluindo os difíceis, e registar as correções necessárias. Uma demonstração bem-sucedida continua a ser um exemplo, não uma garantia.
A piada aparece quando o troféu substitui o trabalho: o robô põe a medalha no scanner e espera. Para voltar à realidade, retire a medalha e descreva uma tarefa concreta. Menos espetacular, mas mais verificável.
Fontes sem fato de palhaço : NIST AI 600-1 — Generative AI Profile
