Uitleg met bronnen
De testkampioen verloor alsnog van uw printer
Een medaille voor één oefening beschrijft geen hele werkdag.
Op een denkbeeldig kampioenschap lost de AI perfecte raadsels op. Dan krijgt hij een scheve factuur, een dubbelzinnige instructie en een bestand genaamd definitief-echt-3. De printer kijkt toe. Die kent deze wedstrijd.
Een beoordeling hangt af van gekozen taken en omstandigheden. NIST adviseert grenzen van generalisatie te documenteren en brede capaciteitsclaims op basis van smalle of anekdotische observaties te vermijden. Een uitkomst kan informeren zonder ander gebruik te voorspellen.
Zoek bij een score de taak, de definitie van succes en fouten die een gemiddelde verhult. Voor eigen vergelijkingen stellen we representatieve voorbeelden voor, ook lastige, met de benodigde correcties. Een geslaagde demonstratie blijft een voorbeeld, geen garantie.
De grap begint als de trofee het werk vervangt: de robot legt zijn medaille op de scanner en wacht. Terug naar de werkelijkheid: haal de medaille weg en beschrijf een concrete taak. Minder spectaculair, maar beter te controleren.
Bronnen zonder clownspak : NIST AI 600-1 — Generative AI Profile
