Pelno nesiekiantis AI saugos centras (CAIS) ir įmonė „Scale AI“, teikianti daugybę duomenų ženklinimo ir dirbtinio intelekto kūrimo paslaugų, išleido naują sudėtingą etaloną pasienio AI sistemoms.
Etalonas, vadinamas paskutiniu žmonijos egzaminu, apima tūkstančius klausimų, susijusių su tokiais dalykais kaip matematika, humanitariniai mokslai ir gamtos mokslai. Kad vertinimas būtų sunkesnis, klausimai pateikiami keliais formatais, įskaitant formatus, kuriuose yra diagramų ir vaizdų.
Preliminariame tyrime nė vienai viešai prieinamai pavyzdinei AI sistemai nepavyko surinkti geresnių nei 10% paskutinio žmonijos egzamino balų.
CAIS ir „Scale AI“ teigia, kad planuoja atverti etaloną mokslinių tyrimų bendruomenei, kad mokslininkai galėtų „giliau įsigilinti į variantus“ ir įvertinti naujus AI modelius.
