SimpleQA

What it measures

Kurze Faktenfragen mit eindeutiger Antwort. Misst vor allem, ob ein Modell zugibt, etwas nicht zu wissen, statt zu erfinden.

What it does not measure

Schliessen, Rechnen, laengere Texte.

How the score is composed

Details

Benchmaxxing risk

medium

Difficulty

high

Public test set

yes

Human-verified

yes

LLM-judged

yes

Sample size

4326

Letzter Messwert

2026-09-10

Skala

0–100 % correct (höher besser)