SatBench: 63 Prozent der Benchmarks sind gelöst - unabhängig nur 24

Die wichtigsten Fakten
- SatBench zählt 109 von 173 von Laboren zitierte Benchmarks als gelöst - 63 Prozent bei einer 85-Prozent-Schwelle.
- Zählt man nur unabhängige Läufe, steht der Index bei 24 statt 63 Prozent.
- Drei von vier Erstüberquerungen der 85-Prozent-Marke stammen aus dem eigenen Launch-Post des Labors.
- Neue Benchmarks fallen immer schneller: 17 Prozent des Jahrgangs 2023 waren binnen eines Jahres gelöst, 2025 waren es 43 Prozent.
- Die Werte für 2028 und 2030 sind ausdrücklich Extrapolationen bei konstantem Tempo, keine Prognosen.
Wie viele der Benchmarks, mit denen KI-Labore ihre Modelle bewerben, sind eigentlich noch aussagekräftig? Ethan Mollick hat mit SatBench einen 'Benchmark der Benchmarks' veröffentlicht (14. November), aufgebaut auf Brian Zhous Benchmark Almanac. Ein Benchmark gilt darin als gelöst, sobald der beste gemeldete KI-Score 85 Prozent erreicht.
Die Kernzahlen
- 109 der 173 von Laboren zitierten Benchmarks sind nach dieser Definition gelöst - 63 Prozent. Der Index lag von 2023 bis Anfang 2025 nahe 30 Prozent und kletterte dann binnen zwölf Monaten um 20 Punkte.
- Neue Benchmarks fallen immer schneller: Der Anteil, der binnen eines Jahres nach Veröffentlichung gelöst wird, stieg von 17 Prozent (Jahrgang 2023) über 30 Prozent (2024) auf 43 Prozent (2025).
- Die mediane Zeit bis zur 85-Prozent-Marke sank von etwa 20 auf etwa 14 Monate.
- Der Kanon von 2023 ist am Frontier-Rand verschwunden: 2026 nannten nur noch 2 von 134 Launch-Posts Klassiker wie MMLU, HumanEval oder GSM8K.
Der eigentliche Befund: die Unabhängigkeitslücke
Zählt man nur unabhängige Läufe, steht SatBench nicht bei 63, sondern bei 24 Prozent. Drei von vier Erstüberquerungen der 85-Prozent-Marke stammen aus dem eigenen Launch-Post des Labors - und nur 10 dieser 75 wurden später von unabhängiger Seite erreicht. Die Bestwerte mischen zudem verschiedene Testumgebungen, Werkzeugnutzung und Best-of-n-Verfahren.
Wer zuerst über 85 Prozent kommt: OpenAI liegt mit 20 Benchmarks insgesamt vorn, Anthropic führt den Jahrgang 2026 mit 11 an. Gezählt werden dabei nur die 71 Benchmarks, die mehrere Frontier-Labore berichten - damit kein Labor mit Nischentests die Liste dominiert.
Die Grenzen der Zählung
Mollick benennt die Schwächen selbst: Vor 2025 ist die Datenlage dünn (43 Launch-Posts aus 2023/24 gegenüber rund 230 pro Jahr seither), die Score-Matrix ist nur zu 40 Prozent gefüllt, und junge Benchmarks sind unterzählt, weil ein Test erst nach zehn Launch-Erwähnungen in den Index kommt. Die Projektion - der heutige Bestand wäre um 2028 zu 85 Prozent gelöst, der Live-Index um 2030 - ist ausdrücklich eine Extrapolation, keine Prognose.
Häufige Fragen
Wann gilt ein Benchmark bei SatBench als gelöst?
Sobald der beste gemeldete KI-Score 85 Prozent erreicht - egal ob aus einem offiziellen Leaderboard, von Epoch AI oder aus dem Launch-Post eines Labors.
Warum steht SatBench bei 63 und zugleich bei 24 Prozent?
63 Prozent zählt alle gemeldeten Bestwerte, inklusive Selbstauskünften der Labore. Nur unabhängige Läufe gezählt, bleiben 24 Prozent.
Sind die Werte für 2028 und 2030 Prognosen?
Nein. Es sind Extrapolationen, falls das Tempo der letzten zwölf Monate anhält. Mollick selbst warnt: Das ist keine Vorhersage.
Quellen
- SatBench: a benchmark of AI benchmarks (README und summary.md) (GitHub (Ethan Mollick), abgerufen 2026-11-15)
- Benchmark Almanac (Brian Zhou, abgerufen 2026-11-15)
Weitere Artikel
- Gemini 4 Hydrogen: schneller Agenten-Motor mit vier Denkstufen
- MKA-Test: Fable 5.2 führt, Carbon folgt für rund ein Fünftel der gemessenen Kosten
Transparenzhinweis: Dieser Artikel ist ein redaktioneller Beitrag von Philipp Paulik und entstand mit KI-Unterstützung (Recherche und Textentwurf). Alle Quellen sind unten verlinkt; Zahlen und Aussagen stammen aus diesen Quellen. Das Titelbild ist KI-generiert und im Bild entsprechend gekennzeichnet. Die News-Übersicht auf dieser Seite wird dagegen automatisch aus öffentlichen Feeds aggregiert. So arbeiten wir.