KI-Pulse
Analyse

62,7 oder 99,9 Prozent: Wie der Harness über GPT-6 Astras ARC-AGI-3-Ergebnis entscheidet

Von , Redaktion Intelligenz Welt · mit KI-Unterstützung erstellt, redaktionell verantwortet (so arbeiten wir) · · 2 Min. Lesezeit

Artikel teilen
KI-generierte Illustration: zwei nebeneinander laufende identische Roboter auf getrennten Laufbahnen, einer deutlich weiter vorn
Symbolbild, KI-generiert (Intelligenz Welt).

Die wichtigsten Fakten

Kurz gesagt: Wie gut ist OpenAIs GPT-6 Astra wirklich auf ARC-AGI-3, dem Benchmark für interaktive Reasoning-Aufgaben? Die verifizierte Ergebnisseite von ARC Prize beantwortet das mit zwei Zahlen: 62,7 Prozent mit dem Standard-Harness, 99,9 Prozent mit dem Provider-Adapter-Harness. Beides ist korrekt, und genau darin liegt die Lehre.

Die zwei Zahlen

Balkendiagramm: GPT-6 Astra auf ARC-AGI-3 erreicht 62,7 Prozent mit dem Standard-Harness bei rund 26.098 US-Dollar je Lauf und 99,9 Prozent mit dem Provider-Adapter-Harness bei rund 18.817 US-Dollar je Lauf
Beste beobachtete ARC-AGI-3-Ergebnisse (Semi-Private-Set) von GPT-6 Astra je Harness. Quelle: ARC Prize, verifizierte Ergebnisse. Stand: 26. Oktober 2026.

Beim Standard-Harness führt das Modell selbst gewählte Notizen durch die Umgebung: Es entscheidet, welche Strategienotizen es zwischen den Schritten behalten will. Der Provider-Adapter-Harness dagegen erhält den opaken Reasoning-Zustand des Modells zwischen den Anfragen und nutzt Kompaktierung für längere Verläufe, das Modell kann also frühere Arbeit direkt weiterverwenden. Der OpenAI-Eintrag stammt vom 2. September 2026 und umfasst zwölf Harness-Konfigurationen bei Tokenpreisen von 10 US-Dollar je Million Eingabe- und 50 US-Dollar je Million Ausgabetokens.

Warum der Adapter so viel besser abschneidet

ARC-AGI-3 besteht aus interaktiven Umgebungen mit langen Horizonten: Das Modell muss Regeln durch Ausprobieren entdecken und über viele Schritte verfolgen. Laut dem ARC-Prize-Blog führt Astra dabei Strategienotizen zu Objekten, Koordinaten, Regeln und offenen Plänen und entwickelt eine eigene kompakte Notation für die Umgebungen. Mit dem Adapter muss es dieses Verständnis nicht bei jeder Anfrage neu aufbauen. Dass der Adapter-Lauf zugleich besser und rund 28 Prozent günstiger ist, passt dazu: Weniger Wiederentdeckung heißt weniger Tokens.

Was das für Benchmarks bedeutet

Der Fall ist ein sauber dokumentiertes Beispiel für eine Entwicklung, die fast alle Agenten-Benchmarks betrifft: Das Ergebnis hängt zunehmend am Gerüst um das Modell, nicht nur am Modell. Wer Scores vergleicht, muss drei Dinge zusammen betrachten: den Harness, die Reasoning-Stufe und die Kosten pro Lauf. ARC Prize geht dabei vorbildlich offen mit den Daten um: Beide Konfigurationen sind verifiziert, mit Preisen und Konfigurationsdetails einsehbar. Ein Täuschungsvorwurf ist damit nicht belegt, wohl aber ein Vergleichbarkeitsproblem für alle, die nur die Schlagzeilenzahl lesen.

Für die Praxis ist die Adapter-Zahl die relevantere: Wer das Modell über die API produktiv einsetzt, bekommt genau diese Infrastruktur mitgeliefert. Wer dagegen wissen will, was das nackte Modell ohne Provider-Unterstützung leistet, muss auf die 62,7 Prozent schauen.

Häufige Fragen

Welche der beiden Zahlen ist die richtige?

Beide, sie beantworten verschiedene Fragen. 62,7 Prozent misst das Modell mit minimalem, neutralem Gerüst. 99,9 Prozent misst das Modell so, wie ein API-Kunde es tatsächlich nutzt, mit erhaltenem Reasoning-Zustand. Vergleiche sind nur innerhalb derselben Harness-Klasse fair.

Hat OpenAI sich damit einen Vorteil erschlichen?

Dafür gibt es keinen Beleg. ARC Prize selbst verifiziert beide Ergebnisse, beschreibt die Harness-Unterschiede öffentlich und listet alle zwölf getesteten Konfigurationen. Der Adapter ist Teil der Provider-Infrastruktur, keine geheime Sonderlösung.

Was heißt das für andere Benchmark-Vergleiche?

Frage bei jedem Score nach Harness, Reasoning-Stufe und Kosten pro Lauf. Ein Modell mit schwächerem Roh-Score kann mit besserem Gerüst praktisch stärker sein, und umgekehrt kann eine hohe Schlagzeilenzahl an teure Infrastruktur gebunden sein.

Quellen

  1. OpenAI GPT-6 Astra: Verifizierte ARC-AGI-3-Ergebnisse (ARC Prize, abgerufen 2026-10-26)
  2. OpenAI's GPT-6 Astra on ARC-AGI-3 (ARC Prize (Blog), abgerufen 2026-10-26)
  3. AI News Oct 26, 2026 (Morning Tokens, abgerufen 2026-10-26)

Weitere Artikel

Artikel teilen

Transparenzhinweis: Dieser Artikel ist ein redaktioneller Beitrag von Philipp Paulik und entstand mit KI-Unterstützung (Recherche und Textentwurf). Alle Quellen sind unten verlinkt; Zahlen und Aussagen stammen aus diesen Quellen. Das Titelbild ist KI-generiert und im Bild entsprechend gekennzeichnet. Die News-Übersicht auf dieser Seite wird dagegen automatisch aus öffentlichen Feeds aggregiert. So arbeiten wir.