KI-Pulse
Trends

Co-Design Bench: Bester Coding-Agent erfüllt echte Nutzeraufträge nur zu 26,4 Prozent vollständig

Von , Redaktion Intelligenz Welt · mit KI-Unterstützung erstellt, redaktionell verantwortet (so arbeiten wir) · · 3 Min. Lesezeit

Artikel teilen
Symbolbild: Ein abstraktes Mosaik aus vielen fast vollständigen leuchtenden Kacheln, bei denen jeweils ein Eckstück fehlt, Dunkelblau mit Türkis- und Bernstein-Akzenten.
Symbol für fast gelöste Aufgaben mit fehlendem letztem Kriterium. KI-generiert.

Die wichtigsten Fakten

Ein Preprint von Alibabas Token Hub gemeinsam mit Forschenden der Fudan-Universität, der Zhejiang-Universität, der Chinese University of Hong Kong, der Shanghai Jiao Tong University und der Nanyang Technological University (arXiv:2610.35138, 26. Oktober) liefert den nüchternen Kontrast: einen Benchmark aus Änderungswünschen, die echten Nutzern in der Praxis Schwierigkeiten bereiteten. Ergebnis: Das beste von zehn getesteten Modellen erfüllt im Mittel 69,9 Prozent der Anforderungen pro Aufgabe - bringt aber nur 26,4 Prozent der Aufgaben vollständig zu Ende.

Wie der Benchmark gebaut ist

Co-Design Bench destilliert 273 Aufgaben aus 37.463 deduplizierten Anfragen in 26.314 echten Coding-Sitzungen: Zwei Spuren decken lokalisierte Edits mit optionalen Bild-, Audio-, Video- oder Dokumentanhängen (Multimodal Editing, 100 Aufgaben) und koordinierte Änderungen über Komponenten, Routen und Zustände eines Repositories hinweg ab (Repository Editing, 173 Aufgaben). Jede Aufgabe trägt versteckte, von Expertinnen und Experten geschriebene Abnahmekriterien - insgesamt 2.331. Bewertet wird ohne Referenzlösung: Ein erstes LLM prüft die Kriterien anhand von Quellcode und Browser-Ausführung, ein zweites, unabhängiges LLM ficht positive Urteile an und sucht nach Attrappen, hart codierten Ergebnissen und unerreichbaren Funktionen. Alle Modelle liefen im selben Claude-Code-Harness mit drei Stunden beziehungsweise 120 Turns als Obergrenze.

Die Ergebnisse im Detail

Laut Abstract, Abschnitt 5.2 und Fazit erreicht GPT-6 Astra im Mittel 0,699 Strict Completion und 26,4 Prozent Full-Pass. Der höhere Wert 0,753 in der kombinierten Tabelle bezeichnet Graded Completion, das auch teilweise erfüllte Kriterien anrechnet. Auf lokalen Edits werden 41,0 Prozent der Aufgaben vollständig gelöst, auf Repository-Überarbeitungen 17,9 Prozent. Alle zehn getesteten Endpunkte erzielen bei Repository-Aufträgen mit drei oder vier Änderungstypen niedrigere Kriterienerfüllung als bei ein oder zwei Typen.

Mehr Aufwand heißt nicht mehr Erfolg

Die Token-Bilanz entzieht einer verbreiteten Hoffnung den Boden: Auf den lokalen Edits erreicht GPT-6 Astra seinen Wert mit median 32 Turns und 1,24 Millionen Tokens pro Fall; GLM-5.2 verbrennt 69 Turns und 7,29 Millionen Tokens - für eine Strict-Completion von nur 0,572. Mehr Rechenzeit und mehr Tokens garantieren in dieser Umgebung also keine vollständigere Lieferung.

Methodische Beilagen

Drei Nebenexperimente machen das Papier zusätzlich lesenswert. In einer paarweisen Kontrolle auf 150 WebCompass-Aufgaben steigert allein der Wechsel von Einzelschuss auf agentische Ausführung die mittlere Erfüllung von 73,6 auf 95,1 Prozent - Messbedingungen prägen die Werte massiv. Beim Tausch des Judge-Modells blieben Rangfolge und Verteilung laut Autoren robust. Und identische Solver in drei verschiedenen Harnesses zeigten starke Wechselwirkungen zwischen Modell und Gerüst - Benchmark-Ergebnisse sind immer auch Harness-Ergebnisse.

Einordnung

Der Preprint zeigt in dieser Versuchsumgebung eine Lücke zwischen erfüllten Einzelkriterien und vollständig gelösten Aufträgen. Die Aufgaben wurden gezielt nach Schwierigkeit und historischen Fehlersignalen ausgewählt, nicht als repräsentative Zufallsstichprobe aller Entwickleraufträge. Weitere Grenzen sind Web-App-Revisionen, ein gemeinsamer Harness und LLM-basierte Beurteilung mit möglichen Restfehlern. Kein Peer-Review und keine eigene Reproduktion.

Häufige Fragen

Was misst Co-Design Bench?

Ob Coding-Agenten echte Änderungswünsche an bestehenden Web-Apps vollständig umsetzen - bewertet über versteckte Expertenkriterien mit Browser-Ausführung, ohne Referenzlösung.

Warum unterscheiden sich Strict Completion und Full-Pass-Rate?

Strict Completion mittelt den Anteil erfüllter Einzelkriterien pro Aufgabe; die Full-Pass-Rate zählt nur Aufgaben, bei denen jedes Kriterium erfüllt ist. Ein hoher Mittelwert kann also viele unvollendete Aufgaben verbergen.

Wie belastbar sind die Ergebnisse?

Es ist ein Preprint ohne Peer-Review aus der Versuchsumgebung der Autoren: Web-App-Revisionen, ein gemeinsamer Claude-Code-Harness, LLM-Judges mit Gegenprüfung. Die Autoren weisen selbst auf Harness-Abhängigkeit und Restfehler der Beurteilung hin.

Quellen

  1. Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models (arXiv (Preprint 2610.35138), abgerufen 2026-11-10)

Weitere Artikel

Artikel teilen

Transparenzhinweis: Dieser Artikel ist ein redaktioneller Beitrag von Philipp Paulik und entstand mit KI-Unterstützung (Recherche und Textentwurf). Alle Quellen sind unten verlinkt; Zahlen und Aussagen stammen aus diesen Quellen. Das Titelbild ist KI-generiert und im Bild entsprechend gekennzeichnet. Die News-Übersicht auf dieser Seite wird dagegen automatisch aus öffentlichen Feeds aggregiert. So arbeiten wir.