KI am Morgen: Satte Benchmarks, gelöschte Denkspuren, Belege

Die wichtigsten Fakten
- Die Top Ten von SWE-bench Verified bilden heute eine einzige statistische Gruppe: Verstärkte Tests verwerfen 17,7 Prozent der bestandenen Patches des Median-Agenten, und die Korrektur ordnet Nachbarn so stark um wie das Zufallsstreichen eines Sechstels.
- Dieselbe Löschung der Denkhistorie kostet Baichuan-M2-32B 51,3 Punkte Erfolgsquote, lässt GLM-Z1-32B praktisch unverändert und verbessert R1-Distill-14B um 4,4 Punkte; Im untersuchten Modellset sagt die Parameterzahl die Löschkosten nicht voraus.
- Verlinkt ein Gedächtnissystem jede Lektion mit ihrem Quelllauf, steigt der Schnitt über acht Suiten von 87,0 auf 90,2 Punkte und die Rate neu verursachter Fehler sinkt von 6,5 auf 4,5 Prozent.
Morgenüberblick vom 11. November 2026. Quellenstand: 06:38 Uhr MEZ. Drei neue Studien drehen sich um die Verlässlichkeit von Agenten im Betrieb: ob Benchmarks die Spitzengruppe noch auseinanderhalten, was es kostet, wenn Vermittler die Denkhistorie eines Modells löschen, und wie Agenten-Gedächtnisse ihre eigenen Fehler einfangen können. Alle drei Arbeiten sind Preprints; wir haben die hier verwendeten Aussagen mit den Originalquellen abgeglichen.
Benchmarks: Die Sättigung steckt in der Messung
Wenn ein Agenten-Benchmark die besten Modelle nicht mehr trennt, lautet die übliche Antwort: schwerere Aufgaben. Ein Team von Lenovo, der Marquette University und Cornell hat die veröffentlichten Läufe von acht Benchmarks neu bewertet und kommt zu einem anderen Befund: Ein guter Teil der Sättigung liegt im Messverfahren. Auf SWE-bench Verified bilden die Top Ten heute eine einzige statistische Gruppe (Spanne 3,6 Punkte; im September 2024 noch 19,2 Punkte in drei Gruppen), und keines der 45 Paare unterscheidet sich signifikant, obwohl der Test Unterschiede ab etwa 6,3 Punkten auflösen könnte. Verstärkte Tests des SWE-ABS-Projekts verwerfen 17,7 Prozent der bestandenen Patches des Median-Agenten (Spanne 10,8 bis 23,2); korrigiert man die Urteile, schrumpft die Spitzengruppe von 23 auf fünf Agenten, und die Nachbarreihenfolge kippt so häufig wie beim zufälligen Streichen eines Sechstels aller Erfolge. Die Autoren sehen die genaue Reihenfolge innerhalb der untersuchten Spitze dadurch nicht belastbar belegt.
Der zweite Fehler: Das Bestanden-Urteil ist bei der Referenz gedeckelt. Auf ALE-Bench schlagen 47,8 Prozent der Läufe den menschlichen Median, doch als Bestanden-Frage gegen genau diesen Referenzwert gewertet fällt die Top Ten in eine Gruppe; ein abgestufter Score mit Raum oberhalb der Referenz stellt die drei Gruppen der Originalwertung wieder her. Eine schärfere Hürde hilft nicht: Ein Balken auf Siegerhöhe nullt 89 Prozent der älteren Modelle. In einem Nachlauf der Autoren auf Terminal-Bench (13 Aufgaben, vier Modelle, drei Versuche je Aufgabe) lieferten drei pass/fail-gleiche Modelle auf einer Aufgabe Median-Beschleunigungen von 10,9 gegenüber 1,3; 69 Prozent der bestandenen Läufe schlugen die Referenzlösung. Und die ignorierte Kostenseite: Sechs gleichauf liegende Top-Ten-Agenten unterscheiden sich um den Faktor 7,3 bei Tokens pro Lauf. Die Autoren schlagen getrennte Achsen vor: gehärtetes Bestanden-Gate, graduierter Qualitätsscore mit datierten Ankern, Kosten als eigene Achse. Grenzen: Verifiziererfehler nur für SWE-bench beziffert, Teildatierungen rekonstruiert, der Nachlauf mit drei Versuchen grenzwertig.
Denkhistorie gelöscht: Die Rechnung trägt das Modell
Reasoning-Modelle schreiben in jeder Runde einer Werkzeugsitzung eine Denkspur, und Vermittler zwischen Anbietern entfernen genau diese Historie, weil Anbieter sie an den ausstellenden Account binden. Was das fachlich kostet, hat nach Angaben der Autoren erstmals eine direkte, verblindete Messung über sieben offene Reasoning-Modelle beziffert: 794 Aufgaben aus den Multi-Turn-Teilmengen des BFCL v4, drei Seeds, offizieller Checker; Baichuan-M2-32B und Olmo-3-7B-Think liefen nur auf einer 200er-Teilmenge. Im untersuchten Modellset unterscheiden sich die Löschkosten auch bei gleicher Parameterzahl: Baichuan-M2-32B verliert 51,3 Punkte Erfolgsquote (von 51,8 auf 0,5 Prozent), GLM-Z1-32B bleibt mit plus 0,7 praktisch unverändert, R1-Distill-14B verbessert sich um 4,4 Punkte von einem Boden bei 1,3 Prozent. Allein die drei 32B-Modelle spannen 51,5 Punkte auf. Im Qwen3-32B-Dosisarm auf 200 Aufgaben unterscheiden sich die Endpunkte ohne Löschung und mit vollständiger Löschung um 1,5 Punkte; die Zwischenarme reichen insgesamt von 53,0 bis 56,5 Prozent Erfolg.
Sichtbar wird der Schaden im Verhalten, nicht nur im Endstand. Drei Signaturen: kompensierende Modelle (die drei Qwen3 und GLM) leiten die gelöschte Arbeit mit Zusatzaufrufen neu her; schleifende Modelle wiederholen identische Aufrufe (R1-Distill steigt bei Löschung mitten in der Sitzung von 18,1 auf 68,7 Prozent Wiederholrate); ein still ausfallendes Modell (Baichuan) scheitert ohne erkennbares Warnsignal im Log. Für den Betrieb schlagen die Autoren einen Zwei-Zellen-Test vor: je 200 Aufgaben mit und ohne Historie, ein Seed, ein Tag auf zwei Geräten; liegt das gesamte Intervall oberhalb von plus zehn Punkten, empfehlen die Autoren, die Sitzung an ein Backend zu binden. Für andere Aufgabenfamilien ist ein eigener Test nötig. Grenzen: Übertragbarkeit auf andere Aufgabenfamilien offen, geschlossene Modelle nicht gemessen, zwei der sieben Modelle liefen nur auf einer 200-Aufgaben-Teilmenge.
Agenten-Gedächtnis: Lektionen brauchen ihre Belege
Externe Gedächtnisse destillieren vergangene Agentenläufe zu Lektionen, doch die können schaden: Ein Team von KAIST und DeepAuto.ai misst den Effekt getrennt als Gewinn (gelöste neue Fälle) und Rückfall (verdorben gelöste Fälle) und findet bei bestehenden Verfahren Rückfallraten auf Höhe der Wiederholung ohne Gedächtnis. In 52 Prozent der untersuchten Rückfälle folgte der Agent einem Gedächtniseintrag, am häufigsten einem falschen. Ihr System WikiTrace speichert jede Lektion daher mit Link auf die Diagnose ihres Quelllaufs und den Rohlauf selbst; der Agent steigt ab, wenn eine Lektion Details vermissen lässt, aus einem gescheiterten Lauf stammt oder einer anderen widerspricht. Über acht Suiten von fünf Benchmarks erreicht WikiTrace im Schnitt 90,2 Punkte gegenüber 79,5 ohne Gedächtnis und 87,0 mit denselben Lektionen ohne Quellzugang; die Rückfallrate sinkt von 6,5 auf 4,5 Prozent (Wiederholung ohne Gedächtnis: 9,7).
Der Abstieg lohnt vor allem bei schweren Aufgaben: Der Agent konsultiert die Belege in 44 Prozent der schweren gegenüber 22 Prozent der leichten Fälle, und in 43 Prozent der Abstiege ändert sich danach der Plan; diese Läufe liegen 8,3 Punkte über der Lektionen-Variante. Der Zusatzpreis beträgt 17 Prozent mehr Testzeit-Kosten als die Lektionen ohne Belege, und auch mit vervielfachtem Baubudget bleiben die älteren Verfahren dahinter. Ein zweites Modell (GLM-5.3-flash) bestätigt den Befund auf drei Suiten. Grenzen: Die Binäretiketten der Läufe können falsche Diagnosen erzeugen, der Link prüft nichts selbst, alle Lektionen stehen in der ersten Nachricht (Skalierung offen), und die Ursachenanalyse stammt von einem LLM-Juror. Code und Daten sind öffentlich.
Häufige Fragen
Heißt das, SWE-bench Verified ist wertlos?
Nein. Die Aufgaben tragen weiter, die Top Ten lösen gemeinsam 91 Prozent davon. Nicht belastbar aufgelöst ist in dieser Untersuchung die genaue Rangfolge innerhalb der Spitze: Nachbarn liegen näher beieinander als die Fehler der Tests. Die Studie empfiehlt Gruppen statt Rängen, stärkere Tests und einen graduierten Score mit Raum oberhalb der Referenz.
Muss mein Anbieter-Routing jetzt angepasst werden?
Wenn Anfragen über Vermittler laufen, die Anbietergrenzen überschreiten, kann die Denkhistorie verloren gehen. Die Studie liefert den Test: 200 Aufgaben mit und ohne Historie pro Modell. Liegt das gesamte Intervall für die Löschkosten oberhalb von plus zehn Punkten, empfehlen die Autoren im untersuchten Rahmen das Binden der Sitzung; die meisten gemessenen Modelle waren unempfindlich.
Sollten Agenten ihre Lektionen ganz vergessen?
Nicht nach dieser Studie. Gedächtnis hilft klar bei neuen Aufgaben; das Risiko sind ungeprüfte Lektionen. Der gezeigte Ausweg ist kein Verzicht, sondern der Quelllink: Jede Lektion behält den Pfad zu ihrem ursprünglichen Lauf, damit der Agent vor dem Befolgen nachprüfen kann.
Quellen
- Agent Benchmarks Stop Ranking Before They Run Out of Tasks (arXiv (Dong, Zhan & Hu; Lenovo, Marquette University, Cornell University), abgerufen 2026-11-11)
- Deletion Sensitivity Is a Property of the Model: A Three-Condition Measurement across Seven Open Reasoning Models (arXiv (Jia, Zeng, Yang, Gao & Ma; University of Sussex u.a.), abgerufen 2026-11-11)
- Don't Just Trust Your Memory: Evidence-Linked Memory Reduces Memory-Induced Degradation in LLM Agents (arXiv (Lee, Choi, Baek & Hwang; KAIST und DeepAuto.ai), abgerufen 2026-11-11)
Weitere Artikel
- Wie Claude träumt: Anthropic erklärt das Gedächtnis seiner Agenten
- Taste-Bench: KI-Agenten treffen schlechte Langzeit-Entscheidungen
Transparenzhinweis: Dieser Artikel ist ein redaktioneller Beitrag von Philipp Paulik und entstand mit KI-Unterstützung (Recherche und Textentwurf). Alle Quellen sind unten verlinkt; Zahlen und Aussagen stammen aus diesen Quellen. Die News-Übersicht auf dieser Seite wird dagegen automatisch aus öffentlichen Feeds aggregiert. So arbeiten wir.