Taste-Bench: KI-Agenten treffen schlechte Langzeit-Entscheidungen

Kurz gesagt: KI-Agenten arbeiten inzwischen tagelang autonom an Aufgaben. Doch wie gut sind die Entscheidungen unterwegs? Der neue Benchmark Taste-Bench von Microsoft und der City University of Hong Kong misst genau das und das Ergebnis ist ernüchternd: Selbst Spitzenmodelle wählen an echten Entscheidungsgabeln kaum besser als bei einem Münzwurf mit zwei Optionen.

Was ist „Taste“?

Die Autoren nennen die Fähigkeit, langfristig gute Entscheidungen zu treffen, den „taste“, den Geschmack eines Agenten. Gemeint sind Momente, in denen ein Agent wählt, welche Hypothese er testet oder auf welcher Implementierung er aufbaut. Solche Entscheidungen wirken im Moment meist vernünftig, ihre Kosten zeigen sich erst viel später, oft erst, wenn das Budget schon fast aufgebraucht ist. Klassische Benchmarks wie SWE-bench messen nur, ob am Ende eine Aufgabe gelöst wurde, nicht die Qualität des Weges dorthin.

So ist der Benchmark gebaut

Taste-Bench besteht aus 502 Fragen. Jede zeigt eine „decision fork“: den Punkt in einem aufgezeichneten Agentenlauf, an dem zwei Richtungen möglich waren und der spätere Verlauf verriet, welche besser war. Das Modell sieht nur die Aufgabe und die Historie bis zur Gabel und muss wählen. Die Gabeln stammen aus zwei Quellen: aus parallelen Versuchen an derselben Aufgabe, die auseinanderliefen, und aus Umwegen innerhalb eines Laufs, bei denen sich der Agent selbst korrigierte. Als Rohmaterial dienten Tausende bewerteter Agenten-Durchläufe, unter anderem aus SWE-bench Pro und METRs öffentlichem Transkript-Release MALT. Ein Generator-Modell filterte triviale und unentscheidbare Fälle heraus, eine menschliche Prüfung bestätigte fast alle automatischen Labels. Benchmark und Code sind öffentlich.

Die Ergebnisse: kaum besser als raten

Getestet wurden 14 Modelle aus den Familien Claude, GPT, Grok, DeepSeek, GLM, MiniMax und Mistral. Jede Frage wurde zweimal gestellt, einmal in normaler und einmal in umgekehrter Reihenfolge, und zählte nur bei zwei richtigen Antworten. Reines Raten läge bei 25 Prozent. Das beste Modell, GPT-5.6 Sol, erreichte im Schnitt 59,7 Prozent, dicht gefolgt von GPT-5.5 mit 59,5 Prozent. Alle übrigen lagen deutlich darunter. Die Umweg-Gabeln, bei denen der Fehler früh erkannt werden muss, waren durchweg schwerer als parallele Versuche.

Am aufschlussreichsten ist der Zeithorizont: Wenn die entscheidende Information schon im bisherigen Verlauf sichtbar ist, liegt die Trefferquote im Modellschnitt bei 62,3 Prozent. Zeigt sie sich erst in umfangreicher späterer Arbeit, fällt sie auf 21 Prozent, praktisch Zufall. Um solche Fragen zu beantworten, müsste ein Modell die Zukunft der Aufgabe vorhersagen. Genau das können aktuelle Modelle nicht.

Auch mehr Nachdenken half nicht: Drei Reasoning-Stufen brachten kaum unterschiedliche Ergebnisse. Auffällig ist, dass die Modelle die meisten Reasoning-Token ausgerechnet in der höchsten Stufe verbrauchten, also dort am längsten dachten, wo sie am häufigsten falsch lagen. Die Forscher deuten das als Zeichen, dass die entscheidende Information an diesen Punkten schlicht noch nicht existiert.

Die gute Nachricht: Geschmack ist trainierbar

Das Team destillierte das Urteil eines Lehrer-Modells, das den Ausgang kennt, in ein Schüler-Modell auf Basis von Qwen3.6-27B. Auf unbekannten Aufgaben stieg dessen Genauigkeit von 30 auf 47,9 Prozent. Praktisch zahlte sich das aus: Schrieb das Urteil des Schülers an jeder Gabel einen Ratschlag in den Kontext, löste ein separater Agent 33,7 statt 14,6 Prozent der zurückgehaltenen SWE-bench-Pro-Aufgaben. Mit perfekter Beratung wären 39 Prozent drin gewesen. Der trainierte Schüler erschloss also den Großteil des Potenzials.

Einordnung

Die Studie trifft einen Nerv. Beim Benchmark MirrorCode lief ein Modell bereits 19 Tage ohne menschlichen Eingriff an einer einzigen Aufgabe. Gleichzeitig zeigte METR, dass SWE-bench Verified die Leistung von Coding-Agenten deutlich überschätzt, weil Profis viele als „gelöst“ gewertete Lösungen ablehnten. Taste-Bench ergänzt das Bild um den Blick auf den Weg statt nur das Ziel. Für alle, die Agenten produktiv einsetzen, heißt das: Die Schwachstelle ist selten der einzelne Schritt, sondern die Richtungswahl bei ungewisser Zukunft. Zwischenchecks und klare Abbruchkriterien bleiben vorerst Aufgabe des Menschen.

Was du mitnehmen kannst

• Traue End-to-End-Benchmarks nicht allein: Sie sagen nichts darüber, wie viele schlechte Entscheidungen ein Agent unterwegs getroffen hat.
• Je länger ein Agent autonom läuft, desto wichtiger sind Review-Punkte an Weggabelungen, nicht nur am Ende.
• Mehr Reasoning-Budget löst schlechte Langzeit-Entscheidungen nicht. Besser: Kontrollpunkte und, wo möglich, trainierte Berater-Modelle.