KI-Pulse
Analyse

Preprint: Alle 16 untersuchten evolvierten Agenten verloren auch zuvor gelöste Aufgaben

Von , Redaktion Intelligenz Welt · mit KI-Unterstützung erstellt, redaktionell verantwortet (so arbeiten wir) · · 3 Min. Lesezeit

Artikel teilen
Symbolbild: Ein abstrakter Baum aus Lichtlinien, dessen neue Zweige hell leuchten, während ältere Äste verblassen und Blätter verlieren, Dunkelblau mit Grün- und Grau-Akzenten.
Symbol für den im Preprint untersuchten Gewinn und Verlust von Aufgabenabdeckung. KI-generiert.

Die wichtigsten Fakten

Agenten, die sich selbst verbessern, gelten als nächster großer Hebel - nicht durch neue Modellgewichte, sondern durch Evolution des sogenannten Harness: Prompts, Werkzeugschnittstellen, Orchestrierung und Code um das Modell herum. Ein Preprint von Forschenden der USTC, UC Berkeley, des Simple Agent Lab, BIGAI und der Shanghai Jiaotong University (arXiv:2611.07624, 5. November) legt nun nahe, dass die Benchmark-Gewinne solcher Methoden systematisch schmeicheln: Sie messen das Mittel, nicht die Verluste.

Was die Studie untersucht hat

Das Team ließ vier Evolutionsmethoden (AHE, HyperAgents, A-Evolve und GEPA) auf zwei Harness-Typen (MiniSWE und Codex) und zwei Aufgabenfelder los: tau3-Banking für allgemeine Aufgaben und Terminal-Bench 2 für Coding. Statt nur Endscores zu vergleichen, wertete es wiederholte Läufe, kontrollierte Erweiterungen, gezielte Eingriffe in einzelne Änderungen und Wiederholungen der Auswahlentscheidungen aus.

Die zentralen Befunde

Was die Autoren daraus bauen

Aus den Diagnosen leitet das Team überarbeitete Regeln für Auswahl, Analyse, Mutation und Zulassung neuer Varianten ab - gebündelt als Audit-Guided Evolution (AGE). Damit erreicht es nach eigenen Angaben die beste Leistung im Vergleich zur Referenzmethode, über beide Benchmarks und Harness-Typen hinweg. Der Code liegt als RSIHub auf GitHub.

Einordnung

Die Pointe der Studie ist methodisch: Wer Agenten-Evolution nur am Endscore misst, kann einen Wechsel der gelösten Aufgaben übersehen. Ein höherer Durchschnitt kann neue Erfolge und zugleich Verluste auf anderen Aufgaben enthalten. Ob die Variante im Einsatz besser ist, hängt deshalb auch davon ab, welche Aufgaben betroffen sind. Konsequenz der Autoren: Evaluation muss Erhalt mitbewerten (welche Fähigkeiten überleben die Evolution), Kosten gegenrechnen und Gewinne auf Aufgaben prüfen, die nicht die Evolution gesteuert haben. Zwei Grenzen gehören dazu: Es ist ein Preprint ohne Peer-Review, und die Ergebnisse stammen aus der Versuchsumgebung der Autoren - wir haben sie nicht nachgemessen. Für die Praxis reicht die Warnung trotzdem: Ein besserer Selbstverbesserungs-Score ist kein Beleg für einen besseren Agenten, solange niemand die Verlustliste geprüft hat.

Häufige Fragen

Was ist Agenten-Harness-Evolution?

Rekursive Selbstverbesserung ohne neue Modellgewichte: Der Agent verändert über Generationen das System um das Modell herum - Prompts, Skills, Werkzeugschnittstellen, Orchestrierung oder Code - und wird dabei an Benchmarks gemessen.

Was ist der wichtigste Befund?

Nach Angaben des Preprints gewannen alle 16 untersuchten evolvierten Agenten zuvor ungelöste Aufgaben und verloren zugleich zuvor gelöste. Ein Durchschnittsscore allein zeigt diesen Wechsel nicht. Das ist ein Befund der konkreten Versuchsumgebung, keine Aussage über alle Agentensysteme.

Sind die Ergebnisse bestätigt?

Nein. Es ist ein Preprint vom 5. November ohne Peer-Review aus der Versuchsumgebung der Autoren; wir haben die Läufe nicht nachgemessen. Der Code der Gegenmaßnahme (AGE) ist als RSIHub auf GitHub verfügbar.

Quellen

  1. Beneath the Surface: What We Overlook When We Talk About Agent Evolution (arXiv (Preprint 2611.07624), abgerufen 2026-11-09)

Weitere Artikel

Artikel teilen

Transparenzhinweis: Dieser Artikel ist ein redaktioneller Beitrag von Philipp Paulik und entstand mit KI-Unterstützung (Recherche und Textentwurf). Alle Quellen sind unten verlinkt; Zahlen und Aussagen stammen aus diesen Quellen. Das Titelbild ist KI-generiert und im Bild entsprechend gekennzeichnet. Die News-Übersicht auf dieser Seite wird dagegen automatisch aus öffentlichen Feeds aggregiert. So arbeiten wir.