Google macht sein Agenten-Gerüst Open Source: Was Harness² kann

Kurz gesagt: Google Cloud AI Research hat Harness² als Open Source veröffentlicht. Das Framework verbessert die Arbeitsumgebung eines KI-Agenten automatisch, also Prompts, Werkzeuge, Gedächtnis und Routinen, während die Modellgewichte eingefroren bleiben. Code und Paper sind frei verfügbar, die Lizenz ist Apache 2.0.

Was ist überhaupt ein Harness?

Damit ein Sprachmodell als Agent handeln kann, braucht es ein Gerüst drumherum. Das Paper zu Harness² nennt dieses Gerüst Harness: Prompts, Werkzeuge, Gedächtnis, Fähigkeiten und die Orchestrierung, die entscheidet, was der Agent als Nächstes tut. Die Qualität dieses Gerüsts entscheidet oft genauso stark über die Leistung wie das Modell selbst. Bisher wird so ein Harness meist von Hand gepflegt, Prompt für Prompt, Woche für Woche.

Harness² macht daraus einen automatischen Prozess. Im GitHub-Repository listet das Team acht bearbeitbare Komponenten: System-Prompt, Guardrails, Gedächtnis, Tool-Anleitungen, Sub-Agenten, Skills, Skripte und Plugins. Sie steuern den Kontextaufbau, die Werkzeug-Schnittstelle und das Verhalten in der Tool-Schleife.

So funktioniert Propose-Probe-Compose

Das Kernstück ist ein dreistufiger Mechanismus, der ohne Lösungsschlüssel auskommt. Genau das war bisher das Problem: Bei offenen Aufgaben gibt es keine richtige Antwort, an der man eine Verbesserung messen könnte. Stattdessen arbeitet Harness² mit Kontrasten:

• Propose: Zwei Änderungsvorschläge für das Harness werden erstellt, einer gegen eine allgemeine Schwäche, einer speziell für die aktuelle Aufgabe.
• Probe: Beide Varianten laufen unter gleichen Bedingungen und werden mit einem Referenzlauf verglichen.
• Compose: Übernommen wird nur, was einen beobachtbaren Verhaltensunterschied zeigt. Der Rest fliegt raus.

Dazu kommt eine zweite Ebene: Die Harnessing-Level-Rekursion sammelt die übernommenen Änderungen und die Belege dafür in einem dauerhaften Verbesserungs-Harness. Der Agent lernt also über Aufgaben hinweg dazu, statt bei jeder neuen Aufgabe von vorn anzufangen. Laut README unterstützt das Release parallele und sequentielle Rekursion sowie die Executoren OpenCode und Codex.

Die Zahlen aus dem Paper

Getestet wurde auf drei Benchmarks mit vier Modell-Harness-Konfigurationen. Ein einziger Harness²-Durchlauf brachte laut Paper bis zu 11,5 Punkte auf WorkBuddy-Bench (Büro-, Web- und Coding-Aufgaben), 4,5 Punkte auf JobBench (Wissensarbeit) und 11,8 Prozentpunkte bei der Teilbestehensrate von LAB, einem Benchmark für juristische Agenten. Mit fünf parallelen Rekursionszweigen kamen auf WorkBuddy-Bench weitere 3,9 Punkte dazu, auf JobBench 4,2 und bei LAB 6,7.

Zwei Einschränkungen gehören dazu: Alle Werte stammen von Google selbst, unabhängige Messungen gibt es noch nicht. Und die Zugewinne durch Rekursion werden mit jedem Schritt kleiner, sie summieren sich also, statt sich aufzutürmen.

Das Detail, über das die Szene spricht

Die Executor-Agenten liefen bei den Experimenten auf Gemini 3.5 Flash und GLM-5. Als Editor-Modell, das die Harness-Änderungen vorschlägt und zusammensetzt, nutzte Google laut Startup Fortune allerdings Anthropics Claude Opus 4.8. Ein Google-Paper, das ein Anthropic-Modell für die eigentliche Optimierung wählt, ist in dieser Offenheit ungewöhnlich.

Der Release trifft außerdem eine laufende Debatte: Wie der Bericht einordnet, gilt Harness-Engineering seit einem viel gelesenen Essay von Lilian Weng, früher bei OpenAI und heute Mitgründerin von Thinking Machines Lab, als plausibelster kurzfristiger Weg zu Agenten, die ihr eigenes Design verbessern. Harness² ist die erste Veröffentlichung eines großen Labors, die diese Idee als lauffähigen Code liefert.

Warum die Open-Source-Entscheidung zählt

Anthropic und OpenAI behandeln ihre Agenten-Gerüste als Wettbewerbsvorteil und entwickeln sie hinter verschlossenen Türen weiter. Google geht den umgekehrten Weg und gibt eine funktionierende Methode frei, mit der jede Person mit GitHub-Konto dieselbe Art von Iteration auf dem eigenen Stack laufen lassen kann. Damit verschiebt sich, wer bei Agenten-Qualität mitspielen kann: nicht mehr nur Labore mit großen Trainingsbudgets.

Ganz ohne Risiko ist das nicht. Forschung zu selbstverbessernden Agenten zeigt, dass Systeme mit vagen Zielkriterien zum Reward Hacking neigen, also ihr Verhalten auf die Metrik statt auf die Aufgabe optimieren. Der Probe-Schritt von Harness² ist die direkte Antwort darauf: Ohne gemessenen Verhaltenskontrast wird nichts übernommen. Auffällig ist laut Startup Fortune ein anderes Detail: Auf der Autorenliste des Papers steht kein Safety-Team.

Selbst ausprobieren

Wer Harness² testen will, braucht laut README Linux, Python 3.12 und den Paketmanager uv. Nach dem Klonen genügen drei Befehle: virtuelle Umgebung anlegen, das Paket mit Render-Extra installieren und die Demo mit harness2-demo starten. Die lokale Demo läuft mit deterministischen Editoren und echten Läufen durch beide Rekursionsmodi. Die Benchmarks JobBench, LAB und WorkBuddy-Bench sind im Release enthalten.