KI-Pulse
Praxis

Mutationstests für Agenten-Code: 1.410 Checks absichtlich löschen und zählen, was die Testsuite übersieht

Von , Redaktion Intelligenz Welt · mit KI-Unterstützung erstellt, redaktionell verantwortet (so arbeiten wir) · · 2 Min. Lesezeit

Artikel teilen
Symbolbild: Eine Liste aus leuchtenden Häkchen, von denen einzelne rot aufleuchten und verschwinden, daneben ein Detektivglas-Symbol, Dunkelblau mit Grün- und Rot-Akzenten.
Mutationstest: Welche Checks bemerkt die Testsuite, wenn sie verschwinden? Symbolbild, KI-generiert.

Die wichtigsten Fakten

Wer Agenten Code schreiben und testen lässt, steht vor einer unangenehmen Frage: Würde die wachsende Testsuite einen echten Fehler überhaupt bemerken - oder ist sie nur Dekoration? Ein aktuell in Morning Tokens dokumentierter Praxisbericht beantwortet sie auf die direkte Art: Agenten löschten 1.410 Sicherheitschecks aus dem Code, einen nach dem anderen, und nach jedem Eingriff lief die Suite. Das Prinzip ist klassisches Mutationstesting, übertragen auf agentengeschriebenen Code.

Die Zahlen des Versuchs

Was du daraus mitnehmen kannst

Mutationstests prüfen durch gezielte Änderungen, ob eine Testsuite Fehler bemerkt. Solche Versuche gehören in eine isolierte Testumgebung oder einen wegwerfbaren Arbeitszweig, nicht in den Produktivbetrieb; die veränderten Checks dürfen nicht als Produktänderung übernommen werden. Eine grüne Suite nach einer Mutation kann eine Testlücke anzeigen, aber auch eine gleichwertige, wirkungslose Mutation. Der genannte Ablauf ist ein Selbstbericht eines Einzelprojekts, keine unabhängige Messung. Die Zahlen lassen sich nicht auf andere Projekte übertragen; wir haben diese Versuche nicht selbst ausgeführt.

Häufige Fragen

Was ist Mutationstesting bei Agenten-Code?

Man verändert Code gezielt in einer isolierten Testumgebung und prüft, ob die Testsuite den Eingriff bemerkt. Bleibt sie grün, kann ein Test fehlen oder die Mutation gleichwertig sein. Die 91 gemeldeten Lücken stammen aus dem verlinkten Selbstbericht.

Wie zuverlässig sind die genannten Zahlen?

Es sind Angaben aus einem Selbstbericht eines Einzelprojekts, dokumentiert in Morning Tokens - keine unabhängige Messung. Übertragbar ist die Methode, nicht die Quote.

Funktioniert das auch für Nicht-Code, etwa Reports?

Im selben Bericht ja: 28 absichtlich eingebaute Fehler in KI-geschriebenen Marktberichten wurden von einem Reviewer-Agenten allesamt gefunden. Auch das ist ein Selbstversuch, aber das Muster - Fehler einbauen, Fänger messen - lässt sich auf jeden generierten Output anwenden.

Quellen

  1. Deleting 1,410 safety checks on purpose to see which ones the tests miss (AI Workflows) (Morning Tokens, abgerufen 2026-11-09)

Weitere Artikel

Artikel teilen

Transparenzhinweis: Dieser Artikel ist ein redaktioneller Beitrag von Philipp Paulik und entstand mit KI-Unterstützung (Recherche und Textentwurf). Alle Quellen sind unten verlinkt; Zahlen und Aussagen stammen aus diesen Quellen. Das Titelbild ist KI-generiert und im Bild entsprechend gekennzeichnet. Die News-Übersicht auf dieser Seite wird dagegen automatisch aus öffentlichen Feeds aggregiert. So arbeiten wir.