BioBasicsBench: OpenAI und Ligo testen Labor-Agenten mit echtem Experiment-Chaos

Die wichtigsten Fakten
- OpenAI hat am 6. November zusammen mit dem Enzymdesign-Unternehmen Ligo BioBasicsBench vorgestellt: 100 Aufgaben aus fünf Bereichen alltäglicher Laborarbeit, gebaut aus echten experimentellen Rohdaten.
- Die Aufgaben prüfen, ob Agenten Rohdaten richtig interpretieren, fehlerhafte Kontrollen erkennen und unbelegte Schlüsse verweigern - nicht, ob sie Paper-Figuren beschreiben können.
- Bestes Ergebnis: GPT-6 Astra mit 66,7 Prozent der erreichbaren Punktzahl (95%-Intervall 60,3-73,1) bei xhigh, der höchsten für alle sieben Modelle gemeinsam berichteten Stufe; GPT-5.6 Sol kommt auf 43,8 Prozent. Sieben Modelle, 37 Einstellungen, 18.500 bewertete Läufe.
- Alle Zahlen stammen aus OpenAIs Veröffentlichung; die Beispiele zeigen, dass selbst Astra Kontrollen und Mehrdeutigkeiten noch regelmäßig verfehlt.
OpenAI kritisiert, dass bestehende Benchmarks mit ausgewählten Paper-Abbildungen die Mehrdeutigkeit alltäglicher Laborarbeit verfehlen können. Der Alltag im nassen Labor sieht anders aus: gescheiterte Experimente, mehrdeutige Bilder, widersprüchliche Beobachtungen. Genau dorthin zielt BioBasicsBench, den OpenAI am 6. November zusammen mit Ligo, einem Biotech-Unternehmen für Enzymdesign, vorgestellt hat: 100 Routineaufgaben, gebaut aus echten experimentellen Rohdaten der beteiligten Forschenden.
Was der Benchmark prüft
Die 100 Aufgaben decken fünf Bereiche ab: Proteinmethoden, Bildgebung und Zytometrie, Quantifizierung und Assays, Nukleinsäuremethoden und molekulares Klonieren. Als Eingabe dienen Gele und Blots (31 Aufgaben), Protokolle und handschriftliche Notizen (27), Instrumenten-Exporte inklusive roher FCS-Dateien (20), Fotos von Werkbank und Geräten (18), Mikroskopie-Stacks (14), Sequenzdateien (12), Protokoll-Videos (7) und Platten mit Kolonien (7). Die genannten Eingabe-Kategorien überschneiden sich und sind keine Aufteilung der 100 Aufgaben. Jede Aufgabe kommt mit einer von Experten geschriebenen Bewertungsrubrik und durchlief eine dreistufige Prüfung: intern bei Ligo, extern durch eine promovierte Laborwissenschaftlerin oder einen -wissenschaftler, final wieder intern. Bewertet wird, ob der Agent die richtige Schlussfolgerung zieht - oder erkennt, dass die Belege keine zulassen.
Ergebnisse: Fortschritt mit deutlicher Restlücke
Getestet wurden sieben OpenAI-Modelle in 37 Kombinationen aus Modell und Reasoning-Stufe, jeweils fünf Versuche pro Aufgabe - 18.500 bewertete Läufe. Bei xhigh, der höchsten für alle sieben Modelle gemeinsam berichteten Reasoning-Stufe, erreichte GPT-6 Astra im Mittel 66,7 Prozent der verfügbaren Punktzahl (95-Prozent-Intervall 60,3 bis 73,1), GPT-6.1 Sol 62,0 Prozent und GPT-5.6 Sol 43,8 Prozent. Astra brauchte dafür mit rund 4.700 Ausgabetokens pro Aufgabe deutlich weniger Text als GPT-5.6 Sol mit rund 9.100. OpenAIs Deutung: Stärkere native multimodale Fähigkeiten seien der Hebel für Laboranalyse.
Die Beispiele sind der eigentliche Nachrichtenwert
Drei dokumentierte Fälle zeigen, woran es hängt. Bei einem Zelltoxizitäts-Assay überlagern sich die Detektionsfenster zweier Farbstoffe - GPT-5.6 Sol erklärte Zellen für tot, Astra erkannte die Mehrdeutigkeit und forderte bessere Kontrollen. Auf einer Negativkontroll-Platte las Astra das handschriftliche Randetikett ("LB Kan50" - Kanamycin statt des verwendeten Ampicillins) und verwarf die Kontrolle als unzuverlässig, während GPT-5.6 Sol auf ihr aufbaute. Und in einer Bildserie, die Zellen scheinbar verschwinden lässt, erkannte Astra einen Z-Stack unterschiedlicher Fokusebenen statt eines biologischen Phänomens. Umgekehrt betont OpenAI, dass auch Astra bei Kontrollen und Bildinterpretation regelmäßig scheitert.
Einordnung: BioBasicsBench ist ein Versuch, Labor-Agenten an der Mehrdeutigkeit zu messen, in der Wissenschaftler täglich arbeiten. OpenAI rahmt das explizit dual-use-bewusst: Bessere Labor-Copiloten beschleunigen Biologie und brauchen Biosafety-Monitoring. Zu beachten ist, dass alle Ergebnisse aus OpenAIs eigener Veröffentlichung stammen und bislang nur OpenAI-Modelle getestet wurden - wir haben nicht nachgemessen, und Vergleiche mit Modellen anderer Anbieter fehlen.
Häufige Fragen
Was ist BioBasicsBench?
Ein Benchmark von OpenAI und dem Biotech-Unternehmen Ligo mit 100 Routineaufgaben aus dem nassen Labor. Er misst, ob KI-Agenten rohe experimentelle Daten richtig lesen, fehlerhafte Kontrollen erkennen und unbelegte Schlüsse verweigern.
Welches Modell schneidet am besten ab?
In OpenAIs eigener Auswertung GPT-6 Astra mit 66,7 Prozent der erreichbaren Punktzahl bei xhigh, vor GPT-6.1 Sol (62,0). Modelle anderer Anbieter wurden nicht getestet; wir haben nicht nachgemessen.
Kann ich meine Modelle damit testen?
OpenAI stellt den Benchmark als Messinstrument für die Branche vor; Details zur Verfügbarkeit der Aufgaben und Daten findest du in der Originalveröffentlichung.
Quellen
- Measuring how AI agents handle everyday wet-lab science (OpenAI, abgerufen 2026-11-07)
Weitere Artikel
- Gemini Omni 1.2 Flash: Was GA und 7 Cent je Videosekunde ändern
- VLM-Studie: Ein rotes Herz lenkt den Code zur Rekursion
Transparenzhinweis: Dieser Artikel ist ein redaktioneller Beitrag von Philipp Paulik und entstand mit KI-Unterstützung (Recherche und Textentwurf). Alle Quellen sind unten verlinkt; Zahlen und Aussagen stammen aus diesen Quellen. Das Titelbild ist KI-generiert und im Bild entsprechend gekennzeichnet. Die News-Übersicht auf dieser Seite wird dagegen automatisch aus öffentlichen Feeds aggregiert. So arbeiten wir.