KI-Pulse
Trends

MKA-Test: Fable 5.2 führt, Carbon folgt für rund ein Fünftel der gemessenen Kosten

Von , Redaktion Intelligenz Welt · mit KI-Unterstützung erstellt, redaktionell verantwortet (so arbeiten wir) · · 3 Min. Lesezeit

Artikel teilen
Symbolbild: Gestapelte technische Bauplan-Blätter ohne Schrift, über denen eine Lupe aus Licht schwebt und Linien in leuchtende Diagramme verwandelt, Dunkelblau mit Blau- und Bernstein-Akzenten.
Symbol für das Lesen dichter visueller Arbeitsdateien. KI-generiert.

Die wichtigsten Fakten

Die meisten Agenten-Evals lesen Text und lassen das Bild Beilage sein. Der neue Benchmark MKA (Multimodal Knowledge Agent) von Google DeepMind, exklusiv bei Artificial Analysis gelauncht, dreht das um: 200 private Aufgaben aus zehn Branchen verlangen, dichte visuelle Projektdateien - Architekturzeichnungen, Schaltschemata, klinische Scans - tatsächlich zu lesen und daraus lieferbare Ergebnisse zu bauen: Präsentationen, Tabellen, PDFs, Word-Dokumente, markierte Bilder. Die visuelle Komplexität ist laut Ankündigung nötig, nicht Dekoration.

Wie gemessen wird

Jede Aufgabe wird an Experten-Rubriken mit im Schnitt rund 70 gewichteten Kriterien geprüft, geteilt in „Regression“ (Basis-Checks, die ein Modell bestehen sollte) und „Climb“ (härtere Checks zur Trennung starker Modelle). Der Kopfwert Climb WSR ist der gewichtete Anteil erfüllter Climb-Kriterien. Gelaufen wird in Stirrup, dem quelloffenen Agenten-Harness von Artificial Analysis, mit Code-Ausführung, Websuche, Abruf und Bildbetrachtung über bis zu 250 Turns; benotet wird von GPT-6 Luna (medium) als agentischem Richter.

Ergebnisse: knappe Spitze, riesige Kostenstreuung

Claude Fable 5.2 (max) führt mit einer Climb-Quote von 57 Prozent, gefolgt von Gemini 4 Carbon (high) mit 54 und Claude Opus 5.5 (max) mit 53 Prozent. Der Blick auf die Kosten relativiert die Reihenfolge: Fable liegt bei durchschnittlich 31,97 Dollar pro Aufgabe, Carbon bei 6,29 - gut ein Fünftel für drei Punkte Abstand - und GPT-6.1 Sol bei 1,11 Dollar, also rund dem Neunundzwanzigfachen Abstand zur Spitze. Innerhalb von zehn Punkten um die Spitze spannt Artificial Analysis damit eine Preisspanne von nahezu Faktor 30 auf. Unterhalb Carbons liegen alle vier getesteten OpenAI-Modelle (GPT-6 Astra, GPT-6.1 Sol, GPT-6.1 Terra und GPT-6 Luna) auf der Kosten-Leistungs-Front, ergänzt um Claude Haiku 5.5 und MiMo-V2.6-Pro.

Kein Modell gewinnt überall

Die Branchenaufstellung verteilt die Spitzenplätze: Fable 5.2 führt fünf der zehn Vertikalen (unter anderem Software & Data, Engineering, Finance gemeinsam mit Sonnet 5.5), Opus 5.5 führt Bildung und Bau, Argon die Wissenschaft, Carbon das Gesundheitswesen und Sonnet 5.5 knapp Recht & Verwaltung. Nach Dateityp führt Fable vier von sechs, Argon und Carbon die Bildausgaben und DeepSeek V4.1 Flash die Textdateien. Am schwersten fallen Word- und reine Textausgaben: Auf keinem der beiden Felder knackt ein Modell 52 Prozent - ausgerechnet die profanen Büroformate.

Einordnung

MKA trifft eine Lücke der bisherigen Eval-Landschaft: Wer im Büro mit Zeichnungen und Scans arbeitet, braucht Modelle, die das Bild lesen, nicht den Text drumherum. Drei Lesarten sind zulässig. Erstens bestätigt die knappe Spitze (57/54/53), dass die Frontier-Modelle bei diesem Aufgabentyp dicht beieinander liegen - neben der Leistung sind die Kosten und die konkreten Aufgaben wichtig. Zweitens: Der Benchmark stammt von Google DeepMind, dessen Carbon auf Platz zwei landet - die Kostentransparenz, mit der die Spitze relativiert wird, ist damit auch Eigeninteresse, was die Zahlen nicht falsch, aber lesenswert macht. Drittens bleibt die Richterfrage: Eine Bewertung durch ein Modell (GPT-6 Luna) ist kein Ersatz für fachliche Abnahme; Wiederholungsläufe und unabhängige Validierung bleiben wichtig. Alle Werte stammen von Artificial Analysis und Google DeepMind; wir haben nicht nachgemessen.

Häufige Fragen

Was unterscheidet MKA von anderen Agenten-Benchmarks?

Die Eingaben sind dichte visuelle Arbeitsdateien - Baupläne, Schemata, klinische Scans -, die für die Lösung wirklich gelesen werden müssen. Bewertet werden fertige Ergebnisse wie Präsentationen, Tabellen und markierte Bilder gegen Experten-Rubriken mit rund 70 Kriterien pro Aufgabe.

Wer hat MKA gebaut und wer bewertet?

Gebaut hat den Benchmark Google DeepMind; er läuft exklusiv bei Artificial Analysis im quelloffenen Stirrup-Harness. Die Abgaben benotet GPT-6 Luna als agentischer Richter.

Heißt Platz eins, dass Fable 5.2 die beste Wahl ist?

Nicht automatisch. Der Abstand zu Carbon sind drei Punkte bei rund fünffachen Kosten pro Aufgabe, und einzelne Branchen führen andere Modelle. Für die eigene Arbeit zählt die Vertikale und das Budget - die Preisspanne von Faktor 30 wiegt mehr als die Spitzenplatzierung.

Quellen

  1. Multimodal Knowledge Agent (MKA) benchmark: testing knowledge work capabilities with complex visual files (Artificial Analysis, abgerufen 2026-11-11)
  2. Gemini 4 Carbon is now available (Google Blog, abgerufen 2026-11-11)

Weitere Artikel

Artikel teilen

Transparenzhinweis: Dieser Artikel ist ein redaktioneller Beitrag von Philipp Paulik und entstand mit KI-Unterstützung (Recherche und Textentwurf). Alle Quellen sind unten verlinkt; Zahlen und Aussagen stammen aus diesen Quellen. Das Titelbild ist KI-generiert und im Bild entsprechend gekennzeichnet. Die News-Übersicht auf dieser Seite wird dagegen automatisch aus öffentlichen Feeds aggregiert. So arbeiten wir.