KI-Pulse
Trends

Stanford-Test: 22 von 50 LLM-Befunden gelten als abgelaufen

Von , Redaktion Intelligenz Welt · mit KI-Unterstützung erstellt, redaktionell verantwortet (so arbeiten wir) · · 2 Min. Lesezeit

Artikel teilen
Symbolbild: Regal mit leuchtenden Konservengläsern voller Schriftrollen, deren Leuchten bei manchen erlischt, ein Haltbarkeitsdatum-Siegel aus Licht davor, Nachtblau und Gold.
Die Studie prüft die Haltbarkeit von 50 ausgewählten LLM-Befunden, nicht sämtlicher KI-Erkenntnisse. (Symbolbild, KI-generiert)

Die wichtigsten Fakten

Wie lange bleibt eine publizierte Erkenntnis über Sprachmodelle wahr? Diese Frage haben Owen Queen und James Zou von der Stanford University empirisch beantwortet: Sie nahmen 50 vielzitierte Befunde - von Schmeichelei bis Jailbreaks - und ließen dieselben Tests über 20 Modelle laufen, die zwischen Juli 2024 und September 2026 erschienen sind. Das Ergebnis: 44 Prozent der Befunde sind in heutigen Modellen 'abgelaufen', weitere 34 Prozent deutlich abgeschwächt. Nur 16 Prozent halten vollständig, 6 Prozent wurden sogar stärker. Die Bezugsmenge sind diese 50 ausgewählten Befunde, keine repräsentative Gesamtheit aller KI-Erkenntnisse. "Abgelaufen" bedeutet hier: Der modellierte Effekt ist bis September 2026 auf höchstens ein Fünftel des ursprünglichen Effekts gesunken. Einzelne Modelle können ihn dennoch deutlich zeigen.

Was verfällt - und was bleibt

Am schnellsten verfallen Fähigkeits-Fehler, die neuere Modelle nicht mehr machen: Buchstaben zählen, Rechnen in ungewöhnlichen Zahlensystemen, Fakten in der Mitte langer Kontexte finden, erfundene Literaturangaben, Aufgeben richtiger Antworten bei Widerspruch. Das prominenteste Beispiel: 2023 erfand ChatGPT (GPT-3.5) 55 Prozent seiner Zitate in Literaturübersichten; aktuelle Modelle wie GPT-6.1-Sol und Claude Sonnet 5.5 fabrizieren Zitate in derselben Aufgabe laut Studie praktisch nicht mehr.

Halten dagegen Verhaltensweisen: Modelle schmeicheln und stimmen zu, bevorzugen als Bewerter ihre eigenen Antworten, geben auf offene Fragen nahezu identische Antworten und erzeugen ungleichmäßige 'Zufallszahlen'. Drei Befunde verstärkten sich sogar - darunter die Selbstbevorzugung von Modell-Bewertungen.

15,7 Monate im Mittel - nur bei abgelaufenen Befunden

Bei den 22 als abgelaufen eingestuften Befunden mit geschätztem Ablaufdatum betrug die Zeit seit Veröffentlichung im Mittel 15,7 Monate (Median 14,7). Nicht abgelaufene Befunde sind in diesen beiden Kennzahlen nicht enthalten. Über alle 50 Befunde schätzen die Autoren mit einem Kaplan-Meier-Verfahren einen abgelaufenen Anteil von 16 Prozent nach einem Jahr und 39 Prozent nach zwei Jahren. Frühe Modellkohorten haben nur wenige Beobachtungen, pro Befund wurde ein minimales Test-Design verwendet, und abgeschaltete Originalmodelle mussten teils durch markierte Ersatzmodelle ersetzt werden. Es geht um geschätzte Trendlinien, nicht exakte Ablaufdaten oder eine Halbwertszeit aller Forschung.

Was das für die Praxis heißt

Die nützlichste Lesart ist ein Filter für eigene Annahmen: Faustregeln im Stil von 'Modelle können nicht ...' gehören regelmäßig nachgetestet - sie verfallen am schnellsten. Aussagen über Tendenzen ('Modelle neigen zu ...') sind deutlich haltbarer. Für Teams, die Evaluierungen, Sicherheitsannahmen oder Schulungsmaterial auf ältere Befunde stützen, empfiehlt die Studie implizit ein Verfallsdatum für jede interne Regel - und einen Kalender-Eintrag zum Nachtesten.

Häufige Fragen

Sind damit alle alten LLM-Studien wertlos?

Nein. 16 Prozent der geprüften Befunde hielten vollständig, 6 Prozent verstärkten sich. Es geht nicht um Wertlosigkeit, sondern um Haltbarkeit: Gerade Aussagen über Fähigkeitsgrenzen altern schnell und sollten an aktuellen Modellen nachgetestet werden.

Wie verlässlich ist die Studie selbst?

Die Autoren dokumentieren ihre Grenzen offen: wenige frühe Modelle als Anker, ein Test-Design pro Befund, Ersatzmodelle für abgeschaltete Originale und Unsicherheitsintervalle bei den Ablaufdaten. Die Hauptrichtung - schnelles Verfallen von 'kann nicht'-Befunden - ist aber über die 50 Fälle hinweg konsistent.

Welche Befunde halten am besten?

Tendenzen statt Fähigkeiten: Schmeichelei und Zustimmung, Selbstbevorzugung als Bewerter, nahezu identische Antworten auf offene Fragen und ungleichmäßige Zufallszahlen. Diese Verhaltensmuster überlebten den Modellwechsel von zwei Jahren weitgehend.

Quellen

  1. The shelf life of LLM findings (Owen Queen & James Zou, Stanford University, abgerufen 2026-11-04)
  2. zou-group/llm-claims-shelf-life (Code und Daten) (GitHub, abgerufen 2026-11-04)
  3. Rapid LLM development is outrunning the research meant to explain it, study finds (The Decoder, abgerufen 2026-11-04)
  4. LLM claims have a shelf life (Begleitanalyse) (Stephen Turner (blog.stephenturner.us), abgerufen 2026-11-04)

Weitere Artikel

Artikel teilen

Transparenzhinweis: Dieser Artikel ist ein redaktioneller Beitrag von Philipp Paulik und entstand mit KI-Unterstützung (Recherche und Textentwurf). Alle Quellen sind unten verlinkt; Zahlen und Aussagen stammen aus diesen Quellen. Das Titelbild ist KI-generiert und im Bild entsprechend gekennzeichnet. Die News-Übersicht auf dieser Seite wird dagegen automatisch aus öffentlichen Feeds aggregiert. So arbeiten wir.