KI-Pulse
Modelle

Googles Sleep-Framework: Sprachmodelle sollen im Schlaf weiterlernen

Von , Redaktion Intelligenz Welt · mit KI-Unterstützung erstellt, redaktionell verantwortet (so arbeiten wir) · · 3 Min. Lesezeit

Artikel teilen
KI-generierte Illustration: ein stilisiertes neuronales Netz über einer schlafenden, mondbeschienenen Landschaft, Wissen wandert als Lichtpunkte in stabile Strukturen, ohne Menschen und ohne Schrift
Symbolbild, KI-generiert (Intelligenz Welt).

Die wichtigsten Fakten

Kurz gesagt: Heutige Sprachmodelle hören nach dem Training auf zu lernen - alles Neue lebt nur im Kontextfenster und ist nach der Sitzung weg. Google Research schlägt vor, Modelle regelmäßig 'schlafen' zu schicken: In der Offline-Phase wird Kurzzeitwissen in die Parameter konsolidiert und mit selbst erzeugten Daten geübt. Die im Paper berichteten Ergebnisse sind stark, aber es ist ein Forschungsprototyp, kein angekündigtes Produkt.

Warum Modelle vergessen

Das Ausgangsproblem ist bekannt: Nach dem Training bleibt ein Modell statisch, sein Wissen endet am Cutoff-Datum. Nachschulen per Feintuning löst 'catastrophic forgetting' aus - neue Aufgaben überschreiben alte Fähigkeiten. In-Context-Learning ist die heutige Notlösung, aber alles im Kontextfenster Gelernte verschwindet mit der Sitzung. Die Autoren vergleichen das mit anterograder Amnesie: Das Modell erlebt jede Sitzung, als wäre sie die erste.

Wie die Schlafphase funktioniert

Die erste Stufe, Memory Consolidation, baut auf der Hope-Architektur des Teams auf: Wissen liegt zunächst in schnellen, flüchtigen Schichten und wird per Knowledge Seeding in neue, niederfrequente Low-Rank-Experten überführt - technisch über eine Kombination aus On-Policy-Distillation und belohnungsbasierter Imitation (der Student wird danach belohnt, wie ähnlich seine Fortsetzungen denen der Lehrer-Version sind). Danach werden die temporären Parameter zurückgesetzt ('synaptic pruning') und der Kurzzeit-Speicher ist wieder frei.

Die zweite Stufe heißt Dreaming: Der MoE-Router aktiviert bei der Datenerzeugung absichtlich zufällige Experten, damit das Modell Wissensdomänen mischt; die erzeugten 'Träume' werden gradientenbasiert gefiltert und die besten per Reinforcement Learning und überwachtem Feintuning nach trainiert - rekursive Selbstverbesserung ohne menschliche Aufsicht.

Die Ergebnisse

Vier Messreihen nennt der Blogpost: Bei fortlaufender Übersetzung in Sprachen, die das Modell nie gesehen hat (Mandschurisch, Kalamang), blieb der Leistungsabfall laut Paper nahe null, während In-Context-Learning und Feintuning massiv vergaßen. Im Langkontext-Benchmark BABILong skalierte das Verfahren laut Autoren nahezu perfekt bis 10 Millionen Tokens und lag vor GPT-4 und Titans. Bei Faktenwissen (SQuAD) erreichte es 48,9 Prozent (Single-Task) beziehungsweise 46,2 Prozent (Continued Pre-Training), vor den getesteten Baselines. Und auf den Mathe-Benchmarks AIME 24/25 und HMMT 25 kam es auf 79,2, 69,0 und 46,1 Prozent - jeweils vor SFT, GRPO und Selbst-Distillation. Alle Werte: Angaben der Autoren, unabhängige Replikation steht aus.

Einordnung

Häufige Fragen

Kann mein Chatbot das schon?

Nein. Das Sleep-Framework ist ein Forschungsansatz von Google Research auf der Hope-Architektur - kein Feature von Gemini oder einem anderen Produkt. Ob und wann daraus etwas Produktreifes wird, ist offen.

Was ist der Unterschied zu Feintuning?

Klassisches Feintuning überschreibt gelernte Fähigkeiten (catastrophic forgetting). Das Sleep-Framework erweitert das Modell stattdessen periodisch um neue Low-Rank-Experten, die neues Wissen aufnehmen, während alte Parameter unangetastet bleiben - dazu kommt eine Selbsttrainings-Phase mit synthetischen Daten.

Wo kann ich das Paper lesen?

Unter dem Titel 'Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories' auf arXiv (2606.03979); der Google-Research-Blogpost fasst es zusammen.

Quellen

  1. The sleep framework: A new way for LLMs to retain knowledge in continual learning (Google Research, abgerufen 2026-10-31)
  2. Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories (arXiv, abgerufen 2026-10-31)
  3. AI News Oct 31, 2026 (Morning Tokens, abgerufen 2026-10-31)

Weitere Artikel

Artikel teilen

Transparenzhinweis: Dieser Artikel ist ein redaktioneller Beitrag von Philipp Paulik und entstand mit KI-Unterstützung (Recherche und Textentwurf). Alle Quellen sind unten verlinkt; Zahlen und Aussagen stammen aus diesen Quellen. Das Titelbild ist KI-generiert und im Bild entsprechend gekennzeichnet. Die News-Übersicht auf dieser Seite wird dagegen automatisch aus öffentlichen Feeds aggregiert. So arbeiten wir.