Googles Sleep-Framework: Sprachmodelle sollen im Schlaf weiterlernen

Die wichtigsten Fakten
- Das Sleep-Framework von Google Research wechselt zwischen einer aktiven Phase (normale Nutzung) und einer Schlafphase, in der das Modell Kurzzeitwissen in stabile Langzeit-Parameter überführt.
- Zwei Stufen: 'Memory Consolidation' (neue Low-Rank-Experten in einer MoE-Struktur speichern Neues, ohne Altes zu überschreiben) und 'Dreaming' (das Modell erzeugt synthetische Übungsdaten und trainiert sich selbst).
- Laut Paper nahezu null Vergessen bei fortlaufender Übersetzung in ungesehene Sprachen, fast perfektes Skalieren auf 10 Millionen Tokens Kontext im BABILong-Benchmark und bessere Mathe-Ergebnisse als Feintuning-Baselines - alles Angaben der Autoren.
- Das würde das starre Wissens-Cutoff-Problem gelöster Modelle angehen; bisher ist es ein Forschungsprototyp auf der Hope-Architektur, kein Produkt-Feature.
Kurz gesagt: Heutige Sprachmodelle hören nach dem Training auf zu lernen - alles Neue lebt nur im Kontextfenster und ist nach der Sitzung weg. Google Research schlägt vor, Modelle regelmäßig 'schlafen' zu schicken: In der Offline-Phase wird Kurzzeitwissen in die Parameter konsolidiert und mit selbst erzeugten Daten geübt. Die im Paper berichteten Ergebnisse sind stark, aber es ist ein Forschungsprototyp, kein angekündigtes Produkt.
Warum Modelle vergessen
Das Ausgangsproblem ist bekannt: Nach dem Training bleibt ein Modell statisch, sein Wissen endet am Cutoff-Datum. Nachschulen per Feintuning löst 'catastrophic forgetting' aus - neue Aufgaben überschreiben alte Fähigkeiten. In-Context-Learning ist die heutige Notlösung, aber alles im Kontextfenster Gelernte verschwindet mit der Sitzung. Die Autoren vergleichen das mit anterograder Amnesie: Das Modell erlebt jede Sitzung, als wäre sie die erste.
Wie die Schlafphase funktioniert
Die erste Stufe, Memory Consolidation, baut auf der Hope-Architektur des Teams auf: Wissen liegt zunächst in schnellen, flüchtigen Schichten und wird per Knowledge Seeding in neue, niederfrequente Low-Rank-Experten überführt - technisch über eine Kombination aus On-Policy-Distillation und belohnungsbasierter Imitation (der Student wird danach belohnt, wie ähnlich seine Fortsetzungen denen der Lehrer-Version sind). Danach werden die temporären Parameter zurückgesetzt ('synaptic pruning') und der Kurzzeit-Speicher ist wieder frei.
Die zweite Stufe heißt Dreaming: Der MoE-Router aktiviert bei der Datenerzeugung absichtlich zufällige Experten, damit das Modell Wissensdomänen mischt; die erzeugten 'Träume' werden gradientenbasiert gefiltert und die besten per Reinforcement Learning und überwachtem Feintuning nach trainiert - rekursive Selbstverbesserung ohne menschliche Aufsicht.
Die Ergebnisse
Vier Messreihen nennt der Blogpost: Bei fortlaufender Übersetzung in Sprachen, die das Modell nie gesehen hat (Mandschurisch, Kalamang), blieb der Leistungsabfall laut Paper nahe null, während In-Context-Learning und Feintuning massiv vergaßen. Im Langkontext-Benchmark BABILong skalierte das Verfahren laut Autoren nahezu perfekt bis 10 Millionen Tokens und lag vor GPT-4 und Titans. Bei Faktenwissen (SQuAD) erreichte es 48,9 Prozent (Single-Task) beziehungsweise 46,2 Prozent (Continued Pre-Training), vor den getesteten Baselines. Und auf den Mathe-Benchmarks AIME 24/25 und HMMT 25 kam es auf 79,2, 69,0 und 46,1 Prozent - jeweils vor SFT, GRPO und Selbst-Distillation. Alle Werte: Angaben der Autoren, unabhängige Replikation steht aus.
Einordnung
Häufige Fragen
Kann mein Chatbot das schon?
Nein. Das Sleep-Framework ist ein Forschungsansatz von Google Research auf der Hope-Architektur - kein Feature von Gemini oder einem anderen Produkt. Ob und wann daraus etwas Produktreifes wird, ist offen.
Was ist der Unterschied zu Feintuning?
Klassisches Feintuning überschreibt gelernte Fähigkeiten (catastrophic forgetting). Das Sleep-Framework erweitert das Modell stattdessen periodisch um neue Low-Rank-Experten, die neues Wissen aufnehmen, während alte Parameter unangetastet bleiben - dazu kommt eine Selbsttrainings-Phase mit synthetischen Daten.
Wo kann ich das Paper lesen?
Unter dem Titel 'Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories' auf arXiv (2606.03979); der Google-Research-Blogpost fasst es zusammen.
Quellen
- The sleep framework: A new way for LLMs to retain knowledge in continual learning (Google Research, abgerufen 2026-10-31)
- Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories (arXiv, abgerufen 2026-10-31)
- AI News Oct 31, 2026 (Morning Tokens, abgerufen 2026-10-31)
Weitere Artikel
- OpenAI trainiert Frontier-Modelle jetzt ohne Internet
- TorchTPU: Google macht TPUs zum nativen PyTorch-Gerät
Transparenzhinweis: Dieser Artikel ist ein redaktioneller Beitrag von Philipp Paulik und entstand mit KI-Unterstützung (Recherche und Textentwurf). Alle Quellen sind unten verlinkt; Zahlen und Aussagen stammen aus diesen Quellen. Das Titelbild ist KI-generiert und im Bild entsprechend gekennzeichnet. Die News-Übersicht auf dieser Seite wird dagegen automatisch aus öffentlichen Feeds aggregiert. So arbeiten wir.