SenseNova Loop 9B: SenseTimes offenes Modell durchläuft seine Schichten zweimal

Die wichtigsten Fakten
- SenseTime hat SenseNova-Loop-9B-Preview am 30. Oktober als Open Source veröffentlicht (Apache 2.0, Gewichte auf Hugging Face, Code und Doku auf GitHub).
- Kernidee: Ein Block von 24 der 32 Decoder-Schichten wird mit geteilten Gewichten zweimal ausgeführt - 56 Schicht-Berechnungen pro Vorwärtspass bei nur 32 gespeicherten Gewichtssätzen; rund 9 Milliarden Gesamtparameter, rund 14,6 Milliarden Inferenzparameter.
- Multimodal: Text und Bilder hinein, Text heraus; Trainings-Sequenzlängen bis 262.144 Tokens; Ziel sind lange Kontexte und agentische Workflows.
- SenseTime bewirbt Leistung auf 27B-Niveau und Siege über Qwen3.5-27B in drei Benchmarks - das sind Herstellerangaben ohne unabhängige Prüfung; auf Terminal Bench 2.1 und einem Banking-Benchmark liegt das Modell den eigenen Zahlen zufolge hinten.
Kurz gesagt: Kleine Modelle stärker machen, ohne sie größer zu machen - das verspricht SenseTime mit SenseNova-Loop-9B-Preview. Der Trick: Ein Teil des Modells rechnet doppelt. Die Gewichte stehen seit dem 30. Oktober unter der Apache-2.0-Lizenz auf Hugging Face; das Unternehmen bewirbt das 9B-Modell mit dem Satz "Scaling compute depth, not just model size".
Wie die Schleife funktioniert
Klassische Decoder schicken die Eingabe einmal durch jede Schicht. SenseNova-Loop führt nach den ersten vier Schichten den Block der Schichten 4 bis 27 zweimal hintereinander aus - mathematisch B(B(h)) - und schließt mit den Schichten 28 bis 31 plus Ausgabekopf ab. Weil der wiederholte Block seine Gewichte teilt, steigen die Parameter nicht mit der Rechentiefe: rund 9 Milliarden Parameter insgesamt, rund 14,6 Milliarden bei der Inferenz.
Damit Informationen die Doppelschleife sauber durchlaufen, setzt SenseTime auf zwei Mechanismen: sogenannte Two-Stream-mHC (manifold-constrained hyper-connections) führen zwei Restströme um die Schichtberechnungen herum, deren Mischung gelernte Abbildungen steuern - mit Sinkhorn-Normalisierung, in der dokumentierten Konfiguration mit 20 Iterationen. Dazu kommt hybride Aufmerksamkeit: In jeder Vierergruppe folgen auf drei Linear-Attention-Schichten eine mit voller Aufmerksamkeit; die Schleifengrenzen liegen exakt auf diesen Gruppen.
| Eigenschaft | Wert |
|---|---|
| Architektur | Autoregressiver multimodaler Decoder, Loop-Block mit Two-Stream-mHC |
| Parameter | rund 9 Mrd. gesamt, rund 14,6 Mrd. bei Inferenz |
| Eigene Decoder-Schichten | 32 |
| Schleife | Schichten 4-27 zweimal, geteilte Gewichte |
| Schicht-Ausführungen pro Pass | 56 |
| Aufmerksamkeit | hybrid: 3x linear + 1x voll je Vierergruppe |
| Trainingskontext | bis 262.144 Tokens |
| Lizenz | Apache 2.0 |
Was SenseTime verspricht - und was offen ist
Nach den vom Unternehmen veröffentlichten Zahlen erreicht das 9B-Modell Ergebnisse auf dem Niveau von 27B-Klassen-Modellen und schlägt Alibabas Qwen3.5-27B auf WorkBuddy Bench (66,89 zu 60,53), RaccoonPPTBench (70,70 zu 59,08) und AutomationBench (13,72 zu 10,17); die mHC-Technik allein soll 4,42 Punkte auf GPQA Diamond und 13,34 auf TeamBench bringen. Wichtig: Das sind Herstellerangaben aus der eigenen Benchmark-Grafik, die zum Veröffentlichungszeitpunkt niemand unabhängig geprüft hat - und RaccoonPPTBench ist laut Fußnote ein interner Benchmark. Ehrlicherweise zeigt das Schaubild auch Gegenbeispiele: Auf Terminal Bench 2.1 liegt SenseNova-Loop mit 40,45 hinter Qwen3.5-27B (47,19), auf dem Banking-Benchmark T3 mit 18,56 hinter 19,59.
Offen ist noch einiges: Der technische Bericht ist auf der Modellkarte als "TBD" markiert; zwei der angekündigten Beschleunigungsverfahren (Dspark und Dflash2) befinden sich noch im Training, Multi-Token-Prediction ist dagegen verfügbar. Der Betrieb verlangt Transformers 5.18.0 mit eigenem Modellcode; als Serving-Option nennt SenseTime sein LightLLM-Framework. Die Demo-Beispiele auf der Modellseite - animierte HTML-Seiten, Folien, Datenanalysen - stammen aus SenseTimes eigenem Raccoon-Work-Produkt.
Einordnung
Häufige Fragen
Kann ich SenseNova-Loop-9B kommerziell nutzen?
Die Lizenz ist Apache 2.0, die kommerzielle Nutzung erlaubt. Zu beachten sind die üblichen Apache-Bedingungen; das Modell trägt den Zusatz Preview, und der technische Bericht fehlt noch.
Was heißt 'Inferenzparameter 14,6 Milliarden'?
Die Modellkarte unterscheidet rund 9 Milliarden Parameter insgesamt von rund 14,6 Milliarden Parametern, die bei der Inferenz wirken - die Doppelausführung des Blocks erhöht die Rechentiefe, ohne die gespeicherten Gewichte zu verdoppeln.
Sind die Benchmark-Zahlen verlässlich?
Sie stammen vollständig von SenseTime selbst; eine unabhängige Bestätigung gab es bei Veröffentlichung nicht. Das Schaubild des Herstellers zeigt neben Siegen über Qwen3.5-27B auch zwei Benchmarks, auf denen das Modell verliert.
Quellen
- sensenova/SenseNova-Loop-9B-Preview (Modellkarte) (Hugging Face, abgerufen 2026-11-01)
- OpenSenseNova (Code und Dokumentation) (GitHub, abgerufen 2026-11-01)
- SenseTime open sources SenseNova-Loop-9B-Preview, a model that runs its layers twice (Tech City Authority, abgerufen 2026-11-01)
Weitere Artikel
- Mistral Large 4: Gewichte des Billionen-Parameter-Modells sind jetzt offen
- Kimi K3.1 Pro: Open-Weights-Modell fast auf Augenhöhe mit Claude Opus 5.5
Transparenzhinweis: Dieser Artikel ist ein redaktioneller Beitrag von Philipp Paulik und entstand mit KI-Unterstützung (Recherche und Textentwurf). Alle Quellen sind unten verlinkt; Zahlen und Aussagen stammen aus diesen Quellen. Das Titelbild ist KI-generiert und im Bild entsprechend gekennzeichnet. Die News-Übersicht auf dieser Seite wird dagegen automatisch aus öffentlichen Feeds aggregiert. So arbeiten wir.