KI-Pulse
Überblick

KI am Morgen: Bitgenau, Merkmale im Nebel, ein Byte-Modell

Von , Redaktion Intelligenz Welt · mit KI-Unterstützung erstellt, redaktionell verantwortet (so arbeiten wir) · · 6 Min. Lesezeit

Artikel teilen
Drei Studien: bit-identische Inferenz über Rechnergrenzen, Seed-abhängige SAE-Merkmale unter einer dominanten Hauptkomponente, ein 27B-Modell mit auf 384 Einträge geschrumpftem Vokabular.
Drei Studien aus Originalquellen vom 10. November. Eigene Grafik.

Die wichtigsten Fakten

Morgenüberblick vom 12. November 2026. Quellenstand der Studien: 06:43 Uhr MEZ; ergänzender Artefaktabgleich: 06:49 Uhr MEZ. Drei Studien vom 10. November stellen die Frage, ob Messungen halten, was sie versprechen: bitgenaue Inferenz als prüfbare Referenz über beliebige Rechner hinweg, eine Verzerrung in der Standardauswertung von Sparse Autoencodern und die Umwandlung eines bereits trainierten 27B-Modells in ein reines Byte-Modell. Alle Messwerte sind Angaben der jeweiligen Autoren, keine unabhängige Replikation durch unsere Redaktion.

Bitgenau über Rechnergrenzen hinweg

Laut der jeweiligen Studie: Gleiche Modelle liefern auf unterschiedlicher Hardware, mit anderen Compilern oder Threadzahlen andere Bits, weil Gleitkomma-Addition nicht assoziativ ist. Sayed Amir Karim (Pelloran Inc.) stellt mit tritify eine offene Laufzeit vor, die den gesamten Vorwärtspfad realer Modelle (Decoder-Sprachmodelle, MoE-Decoder, Segment Anything 2.1) in exakter Ganzzahl rechnet; Gleitkomma bleibt der Offline-Quantisierung und der Prüfreferenz vorbehalten. Drei getrennte Behauptungen, drei Messungen: Die Ausgabe ist über CPU-Instruktionssätze und CPU/GPU bit-identisch, getragen von einem sich reproduzierenden SHA-256. Die Entscheidungen stimmen mit der Float-Referenz überein, mit gemessenen Ausnahmen: Bei einer 512-Token-Probe auf Qwen2.5-0.5B traf das Integer-Argmax 509 von 512 Positionen, die drei Abweichungen waren fast Gleichstände; über sechzehn Schichten von OLMoE-1B-7B und des 106-Milliarden-MoE GLM-4.5-Air blieb der mediane Kosinus pro Schicht über 0,999, die schlechteste Probe fiel einmal auf 0,97; die Segmentmaske von SAM 2.1 traf die Referenz vollständig (IoU 1,000). GLM-4.5-Air (427 GB Integer-Codes) lief über drei Rechner, von denen keiner die Codes vollständig im RAM hält, bit-identisch zur Einzelreferenz; ein weiterer Lauf verteilte ein Modell auf sechs Maschinen zweier Instruktionssätze an drei Orten mit identischem Hash.

Die Grenzen stehen im selben Preprint: Kein Tempo-Versprechen, Verteilung fügt Latenz hinzu, der Gewinn ist Kapazität und Prüfbarkeit; die GPU-Bit-Identität ist im Preprint nur für das ternäre Matrixprodukt auf Apple M3 Metal gezeigt, nicht für ganze Modelle; die Ausgabe ist nicht invariant gegenüber Batch und Zeitplan (dynamische Quantisierung pro Tensor); die Treue zur Float-Referenz ist bis sechzehn Schichten gemessen, die vollständige 46-Schicht-Antwort wurde nicht mit einem Float-Modell verglichen; und Prüfbarkeit ist kein Datenschutz, der Server sieht die Aktivierungen. Als Konsequenz skizziert der Autor überprüfbare verteilte Inferenz: Ein schneller, nicht vertrauenswürdiger Server rechnet, ein offenes Orakel leitet die exakten Bytes nach und prüft; der Schutz gegen einen aktiv betrügenden Server ist ausdrücklich Zukunftsarbeit. Code: github.com/pelloran-inc/tritify. Das aktuell gelesene öffentliche tritify-Repository nennt inzwischen Ganzmodell-GPU-Vergleiche für Qwen2.5-0.5B. Den großen GLM-Lauf kennzeichnet es dagegen als Pelloran-Vergleichsbericht mit separater kommerzieller Orchestrierung: Allein aus diesem Repository lässt er sich nicht wiederholen. Wir haben keinen dieser Läufe selbst reproduziert.

Wenn ein Merkmal nur der Zufallsseed ist

Sparse Autoencoder (SAE) zerlegen Modellaktivierungen in wenige gelernte Richtungen und werden über erklärte Varianz und Ablations-Schaden bewertet. Nathan Delisle und Chenhao Tan zeigen in einem NeurIPS-2026-Beitrag, dass massive Aktivierungen beide Maße konfundieren: In mittleren Schichten liegen 70 bis 99,9 Prozent der Aktivierungsvarianz auf der ersten Hauptkomponente (PC1), und weil sich ein isoliertes Rang-1-Signal unter dem TopK-Ziel auf unendlich viele Arten exakt zerlegen lässt, pflastert jeder Trainings-Seed PC1 mit anderen Merkmalen. In fünf PC1-dominierten Modellen (GPT-2, Qwen-2.5-7B, Pythia 160M/1.4B/6.9B) finden sich im Mittel nur 5 bis 11 Prozent der 50 wichtigsten Merkmale in einem zweiten Lauf wieder, gegenüber 47 bis 63 Prozent wörterbuchweit; 43,5 bis 48 der 50 wichtigsten Merkmale haben kein Gegenstück, zufällig gezogene 50 hätten 19 bis 27 ohne Match. Die Qwen-2.5-7B-Wörterbücher erklären 99,96 Prozent der Gesamtvarianz und lassen zugleich 33,0 Prozent der Varianz außerhalb von PC1 unerklärt; der ausgewiesene Wert unterschlägt den Inhaltsfehler um bis zu Faktor 890.

Zwei Gegenmittel: Eine Magnituden-Strafe hebt bei GPT-2, Block 6 (TopK, fünf Seeds), die Top-50-Übereinstimmung von 6,4 auf 94,9 Prozent bei unter einem Prozent Änderung an Sparsamkeit und Rekonstruktion; und ein Training mit entfernter PC1-Projektion, die erst bei der Inferenz wieder addiert wird, hebt die Top-50-Übereinstimmung auf 73 bis 99,5 Prozent, die zehn wichtigsten Merkmale teilen sich dann mit 1,4- bis 2,0-facher Wörterbuchrate, und das eingesetzte Wörterbuch verschlechtert das Modell um bis zu 44 Prozent weniger bei bis zu 33,9 Prozent weniger Inhaltsfehler (Qwen-2.5-7B). Für bestehende Wörterbücher reicht eine Post-hoc-Auswahl ohne Neutraining; auch veröffentlichte Wörterbücher zeigen die Verzerrung (Gemma Scope 2: Fehler außerhalb von PC1 etwa 2,1-fach). Grenzen: In der letzten Schicht von Pythia-1.4B verschwindet die Umkehrung; bei Llama-3.1-8B sinkt die PC1-Dominanz ohne die erste Position von 97 auf 3 Prozent, bei Qwen-2.5-7B bleibt sie bei 99,7 Prozent; die wörterbuchweite Übereinstimmung bleibt zwischen 44 und 68 Prozent. Code und trainierte SAEs sind öffentlich (github.com/nathandelisle/massive-saes).

Ein 27B-Modell lernt, Bytes zu lesen

Laut der jeweiligen Studie: Liwei Zhang und ZhiMing Tong bauen Qwen3.8-27B (48 Gated-DeltaNet- und 16 Full-Attention-Schichten) ohne Patching-Struktur und ohne lokalen Encoder in ein reines Byte-Modell um: Das Embedding-Tabelle schrumpft von 248.320 auf 384 Einträge, die 256 Byte-Symbole liegen bereits als Zeilen in der BPE-Tabelle, bei dieser Initialisierung bleiben die übrigen Gewichte unangetastet; danach wird das ganze Sprachmodell weitertrainiert. Weitertrainiert wird in zwei Stufen (erst Kodieren, dann Lesen) auf 4,77 GB überwachten Bytes, 178,6 Stunden auf acht H200; die Dialog-Supervision erzeugt das Ausgangsmodell on-policy selbst. Der Erhalt, gemessen auf derselben GPU mit demselben Serving-Stack: Im Non-Thinking-Modus bleiben vier von sieben Posten innerhalb von ±2,5 Punkten (GSM8K -0,4, MATH-500 +0,8, HumanEval+ -2,5, MMLU-Pro -1,3); C-Eval fällt um 4,7 und die IFEval-Werte um 4,1 bis 6,2. Im Thinking-Modus liegen MATH-500 (+1,4) und IFEval (+0,2 bis +0,6) auf oder über dem Original, GSM8K (-4,0) und C-Eval (-4,5) sind die klaren Verluste. Ein Teil des Non-Thinking-IFEval-Abstands hängt mit fehlendem Anweisungs-Nachtraining zusammen, das trennt das Paper nicht experimentell. Die 384 Einträge bedeuten nicht 384 verschiedene Bytes: Es sind 256 Byte-Symbole, 35 benannte Spezialtokens und 93 reservierte Platzhalter. 248.320 bezeichnet die ursprüngliche Tabellengröße; der eigentliche BPE-Tokenbestand umfasst laut Studie 248.077 Einträge. 54 Prozent der überwachten Trainingsbytes sind menschlich geschriebener Wikipedia-Text, nicht selbstgenerierte Dialoge. DPO gehört zur getrennten Nachtrainingskette und nicht zum LD3-base-Vergleich der Haupttabelle. Durch die kleineren Ein-/Ausgabetabellen sinkt der Sprachmodellteil von 26,9 auf 24,4 Milliarden Parameter; 27B bezeichnet hier das Ausgangsmodell. Die Benchmarks stammen aus einem Seed und einem Lauf; die Bootstrap-Intervalle erfassen Aufgabenstichproben, nicht die Zufälligkeit des Decodierens.

Was Bytes bringen: Aufgaben auf Zeichenebene gewinnen durchweg, CUTE +8,8, EXECUTE-zho +12,2, die eigene chinesische Zeichensuite +9,7; doch Nachschlagewissen über Zeichen wie Aussprache und Strichzahl fällt, und Denken holt es nicht zurück. Was es kostet: Die Schrittgeschwindigkeit bleibt identisch, doch jeder Schritt liefert drei- bis fünfmal weniger Ausgabe; chinesische Zeichen pro Sekunde fallen auf ein Viertel, der Prefill bei 64K Bytes ist 6,5-mal langsamer; ein Draft Head soll das Tempo zurückholen, passt aber nicht auf eine 48G-GPU. Die Autoren beschreiben bytetypische Fehlerbilder samt Gegenmitteln (Greedy-Runaway, UTF-8-Bruch beim Sampling, wirkungslose Penalties, Denkschleifen) und betonen ausdrücklich, kein stärkeres Modell zu behaupten: Bei etwa 1e21 FLOPs Weitertraining erreicht die Byteifizierung den Großteil der ursprünglichen Fähigkeit, gewinnt Zeichenoperationen und zahlt mit Durchsatz und einem Teil des Zeichenwissens. In der Rezitation von 12.126 Zeichen liegt das Byte-Modell mit einem Fehler vor dem Original mit drei, beide ohne ungültige UTF-8-Bytes. Eval-Skripte und die Zeichensuite sind öffentlich (huggingface.co/datasets/leiwhere/ld3-byte-eval); Gewichte und Trainingskorpus sind derzeit nicht veröffentlicht.

Häufige Fragen

Heißt bit-identisch, dass das Integer-Modell das Float-Modell exakt kopiert?

Nein. Gemessen wird die Übereinstimmung der Entscheidungen mit deklarierter Toleranz, etwa 509 von 512 Argmax-Positionen bei Qwen2.5-0.5B; die Treue ist bis sechzehn Schichten gemessen, die komplette 46-Schicht-Antwort wurde nicht gegen ein Float-Modell verglichen.

Sind SAE-Merkmale damit generell unbrauchbar?

Nein. Die wörterbuchweite Übereinstimmung liegt bei 44 bis 68 Prozent; die Umkehrung betrifft die Spitze der Wichtigkeitsrangliste in PC1-dominierten Modellen, und Magnituden-Strafe, PC1-Bypass oder Post-hoc-Auswahl beheben sie weitgehend.

Ist das Byte-Modell damit das bessere Modell?

Nein, das betonen die Autoren selbst: Der Großteil der Fähigkeit bleibt erhalten und Zeichenoperationen gewinnen deutlich, aber C-Eval verliert in beiden Modi etwa 4,5 Punkte, die Ausgabegeschwindigkeit für Chinesisch fällt auf ein Viertel, und Gewichte sowie Korpus sind nicht veröffentlicht. Die 384 Tabellenplätze umfassen 256 Bytes, 35 Spezialtokens und 93 reservierte Platzhalter.

Quellen

  1. Deterministic, Reproducible Inference in Exact Integer Arithmetic, and Verifiable Distributed Inference as Its Consequence (arXiv (Sayed Amir Karim; Pelloran Inc.), abgerufen 2026-11-12)
  2. Massive Activations Confound Sparse Autoencoders (arXiv / NeurIPS 2026 (Nathan Delisle, Chenhao Tan), abgerufen 2026-11-12)
  3. One Byte, One Token: Byteifying a 27B Hybrid-Attention LLM with Self-Generated Data (arXiv (Liwei Zhang, ZhiMing Tong), abgerufen 2026-11-12)
  4. tritify: aktuelles öffentliches Repository und Artefaktgrenzen (Pelloran Inc. / GitHub, abgerufen 2026-11-12)
  5. massive-saes: Code und gespeicherte Ergebnisse (Nathan Delisle / GitHub, abgerufen 2026-11-12)
  6. LD3-byte-eval: Evaluationsskripte und Zeichensuite (leiwhere / Hugging Face, abgerufen 2026-11-12)

Weitere Artikel

Artikel teilen

Transparenzhinweis: Dieser Artikel ist ein redaktioneller Beitrag von Philipp Paulik und entstand mit KI-Unterstützung (Recherche und Textentwurf). Alle Quellen sind unten verlinkt; Zahlen und Aussagen stammen aus diesen Quellen. Die News-Übersicht auf dieser Seite wird dagegen automatisch aus öffentlichen Feeds aggregiert. So arbeiten wir.