Eigener LLM-Proxy: Wer seine KI-Nutzung nicht misst, rätselt nur

Kurz gesagt: Wer mit mehreren KI-Modellen, Agenten und Coding-Tools arbeitet, sollte den Verkehr durch einen eigenen LLM-Proxy schicken: ein Gateway in der eigenen Infrastruktur, das jede Anfrage protokolliert, Kosten zuordnet und Anbieterwechsel zur Kleinigkeit macht. Diese These vertritt Entwickler Jared Siegel in einem vielbeachteten Beitrag, und sie trifft einen echten Blindfleck vieler Setups.

Das Problem: Maskottchen statt Metriken

Siegel legt in seinem Blogbeitrag den Finger in die Wunde: Die Verbrauchsanzeigen der großen Anbieter seien für Ingenieure kaum brauchbar. Statt Zeitreihen zu Token-Verbrauch und Kosten gebe es niedliche Maskottchen. Aus solchen Anzeigen lasse sich keine Entscheidung ableiten. Sein Fazit im Titel: Wenn du keinen eigenen LLM-Proxy betreibst, woher willst du wissen, was überhaupt passiert?

Sechs Gründe für das eigene Gateway

• Ein Endpunkt für alles: Mehrere Anbieter und Modelle laufen über eine einzige Adresse, die du kontrollierst.
• Vollständige Logs: Welcher Schlüssel hat wann welches Modell mit welchem Client aufgerufen, und was kam zurück? Der Proxy weiß es.
• Virtuelle API-Keys: Statt deinen einen Haupt-Schlüssel in allen Agenten, Skripten und Harnesses zu verteilen, vergibst du eigene Unter-Schlüssel und kannst sie einzeln sperren.
• Eigene Infrastruktur: Die Daten liegen bei dir, nicht in einem weiteren Dashboard-Dienst.
• Schneller Wechsel: Modell oder Anbieter tauschen, ohne alles neu aufzusetzen, zum dritten Mal.
• Anpassbar: Eigene Gateways lassen sich erweitern, etwa um eigene MCP-Endpunkte oder zusätzliche Auswertungen.

Praxis: Cache-Miss in 20 Sekunden gefunden

Siegel beschreibt, wie er bei einer Coding-Session einen Cache-Miss sieht und per Hand in etwa 20 Sekunden die Ursache findet, weil sein Proxy den kompletten Verlauf zeigt. Automatisiert hat er das noch nicht, aber das Gateway hat eine API, also wäre es möglich. Sein Grundsatz: Own your infrastructure, your application visibility, data pathing, and storage. Privat mache er das aus Spaß und zum Lernen, beruflich, weil er sonst seinen Job nicht richtig mache.

Womit anfangen?

Siegel empfiehlt bewusst keinen bestimmten Anbieter, nur: betreibe es selbst, irgendwo unter deiner Kontrolle, und passe es an deine Bedürfnisse an. Ein verbreitetes Open-Source-Beispiel ist LiteLLM: ein AI-Gateway mit Rust-Kern und Python-SDK, das nach Projektangaben über 100 LLM-APIs im OpenAI-Format anspricht, Kosten trackt und virtuelle Schlüssel verwaltet. Auf GitHub steht das Projekt bei über 61.000 Sternen; der Einstieg ist in der Dokumentation beschrieben. Alternativen mit ähnlicher Idee existieren ebenfalls, entscheidend ist das Muster, nicht das Produkt.

Die ehrliche Kehrseite

Ein eigener Proxy ist selbst zu betreibende Infrastruktur: Updates, Absicherung und ein neuer Punkt, an dem alle Schlüssel zusammenlaufen. Wer ihn öffentlich erreichbar macht, muss ihn härten. Und wer gelegentlich im Browser mit einem Modell chattet, braucht kein Gateway. Sobald aber Agenten, Coding-Tools oder mehrere Modelle im Spiel sind, dreht sich die Rechnung: Dann ist fehlende Sichtbarkeit der teurere Weg.

Was du mitnehmen kannst

• Miss zuerst, optimiere dann: Ohne Logs über Requests, Tokens und Kosten ist jede Modell- oder Prompt-Entscheidung geraten.
• Verteile nie deinen Haupt-API-Key an Agenten und Skripte. Virtuelle Schlüssel mit Budget sind Pflicht.
• Wer den Verkehr durch einen eigenen Endpunkt schickt, kann Anbieter in Minuten statt Tagen wechseln.