Gemini API: Computer Use ist allgemein verfügbar - das steckt in Googles Agenten-Werkzeug

Die wichtigsten Fakten
- Computer Use ist seit dem 30. Oktober 2026 allgemein verfügbar (GA) - in der Interactions- und in der GenerateContent-API der Gemini API.
- Das Werkzeug lässt Modelle per Screenshot den Bildschirm sehen und Aktionen wie Klicks und Tastatureingaben erzeugen; die Ausführung liegt beim eigenen Client. Unterstützt werden Browser-, Mobile- und Desktop-Umgebungen.
- Gemini-4- und Gemini-3.x-Modelle bringen Zusatzfunktionen mit: Aktions-Intents mit Begründung, konfigurierbare Sicherheitsrichtlinien und eine opt-in Erkennung von Prompt-Injection in Screenshots.
- Kosten fallen über das gewählte Modell an, etwa Gemini 3.8 Flash: 0,75 US-Dollar pro Million Eingabe-Tokens und 3,75 pro Million Ausgabe-Tokens (Einführungspreise bis 31. Dezember 2026, danach 1,50 bzw. 7,50 US-Dollar).
Kurz gesagt: Wer Agenten bauen will, die echte Software bedienen, bekommt bei Google jetzt ein fertiges Fundament: Das Computer-Use-Tool der Gemini API ist laut offiziellem Changelog seit dem 30. Oktober allgemein verfügbar. Die Reifegrad-Stufe bedeutet vor allem: keine Preview-Haken mehr, klare Modellunterstützung und produktive Nutzung in zwei API-Varianten.
Was das Werkzeug kann
Das Prinzip ist Function Calling mit Augen: Du aktivierst das Tool computer_use, übergibst eine Umgebung (browser, mobile oder desktop), und das Modell bekommt Screenshots zu sehen und antwortet mit Aktionen. Die eigentliche Ausführung - Klicks, Eingaben, das erneute Aufnehmen von Screenshots - implementierst du clientseitig selbst. Google nennt als Einsatzfelder das Automatisieren von Dateneingabe und Formularen, das Testen von Webanwendungen und Recherchen über mehrere Websites, etwa Preisvergleiche.
Bei den aktuellen Gemini-4- und Gemini-3.x-Modellen kommen drei Funktionen dazu, die für den Praxiseinsatz zählen: Aktionen tragen ein intent-Feld, das den Grund des Modells für jeden Schritt mitliefert; Sicherheitsverhalten lässt sich über eingebaute Richtlinien-Kategorien mit eigenen Ausnahmen konfigurieren; und eine opt-in Prüfung scannt Screenshots auf versteckte Anweisungen - also auf Prompt-Injection, die über den Bildinhalt hereinkommt.
Der Weg zur GA
Aus dem Changelog der Gemini API lässt sich die Entwicklungslinie ablesen: Im Herbst 2025 startete ein Gemini-2.5-Computer-Use-Preview, gefolgt von der Unterstützung in den Preview-Modellen Gemini 3 Pro und 3 Flash. Gemini 3.5 Flash brachte dann die öffentliche Preview mit den heutigen Kernfunktionen - vereinfachte Aktionen mit Intents, die drei Umgebungen, konfigurierbare Sicherheitsrichtlinien und die Injection-Erkennung. Am 30. Oktober 2026 folgte die GA für beide API-Varianten.
Was der Betrieb kostet
Abgerechnet wird über das Modell, nicht über das Tool. Für Gemini 3.8 Flash nennt die Preisseite als Einführungskonditionen bis 31. Dezember 2026: 0,75 US-Dollar pro Million Eingabe-Tokens und 3,75 US-Dollar pro Million Ausgabe-Tokens (inklusive Denk-Tokens); ab 1. Januar 2027 gelten 1,50 beziehungsweise 7,50 US-Dollar. Ein kostenloses Kontingent existiert, ist aber für produktive Agentenläufe mit ihren vielen Screenshot-Eingaben schnell erschöpft - Computer-Use-Schleifen sind eingabelastig, weil jeder Schritt einen neuen Screenshot ins Modell schickt.
Einordnung
Häufige Fragen
Brauche ich für Computer Use ein bestimmtes Modell?
Ja - das Tool läuft mit Gemini-4- und Gemini-3.x-Modellen. In den Beispielen der Dokumentation kommt Gemini 3.8 Flash zum Einsatz; die Liste der unterstützten Modelle steht in der Modellübersicht der Gemini API.
Führt Google die Aktionen für mich aus?
Nein. Das Modell liefert nur die Aktionen (Klick, Eingabe, Scrollen) zurück; die Ausführungsumgebung - Browser-Steuerung, Screenshot-Aufnahme, Sicherheitsgrenzen - baust du selbst, ähnlich wie bei klassischem Function Calling.
Was kostet ein typischer Agentenlauf?
Google nennt keine Pauschale. Abgerechnet werden Modell-Tokens; weil jeder Schritt einen Screenshot als Eingabe enthält, dominieren die Eingabe-Kosten. Für Gemini 3.8 Flash gelten bis Ende 2026 0,75 US-Dollar pro Million Eingabe- und 3,75 pro Million Ausgabe-Tokens.
Quellen
- Gemini API Release Notes (Computer Use GA, 30. Oktober 2026) (Google AI for Developers, abgerufen 2026-11-01)
- Computer use - Interactions API (Google AI for Developers, abgerufen 2026-11-01)
- Gemini Developer API pricing (Google AI for Developers, abgerufen 2026-11-01)
Weitere Artikel
- GPT-6.1 Terra: OpenAIs Computer-Use-Modell zum halben Preis
- Vier Gemini-4-Agenten spielen Minecraft komplett allein durch
Transparenzhinweis: Dieser Artikel ist ein redaktioneller Beitrag von Philipp Paulik und entstand mit KI-Unterstützung (Recherche und Textentwurf). Alle Quellen sind unten verlinkt; Zahlen und Aussagen stammen aus diesen Quellen. Das Titelbild ist KI-generiert und im Bild entsprechend gekennzeichnet. Die News-Übersicht auf dieser Seite wird dagegen automatisch aus öffentlichen Feeds aggregiert. So arbeiten wir.