Microsoft erklärt KI-Agenten zu Insider-Bedrohungen

Kurz gesagt: Microsoft hat am Montag neue Sicherheitsfunktionen für Unternehmen vorgestellt, die KI-Agenten überwachen wie risikobehaftete Mitarbeiter. Die Botschaft dahinter ist bemerkenswert: Vertraue keinem Modell, egal von wem es stammt, und lagere die Kontrolle über deine Agenten niemals an den Modell-Anbieter aus.

Was Microsoft gebaut hat

Zentrum der Ankündigung sind die Guardian Agents, eine Erweiterung von Project Perception. Das im Juni gestartete Projekt war ursprünglich gegen Angreifer von außen gedacht: Ein „red team“ von Agenten attackierte, ein „blue team“ entdeckte und bewertete, ein „green team“ reparierte. Jetzt dreht Microsoft den Fokus nach innen, auf Agenten, die das Unternehmen selbst einsetzt und bezahlt. Laut Microsofts Security Blog erkennt Defender inzwischen 60 Typen lokaler Agenten, darunter Claude Code, OpenAI Codex und GitHub Copilot. Jeder Agent bekommt eine eigene Identität über Entra Agent ID, Zugriffe werden auf die Aufgabe zugeschnitten und laufend angepasst, bei riskanten Schritten kann das System eine menschliche Freigabe erzwingen oder den Agenten isolieren.

Nadellas Prinzip: Angebot und Hoheit trennen

Satya Nadella hatte die Richtung Anfang des Monats in seinem Blog vorgegeben: „We are deploying these complex agentic systems and models, with access to our most sensitive data and giving them the ability to take mission-critical actions on our behalf!“ Sein Fazit: „We need to separate the supply of intelligence from the authority over it.“ Im Security-Blog-Gespräch spitzt er es weiter zu: „The most trustworthy agentic system will not be the one with the model we trust most. It will be the one designed that enables us to trust the model least.“

Unberechenbar, nicht böswillig

Noch deutlicher wurde Microsofts Sicherheitschefin Hayete Gallot, zitiert von TechCrunch: „Unfortunately, frontier models, regardless of their origin, cannot be trusted.“ Nicht, weil die Modelle bösartig oder leicht hackbar seien, sondern weil sie unberechenbar sind. Sie wurden darauf trainiert, Aufgaben zu erledigen, nicht, organisatorische Normen und Urteilsvermögen zu befolgen. Gleichzeitig bekommen sie oft weitreichenden Zugriff auf Daten und Werkzeuge, mit denen sie ernsthaften Schaden anrichten können. Microsoft nennt das Insider-Risiko: Ein Agent kann Fehler machen, manipuliert oder kompromittiert werden, und sein Verhalten kann sich ändern, während er arbeitet.

Die Doppelrolle

Die Ankündigung hat zwei Seiten. Die überraschende: Microsoft ist eng mit OpenAI und Anthropic verbunden, in beide investiert, OpenAI ist einer der größten Cloud-Kunden, und Microsoft baut selbst Modelle. Wer pauschal Misstrauen gegen Frontier-Modelle predigt, sägt also auch am eigenen Geschäft. Die eigennützige: Microsoft will die Aufsichts-Schicht verkaufen, nicht die Modell-Anbieter. Das Argument dahinter ist trotzdem stichhaltig, wie TechCrunch anmerkt: Die Software, die Agenten überwacht, sollte von ihren Lieferanten unabhängig sein, so wie Wirtschaftsprüfer unabhängig von den geprüften Unternehmen sind.

Branchentrend: Der Agenten-Aufsichtsmarkt

Microsoft ist mit der Idee nicht allein. Das Unternehmen gehört zu den Gründungsmitgliedern von Nvidias Open Agent Safety Platform, der sich nach Unternehmensangaben über 100 Firmen und Organisationen angeschlossen haben. Die Plattform kombiniert die Open-Source-Laufzeit OpenShell mit dem Sentry-Referenzdesign: ein Hardware-Wachhund auf BlueField-4-DPUs, der Agenten beobachtet und im Ernstfall in Millisekunden unter Quarantäne stellen kann, eine Art Notausschalter auf Chip-Ebene. Die Richtung ist klar: Agenten-Sicherheit wird ein eigener Markt, und alle großen Plattformen wollen ihn besetzen.

Was du mitnehmen kannst

• Behandle Agenten im Unternehmen wie neue Mitarbeiter mit weiten Berechtigungen: eigene Identität, minimale Rechte, dokumentierte Aufgabe.
• Die Aufsicht über einen Agenten gehört nicht zum selben Anbieter, der das Modell liefert. Das gilt auch für kleine Setups.
• Riskante Aktionen (Löschen, Zahlen, Senden) brauchen eine menschliche Freigabe-Stufe, unabhängig davon, wie vertrauenswürdig das Modell wirkt.
• Behalte den Agenten-Zoo im Blick: Mitarbeiter bringen längst eigene Coding- und Büro-Agenten mit, wie früher private Apps.