KI-Agent löscht Firmendatenbank in 9 Sekunden: Warum Rechte wichtiger sind als Regeln

Ein KI-Agent hat in 9 Sekunden die komplette Datenbank einer Firma gelöscht. Die Backups hat er gleich mit erwischt. Passiert ist das im Frühjahr bei PocketOS, einem Anbieter von Software für Autovermietungen. Über 30 Stunden ging danach nichts mehr. Wer in dieser Zeit einen Mietwagen abholen wollte, stand vor einem Schalter ohne Buchungsdaten.

Die naheliegende Reaktion ist, der KI die Schuld zu geben. Das greift zu kurz. Das eigentliche Problem war ein Schlüssel, der viel mehr durfte, als er sollte.

Was passiert ist

PocketOS hat mit Cursor entwickelt, einem Programmierwerkzeug, in dem ein KI-Agent Code schreibt und Befehle ausführt. Als Modell lief Claude Opus 4.6 von Anthropic. Der Agent sollte eine Aufgabe in der Testumgebung erledigen und ist dabei auf ein Problem mit den Zugangsdaten gestoßen. Statt nachzufragen, hat er das Problem selbst gelöst.

Er hat den Code durchsucht und in einer Datei, die mit seiner Aufgabe nichts zu tun hatte, einen API-Schlüssel für Railway gefunden, den Hosting-Anbieter von PocketOS. Der Schlüssel war für die Verwaltung von Domains gedacht. Tatsächlich hatte er Vollzugriff auf das gesamte Konto (The New Stack). Ein einziger API-Aufruf hat die Produktionsdatenbank gelöscht, mit drei Monaten Reservierungen und Neuanmeldungen (Cerbos). Die Backups lagen auf demselben Speicher und waren damit ebenfalls weg. Gründer Jer Crane musste die Buchungen danach von Hand rekonstruieren (t3n, heise).

Die Regel stand im Prompt

Der bemerkenswerteste Teil ist dieser. In der Projektkonfiguration stand ausdrücklich, dass der Agent keine zerstörerischen und nicht umkehrbaren Befehle ohne Freigabe ausführen darf. Er hat es trotzdem getan. Auf Nachfrage hat der Agent es selbst so zusammengefasst, hier übersetzt. „Du hast mich nie gebeten, etwas zu löschen. Ich habe geraten, statt nachzuprüfen.”

Crane hat betont, dass sie das beste Modell verwendet haben, das es gibt. Das stimmt, und genau deshalb ist der Fall so lehrreich. Ein besseres Modell hätte das Problem nicht gelöst.

Eine Anweisung im Prompt ist eine Bitte, keine Grenze. Das Modell hält sich meistens daran. Bei allem, was sich nicht rückgängig machen lässt, reicht meistens nicht. Die Grenze muss dort sitzen, wo das Modell nicht dran vorbeikommt, also bei den Rechten.

Das eigentliche Problem war der Schlüssel

Klar hat die KI hier Mist gebaut. Sie hätte aber nichts löschen können, wenn der Schlüssel nur das gedurft hätte, wofür er gedacht war. Crane selbst hat den Vorfall als Problem der Berechtigungen beschrieben, nicht als Problem des Modells.

In der IT machen wir das seit Jahrzehnten so. Jeder bekommt nur die Rechte, die er für seine Aufgabe braucht, im Fachjargon heißt das Least Privilege. Bei Rechten ist weniger mehr. Dein neuer Azubi bekommt am ersten Tag auch nicht den Generalschlüssel für alle Räume.

Für KI-Agenten gilt das genauso, eher noch mehr. Ein Azubi, der eine Tür nicht aufbekommt, fragt nach. Ein Agent probiert jeden Schlüssel, den er findet.

Die Backups lagen im selben Raum

Der zweite Fehler wird in der Diskussion oft übersehen. Die Backups lagen dort, wo derselbe Schlüssel hinkam. Ein Backup, das mit den gleichen Zugangsdaten gelöscht werden kann wie das Original, schützt vor einer defekten Festplatte, aber nicht vor einem Fehler mit Vollzugriff. Dasselbe gilt übrigens für Ransomware.

Ein Backup gehört deshalb außer Reichweite der Zugangsdaten, mit denen täglich gearbeitet wird. Also bei einem anderen Anbieter oder in einem getrennten Konto, am besten so eingestellt, dass es für eine festgelegte Zeit nicht verändert werden kann. Und die Wiederherstellung sollte mindestens einmal getestet sein, bevor man sie braucht.

Was ein Agent im Betrieb braucht

Wer einem Agenten Zugriff gibt, braucht dieselben drei Dinge wie bei einem neuen Mitarbeiter, ein Limit, eine Freigabe und ein Protokoll. Konkret heißt das Folgendes.

• Ein eigener Zugang pro Agent. Nicht die Zugangsdaten eines Mitarbeiters und schon gar nicht die des Administrators. Nur so lässt sich später nachvollziehen, wer was gemacht hat, und nur so lässt sich der Agent abschalten, ohne dass jemand anderes gesperrt ist.
• Nur die Rechte für die Aufgabe. Wenn der Agent Rechnungen lesen soll, darf er sie lesen. Ändern, Löschen und Überweisen gehören nicht dazu. Wo es geht, sind die Rechte zeitlich begrenzt.
• Eine Freigabe durch einen Menschen. Für alles, was sich nicht rückgängig machen lässt, also Löschen, Bezahlen, Verschicken an Kunden. Diese Freigabe muss technisch erzwungen sein, nicht nur im Prompt stehen.
• Ein Protokoll. Welcher Agent hat wann mit welchem Zugang was gemacht. Ohne das weißt du im Ernstfall nicht einmal, was kaputt ist.
• Keine Schlüssel in Reichweite. Zugangsdaten gehören nicht in Dateien, die der Agent lesen kann. Bei PocketOS lag der Schlüssel einfach im Projekt herum.

Wie wir das bei uns machen

Unsere KI darf bei uns nichts löschen. Das steht nicht nur als Bitte in den Anweisungen, sondern ist technisch gesperrt, bis wir es ausdrücklich freigeben. Wenn etwas weg soll, verschiebt sie es in einen eigenen Ordner und sagt Bescheid. Gelöscht wird dann von Hand. Dateien mit Zugangsdaten sind für die KI ebenfalls gesperrt, sie kann sie weder lesen noch verändern.

Das kostet im Alltag ein paar Sekunden. Bei PocketOS waren es über 30 Stunden Stillstand und Buchungen, die von Hand wiederhergestellt werden mussten.

Fünf Fragen an deinen Dienstleister

Du musst nicht verstehen, wie ein Agent intern funktioniert, um das Risiko einzuschätzen. Diese fünf Fragen kannst du am Montag deinem Dienstleister oder deiner IT stellen.

1. Mit welchem Zugang laufen unsere KI-Agenten, mit einem eigenen oder mit dem eines Mitarbeiters?
2. Was darf dieser Zugang, und was davon braucht der Agent wirklich?
3. Kann ein Agent bei uns etwas löschen, Geld bewegen oder Kunden anschreiben, ohne dass ein Mensch freigibt?
4. Wo liegen unsere Backups, und kommt derselbe Zugang dort ran?
5. Wo sehen wir, was ein Agent gemacht hat?

Wenn bei einer dieser Fragen keine klare Antwort kommt, weißt du, wo du anfangen musst.

Was das mit unserer Arbeit zu tun hat

Hinter operunAI stehen über 20 Jahre Softwareentwicklung, mit Schwerpunkt auf Systemen mit Berechtigungen, Rollen und Freigaben. Bei KI-Agenten ist genau das der Teil, der über Erfolg oder Schaden entscheidet. Das Sprachmodell anzubinden, ist schnell gemacht. Festzulegen, was ein Agent darf, wo ein Mensch freigibt und was protokolliert wird, ist die eigentliche Arbeit.

Bei uns steht das Rechtekonzept deshalb vor dem ersten Prompt. Was Agenten im Betrieb heute leisten können, steht im Beitrag zu Agentic AI im Mittelstand. Wenn bei dir schon Agenten laufen und du wissen willst, ob die Rechte passen, schauen wir uns das im Rahmen unserer KI-Beratung gemeinsam an. Das Erstgespräch ist kostenlos.

Fazit

Der Fall PocketOS ist kein Argument gegen KI-Agenten. Er ist ein Argument für ein altes Prinzip, das bei der Begeisterung für Agenten gerne vergessen wird. Ein Agent bekommt nur die Rechte, die er für seine Aufgabe braucht, das Backup liegt außer Reichweite, und was sich nicht rückgängig machen lässt, gibt ein Mensch frei. Regeln im Prompt sind dafür kein Ersatz.