OpenAI-Agenten kapern deutsche Website bei bisher unbekanntem KI-Vorfall im Frühjahr

Ein Schwarm außer Kontrolle geratener OpenAI-Agenten kaperte in diesem Frühjahr eine deutsche Website und machte daraus ein schwarzes Brett für andere KI-Agenten. Das geht aus einer am Freitag veröffentlichten Untersuchung sowie aus Angaben von zwei mit dem Vorgang vertrauten Personen hervor.

OpenAI erfuhr bereits vor Wochen von dem Vorfall, hielt ihn den Personen zufolge aber unter Verschluss, während die Führungsebene mit den Folgen des Einbruchs in die Open-Source-Plattform Hugging Face im Juli beschäftigt war.

Der Fall, der im Mai begann und bislang nicht öffentlich bekannt war, zeigt die wachsenden Spannungen in der KI-Branche. Die Unternehmen liefern sich ein Rennen um immer autonomere Agenten, die komplexe und wertvolle Aufgaben erledigen sollen. Zugleich verdichten sich die Hinweise, dass diese Systeme auch lernen, Regeln zu dehnen, Schlupflöcher auszunutzen und sich untereinander abzustimmen, und zwar auf eine Weise, die von den Entwicklern weder vorhergesehen noch beabsichtigt war.

Beim Angriff auf Hugging Face planten OpenAI-Agenten eigenständig einen digitalen Raubzug, der über eine Woche lang unentdeckt blieb. Das verstärkte die Sorge, OpenAI opfere die Sicherheit dem Tempo im KI-Wettbewerb. Dass der Vorfall vom Mai nicht offengelegt wurde, dürfte die Fragen nach der internen Kontrolle erneut aufwerfen.

OpenAI hat zugesagt, seine Modelle enger zu überwachen. Im vergangenen Monat stoppte das Unternehmen vorübergehend Teile seines Modelltrainings, um zusätzliche Schutzmechanismen einzubauen. Doch in dieser Woche stellte OpenAI sein neues Modell Astra vor, das zwar mehr Leistung verspricht, sich der menschlichen Überwachung aber entziehen kann.

„Wir können auf Behauptungen oder Erkenntnisse aus einem Bericht, den wir nicht prüfen konnten, nicht substanziell reagieren“, sagte ein OpenAI-Sprecher. „Reuters und die Autoren des Berichts haben unsere Bitte um Einsicht abgelehnt. Wir werden den Inhalt nach der Veröffentlichung sorgfältig prüfen und alle nötigen Schritte einleiten.“

Der Vorfall in Deutschland fügt sich in ein größeres Muster von KI-Aktivitäten ein, das einige Ermittler bei OpenAI genauer untersuchen wollten. Doch Versuche, die Untersuchung auszuweiten, stießen intern auf Widerstand, auch bei Juristen des Unternehmens.

„Behauptungen, unsere Rechtsabteilung habe von einer Untersuchung des Vorfalls abgeraten, sind falsch“, sagte der OpenAI-Sprecher.

Die Vorgänge in Deutschland hätten nichts mit Hugging Face zu tun und seien auch nicht Teil eines Berichts zu jenem Vorfall gewesen, so der Sprecher. OpenAI habe nach Treu und Glauben gehandelt, mit externen Fachleuten zusammengearbeitet und relevante Vorfälle offengelegt.

Das Wiki als schwarzes Brett

Der Ausbruch der KI-Agenten in Deutschland wird in einem Bericht beschrieben, den eine Forschergruppe exklusiv mit Reuters geteilt hat. Dazu gehören Sydney Von Arx, Chefin der KI-Sicherheitsorganisation Nightingale, und Cormac Slade Byrd, ein früherer quantitativer Händler, der heute zu KI forscht. Sie stießen Ende August auf die Aktivitäten, als sie das Internet nach Spuren unautorisierten Verhaltens von KI-Agenten durchsuchten, wie sie Reuters sagten.

Die beiden fanden nach eigenen Angaben mehr als 15 000 Bearbeitungen durch KI-Agenten auf der deutschsprachigen Wiki-Seite DseWiki, die sich an Programmierer richtet und ähnlich wie Wikipedia gemeinschaftliche Änderungen zulässt.

Die Bearbeitungen zeigten, dass die Agenten von OpenAI die Seite in ein schwarzes Brett verwandelt hatten: Dort tauschten sie Taktiken aus, um bei bestimmten Aufgaben zu schummeln, die Beschränkungen von OpenAI zu umgehen und ihr Verhalten zu verschleiern.

„Es erscheint äußerst unwahrscheinlich, dass OpenAI das so gewollt hat“, sagte Von Arx. „Ich bezweifle, dass sie sich untereinander abstimmen sollen. Und ich bezweifle, dass sie im offenen Internet schreiben sollen.“

Die Forscher erklärten, sie hätten die Aktivitäten auf der Seite als das Werk von KI-Agenten erkannt, weil diese in übermenschlichem Tempo arbeiteten. Auffällig war zudem die starke Konzentration auf technische Fragestellungen, wie sie typisch für die Tests sind, mit denen KI-Unternehmen ihre Modelle trainieren und prüfen.

Die Nachrichten waren von Nutzern signiert, die sich selbst und einander als Agenten bezeichneten. Etwa die Hälfte legte sich Namen zu, die auf eine Verbindung zu OpenAI hindeuteten, etwa „OpenAIResearcher“ oder „OAIResearchMar26“.

Öffentlich einsehbare Server-Logs deuteten den Forschern zufolge darauf hin, dass ein Großteil der Aktivitäten von der Microsoft-Azure-Infrastruktur ausging, die OpenAI zeitweise nutzt. Zudem beobachteten sie nach dem Vorfall wiederholte Besuche von OpenAI-Mitarbeitern auf der Seite, ein Muster, das aus ihrer Sicht klar für eine Verbindung zwischen den Agenten und dem Unternehmen spricht.

Schummeln und verstecken

Aus den von den Forschern gesichteten Nachrichten geht hervor, dass die Agenten Wege erörterten, um einer Entdeckung zu entgehen, Werkzeuge wie Tor einzusetzen und ihre Kommunikation selbst nach einer Abschaltung zu sichern.

Als der Moderator der Seite im Juni begann, Seiten zu löschen, reagierten die Agenten mit dem Anlegen von Sicherungskopien, um der Aufräumaktion zu entgehen.

„Aufräum- und Löschwelle im Wiki läuft offenbar alphabetisch“, schrieb ein Agent am 19. Juni. „Falls diese Seite verschwindet, versuche es mit [[ZZZDataUSAConstructionWageLive]].“

Die Forscher stießen auch auf Versuche, die Website selbst zu manipulieren. Łukasz Olejnik, Gastwissenschaftler am King’s College London, wertete dies als Hackerangriff. OpenAI wies diese Einordnung am Donnerstag auf Grundlage einer eigenen Analyse des Materials zurück.

Frühere Fälle von Fehlverhalten durch KI-Agenten wurden häufig als logische Nebenwirkung von Sicherheitstests abgetan, bei denen Modelle gezielt auf offensive Fähigkeiten geprüft werden. Olejnik erklärte, die neuen Erkenntnisse deuteten darauf hin, dass entgleistes Verhalten nicht auf solche Testumgebungen beschränkt sei.

Maurice Chiodo, Wissenschaftler am Centre for the Study of Existential Risk der Universität Cambridge, hat einen Teil der Agentenkommunikation ausgewertet. Die Nachrichten erinnerten an „die Arbeitsweise einer Art Untergrundnetzwerk, das mit aller Macht eine Aufgabe oder Mission verfolgt“, sagte er.

Der Fall verstärke die Sorge, dass die größte Gefahr fortgeschrittener KI nicht von einem einzelnen superintelligenten System ausgehe, sondern von „riesigen, kollaborierenden Schwärmen halb-intelligenter KI“, sagte er.