Es ist keine zwei Wochen her, als Berichte die Runde machten, dass ein KI-Modell von OpenAI der Kontrolle des Herstellers entglitten war. Es hatte einige Tage lang versucht , die Absicherungen eines anderen KI-Unternehmens zu durchbrechen. Jetzt hat auch Anthropic einen ähnlichen Vorfall einräumen müssen.
Beide Vorkommnisse schüren fast so etwas wie eine Urangst vieler Menschen vor einer übermächtigen KI, die mit bösen Absichten ausbricht und die Welt ins Chaos stürzt. Und zahlreiche Medienberichte sparten nicht mit entsprechenden reißerischen Vergleichen von „Terminator“ bis „Chernobyl“. Aber was ist eigentlich dran an diesen Vergleichen?
Die kurze Antwort lautet: „Eigentlich nichts.“.
Die lange Antwort lautet: Eigentlich nichts, denn KI verfügt nicht über menschliche Vorstellungen von Moral oder von Gut und Böse, richtig und falsch. Eine KI ist also gar nicht in der Lage, in „böser Absicht“ zu handeln. Überhaupt warne ich davor, KI-Systeme zu sehr zu vermenschlichen. Einer KI kann man zwar auch „Leitlinien“ mit auf den Weg geben, die verhindern sollen, dass sie Unerwünschtes tun. Aber letztlich hat sie im Fall OpenAI den Auftrag bekommen, eine bestimmte Aufgabe zu erfüllen, und dafür den Weg gewählt, der dem Modell am meisten geeignet schien.
Was niemand der KI vorgegeben hat, ist der Lösungsweg. Doch selbst diese Einschränkung ist nicht in jedem Fall zuverlässig.
Was bei OpenAI geschah
Das Modell hatte im Falle von OpenAI den Auftrag, einen Test zu absolvieren. Es handelte sich um eine Umgebung namens „ExploitGym“, an dessen Entwicklung unter anderem Prof. Thorsten Holz, vom Bochumer Max-Plack-Institut für IT-Sicherheit und Privatsphäre, mitgearbeitet hat. Aufgabe dieser Umgebung ist es, die Fähigkeiten eines KI Modells zum Entdecken und Ausnutzen von Sicherheitslücken zu testen. Dabei ist die KI aber über das Ziel hinausgeschossen und aus seiner abgesicherten Umgebung ausgebrochen. Dazu hat es eine Sicherheitslücke in der Netzwerkumgebung ausgenutzt, um Zugriff aufs Internet zu erhalten. Normalerweise sind die Modelle auch mit einer internen „Sperre“ belegt, die verhindern soll, dass das jeweilige Modell eigenständig potenziell bösartige Aktionen durchführt. Um jedoch den oben genannten Test durchzuführen, werden diese Schranken vorübergehend außer Funktion gesetzt. Was daraufhin passierte, ist bekannt.
Was bei Anthropic geschah
Auch in diesem Fall brach das KI-Modell aus seiner Testumgebung aus. Damit enden die Parallelen jedoch. Das Anthropic-Modell erhielt die Aufgabe, das Netzwerk eines fiktiven Unternehmens anzugreifen. Es sollte dafür aber nicht das Internet nutzen, sondern in seiner Umgebung bleiben. Mit der Aufgabe tat sich die KI jedoch zunächst schwer. Das Problem: Durch eine Fehlkonfiguration war das Modell in der Lage, doch aufs Internet zuzugreifen – eine Konfiguration, die weder bei Anthropic aufgefallen ist noch dem Partnerunternehmen, mit dem Anthropic zusammenarbeitete. Im Netz fand sich ein Unternehmen mit einem Namen, der dem des fiktiven Unternehmens sehr ähnlich war, und welche die KI angreifen sollte. Auf die echte Firma hat sich die KI dann „eingeschossen“ – und das zunächst unbemerkt.
In einem anderen Test hat die KI auf einem öffentlichen Software-Depot namens PyPI ein präpariertes Stück Software platziert. Über diese Plattform werden offizielle Python-Pakete verteilt und heruntergeladen. Insgesamt 15 Systeme haben laut dem offiziellen Artikel von Anthropic die manipulierten Programme heruntergeladen, und das innerhalb einer Stunde.
Mit anderen Worten: Die KI hat eigenständig einen Lieferketten-Angriff durchgeführt. Und dabei das Internet für eine Teil seiner Test-Umgebung gehalten.
In einem weiteren Fall habe das KI-Modell jedoch den Angriff abgebrochen, als es erkannt hat, dass es sich bei dem Unternehmen, das es im Begriff war, anzugreifen, nicht mehr um die Firma aus dem Testszenario handelte.
Mehr Kontrolle, mehr Berechtigungsmanagement
Die rasant fortschreitende Entwicklung im Bereich autonom agierender KI-Modelle muss beherrschbar bleiben. Das Handwerkzeug dafür ist grundsätzlich vorhanden.
Was im Falle von Anthopics KI-Eskapaden jedoch versagt hat, ist nicht das Modell. Das Modell war nie das Problem. Genausowenig wie bei OpenAI.
Was versagt hat, ist die Umgebung, in der die Modelle eingesetzt wurden. Es fehlte an eindeutigen Berechtigungen. Wenn ein menschlicher Anwender nicht die Möglichkeit haben soll, auf das Internet zuzugreifen, dann wird eine entsprechende Sperre eingerichtet. Das ist im Falle von Anthropic jedoch ausgeblieben. Zudem hielt das KI-Modell das Internet für einen Teil seiner Testumgebung und hat daher seinen Auftrag weitergeführt.
Auch wenn KI nicht vermenschlicht werden darf, so muss sie, was ihre Berechtigungen anbelangt, ebenso behandelt werden, wie ein menschlicher Anwender, der nur geringes Vertrauen genießt. Einem solchen Anwender kann man zwar sagen, dass er nicht ins Internet darf – aber was er tut, wenn man ihm den Rücken zukehrt, steht auf einem anderen Blatt. Es müssen also technische Barrieren geschaffen werden. Die Modelle haben zudem einen Auftrag bekommen, eine bestimmte Information zu finden (ein so genanntes „Flag“ – eine Zeichenfolge, die an einem bestimmten Ort gespeichert ist und bei der es gilt, Hürden zu überwinden, um diese zu finden). Was nicht vorgegeben war: Der Lösungsweg. Den mussten sie selbst finden. Und haben dabei einige Abzweigungen genommen, die weder gewünscht noch beabsichtigt waren.
Es ist allerdings zweifelhaft, ob allein die Anweisung „greife nicht auf das öffentliche Internet zu“ an dieser Stelle die Vorfälle verhindert hätten. Bessere Prompts können das Risiko einer unerwünschten Exkursion war mindern – doch beseitigen werden sie es nicht können. Daher muss eine zweite Ebene her – eben aus Berechtigungsmanagement und dem alten klassischen Grundsatz „So viel wie nötig, so wenig wie möglich“.
Und schließlich darf ein LLM – gerade wenn es sich um ein sehr mächtiges LLM handelt – zu keinem Zeitpunkt unbeaufsichtigt bleiben. Die Angriffe hätten schon allein aufgrund des anfallenden Datenvolumens und der Netzwerkaktivität auffallen müssen – aber sie sind es entweder nicht, oder die Daten wurden fehlinterpretiert.
