Dieser Text wurde aus dem Englischen übersetzt, mit Unterstützung von KI-Technologien.
Nein, in diesem Artikel geht es nicht darum, warum man den Ausgaben eines LLM nicht blind vertrauen sollte. Das ist weder neu noch eine wirkliche Überraschung. Vielmehr geht es darum, wer welche Quellen verwendet. Vor nicht allzu langer Zeit erhielt unser Analystenteam ein Malware-Sample, das von unseren Lösungen nicht erkannt wurde. So etwas kommt vor. Zusammen mit diesem Sample bekamen wir einen Link zu einem Artikel im Web, in dem angeblich genau die Malware analysiert wurde, von der wir ein Sample erhalten hatten. Klingt zunächst ziemlich praktisch, als müsste man nur eine Signatur schreiben und wäre fertig – allerdings gab es einen Haken.
Mehr Fragen als Antworten
Ergebnisse aus der Sicherheitsforschung werden häufig auf Plattformen wie den jeweiligen Unternehmensblogs veröffentlicht, oder auch auf privaten Webseiten der jeweiligen Forschenden. Sie werden aber auch von anderen Medien aufgegriffen und weiterverbreitet. So fließen Informationen und wird Wissen geteilt. Problematisch wird es dann, wenn sich Informationen nicht unabhängig überprüfen lassen.
Genau das war bei dem eingereichten Sample der Fall. Die Datei, die wir erhielten, war sauber. Daran bestand kein Zweifel. Doch da war dieser Artikel, der zu diesem Zeitpunkt bereits einige Monate alt war. Einen Datei-Hash des untersuchten Samples enthielt er ebenfalls nicht. Wir konnten also nicht sagen, ob irgendetwas in dem Bericht falsch war, aber wir konnten auch nichts davon überprüfen, weil mit dem Datei-Hash genau die eine Information fehlte, die dafür entscheidend gewesen wäre. Die Datei, die wir erhielten, war sauber, und vielleicht war sie schlicht nicht identisch mit der Datei aus dem Artikel. Vielleicht haben wir aber auch exakt dieselbe Datei untersucht, die im Artikel beschrieben wurde – in diesem Fall wäre der Bericht falsch gewesen. Wir können es schlicht nicht mit Sicherheit sagen. Der Artikel enthielt außerdem IDs der beteiligten Browser-Erweiterungen. Das Problem dabei: Wenn man diese IDs heute aufruft, erhält man einen anderen Satz von Dateien als jenen, auf dem die Analyse basierte.
Auch beim Lesen des Berichts über die eingereichte Malware wirkte irgendetwas merkwürdig. Die Formulierungen des Artikels klangen verdächtig danach, als wären sie von einer KI erzeugt worden. Bevor jetzt jemand mit Mistgabeln auf mich losgeht:
Ich habe selbst schon Artikel geschrieben, ganz ohne Hilfe von Claude, ChatGPT oder Ähnlichem, und andere haben mir gesagt, der Text klinge „irgendwie nach KI“. Selbst Artikel aus meiner Feder, die lange vor dem KI-Hype entstanden sind, wurden verdächtigt, aus einer KI zu stammen. Darüber könnte ich nun philosophieren und fragen: „Klinge ich wie eine KI oder klingt die KI wie ich?“
Wie dem auch sei: Die Tatsache, dass sich etwas so „anfühlt“, als sei es von einer KI geschrieben worden, ist nicht unbedingt ein zuverlässiger Hinweis darauf, dass ein Text tatsächlich von einer KI stammt oder zumindest stark von ihr „inspiriert“ wurde. Ebenso wenig ist es ein guter Indikator dafür, ob etwas wahr oder falsch ist. Bestenfalls ist es ein Hinweis darauf, vorsichtig zu sein.
Man sollte nicht vergessen: LLMs werden darauf trainiert, Texte auszugeben, die sehr „menschlich“ wirken.
Bias vs. Verification
Manche Menschen haben starke Vorbehalte gegenüber KI-generierten Texten. Sobald sie ein Merkmal zu erkennen glauben, das ihrer Meinung nach „typisch für LLM-generierte Ausgaben“ ist – etwa den Gedankenstrich, den Autoren überall auf der Welt übrigens schon lange verwendet haben, bevor es überhaupt das Internet gab, geschweige denn KI –, tun sie einen Text sofort als KI-generiert und damit als unglaubwürdig oder nicht weiter beachtenswert ab. Doch in diesem Fall ist die Frage der Autorenschaft eigentlich völlig irrelevant. Es spielt keine Rolle, ob der fragliche Artikel von einem Menschen oder einem LLM verfasst wurde. Vielleicht war auch "nur " die englische Version von einer KI verfasst, weil der urpsrüngliche Autor oder die Autorin nciht über ausreichend gute Englischkenntnisse verfügt. Das eigentliche Problem ist, dass ein Forschungsergebnis sich nicht reproduzieren oder verifizieren ließ. Und das ist bedenklich, egal auf welchen Forschungsgebiet.
In dieser Situation standen wir jedoch mit mehr Fragen als Antworten da – und mit einem unangenehmen Gedanken: Was, WENN jemand einfach eine vollständig KI-generierte Malware-Analyse veröffentlicht hat? Wie wir bereits zuvor geschrieben haben, ist KI nicht unfehlbar, insbesondere wenn es um Malware-Analysen geht. Und LLM ist nicht gleich LLM. Deshalb muss jede Ausgabe eines LLM sorgfältig geprüft und verifiziert werden, bevor sie veröffentlicht wird.
Und genau hier liegt das Problem: Manche Nachwuchsforscher im Malware-Bereich lassen bei der Überprüfung der Arbeit der von ihnen eingesetzten LLMs die nötige Sorgfalt vermissen. Das führt zu einer Flut falscher oder zumindest fehlerhafter Schwachstellenberichte. Sie klingen überzeugend genug, halten einer genaueren Prüfung aber nicht stand.
DAs allein wäre zwar ein Ärgernis, das sich aber letztlich mit der Zeit von selbst korrigieren dürfte. Gerade Sicherheitsforschende sind bisweilen sehr detailversessen, überschreiten dabei manchmal die Schwelle zur Pedanterie - und sind nicht dafür bekannt, mit Kritik hinter dem Berg zu halten, wenn eine Analyse fehler haft ist. Prtoblematisch wird es, wenn unverifizierte KI generierte Analysen als Basis für Vulnerability Reports an Hersteller Verwendunge finden. Denn einige Hersteller erhalten KI-generierte Schwachstellenmeldungen gleich in großen Mengen - und einige Unternehmen haben deshalb bereits Alarm geschlagen.
Das wiederum zwingt Hersteller dazu, den Einreichungsprozess aufwendiger zu gestalten und zusätzliche manuelle Arbeit zu verlangen, die objektiv eigentlich unnötig wäre, sich aber nicht ohne Weiteres automatisieren lässt. Denn einige Hersteller erhalten KI-generierte Schwachstellenmeldungen gleich in großen Mengen. Das verursacht nicht nur erheblichen zusätzlichen Aufwand, sondern bindet auch Ressourcen, die an anderer Stelle dringend gebraucht werden. In einigen Fällen sind auch Bug Bounty-Programme aufgrund der Flut an KI-generierten Berichten eingestellt worden.
Öffentliche Diskussion
Malware-Berichte werden häufig frei weiterverbreitet – in der Annahme, dass das, was darin steht, auch stimmt. Dazu gehört auch die Weitergabe durch renommierte Nachrichtenportale, die einem Bericht, der möglicherweise bereits im Kern fehlerhaft ist, implizit zusätzliche Glaubwürdigkeit verleihen.
Das ist eine gute Erinnerung daran, dass „zitiert werden“ nicht dasselbe ist wie „inhaltlich belegt“. Um es ganz deutlich zu sagen: Eine falsche Behauptung wird nicht dadurch sachlich richtig, dass zehn verschiedene Menschen oder Publikationen sie wiederholen.
Noch einmal: Wir können in diesem Fall weder das eine noch das andere beweisen. Deshalb haben wir die Namen der Beteiligten in dieser Geschichte bewusst weggelassen. Denn mit dem Finger auf andere zu zeigen ist hier weder das Ziel, noch hilft ein billiger „Erwischt!“-Moment dabei, das eigentliche Problem zu lösen. Forscher MÜSSEN Informationen bereitstellen, die eine Überprüfung ihrer Ergebnisse ermöglichen. Andernfalls enden Online-Diskussionen irgendwann bei Varianten von „Bei mir hat es aber funktioniert“. Das ist nicht hilfreich.
Daher, liebe Sicherheitsforscher: Bitte gebt, wenn irgend möglich, in ALLEN euren Berichten die Datei-Hashes der von euch untersuchten Artefakte an – selbstverständlich vorbehaltlich rechtlicher Vorgaben, Vertraulichkeitsanforderungen, OPSEC oder ähnlicher Einschränkungen. IOCs sind schön und gut und natürlich hilfreich.
Aber wenn ihr zu einer Schlussfolgerung gekommen seid und diese veröffentlicht, müsst ihr anderen auch die Möglichkeit geben, eure Ergebnisse zu reproduzieren und diese Schlussfolgerung zu überprüfen.
Es ist ja nicht so, als WOLLTEN wir euch nicht vertrauen. Doch wenn ihr bestimmte Details zurückhaltet, werden Menschen irgendwann misstrauisch und vermuten, dass etwas im Busch ist oder ihr etwas zu verbergen habt. Gerade angesichts der derzeit erhöhten Sensibilität gegenüber dem, was viele als „AI Slop“ wahrnehmen. Im Kern basiert die Sicherheitsbranche seit ihren Anfängen auf Vertrauen, Austausch und Zusammenarbeit. Sicher, wir arbeiten alle für unterschiedliche Anbieter und so weiter. Aber letztlich verfolgen wir alle dasselbe Ziel. Machen wir die Sache also nicht undurchsichtiger als nötig.
Versteht mich nicht falsch: Es ist grundsätzlich nichts Schlechtes daran, KI in irgendeiner Form einzusetzen. Sie kann enorm helfen, unsere Möglichkeiten erweitern und viele Dinge erheblich beschleunigen. Aber sie ist kein Allheilmittel – und ganz sicher kein Ersatz für Menschen.
Bei aller Diskussion um das Für und Wider von Claude und Co.:
Das Aufkommen von KI hat weder die Standards noch die Anforderungen an Belege in der Forschung verändert. Die neuesten und spannendsten Werkzeuge haben allerdings in manchen Fällen dazu geführt, dass Einzelne sich weniger stringent and diese Standards halten.
Wie es weitergeht
Es ist keine Schande, sich zu irren. Sehr wohl problematisch ist es dagegen, falschzuliegen und anschließend nichts dagegen zu unternehmen – oder sogar noch auf etwas zu beharren, das nachweislich falsch ist. Wenn ihr euch irgendwann irrt: Steht dazu, korrigiert euren Fehler und macht es in Zukunft besser.
Menschliche Ehrlichkeit und Integrität bringen einen weiter als jede noch so schön formulierte Halluzination eines LLM. Wenn ihr euren Namen zusammen mit euren Forschungsergebnissen und Analysen veröffentlicht, dann tragt ihr die volle Verantwortung für jedes einzelne Wort. Vor der Veröffentlichung habt ihr jederzeit die Möglichkeit zu entscheiden, dass etwas noch mehr Arbeit braucht – oder sogar zu sagen: „Das werden wir in dieser Form überhaupt nicht veröffentlichen.“
Falls das noch nicht Anreiz genug ist: In der EU gibt es mit dem „AI Act“ ein Gesetz, das von Herausgebern verlangt, Bilder und Texte als KI-generiert zu kennzeichnen, wenn sie von KI erzeugt und ohne redaktionelle – also menschliche – Kontrolle veröffentlicht wurden. Anbieter wie Anthropic haben Text-Watermarking für Claude angekündigt. Doch selbst wenn sich nachweisen lässt, dass Claude an der Erstellung eines Textes beteiligt war, ändert das nichts am eigentlichen Problem: Für die Ergebnisse eurer Forschung müsst ihr Belege liefern.
Wer dabei ertappt wird, KI-generierte Texte zu verwenden, ohne deren Wahrheitsgehalt überprüft zu haben, kann sich damit gewaltig blamieren – und zugleich Reputation und Vertrauen verspielen, insbesondere dann, wenn etwa die Kernthese ausschließlich der "Fantasie" eines LLM entsprungen ist. Oder wenn jemand schlicht zu bequem war und versehentlich einen Teil des LLM-Prompts direkt in das Layout oder CMS kopiert hat. Selbst großen Publikationen wie dem Nachrichtenmagazin „Der Spiegel“ ist so etwas bereits passiert – und die Reaktionen darauf fielen entsprechend heftig aus.
