Vectra warnt vor KI-generiertem Spear-Phishing
Angriffswaffe KI
Vectra, Anbieter KI-gestützter Security-Lösungen, berichtet von Fortschritten bei der KI-gestützten Erstellung von Sprach- und Textnachrichten, die sich zum Beispiel für automatisiertes, KI-generiertes Spear-Phishing in großem Stil heranziehen lassen. Denn neben den Anbietern von Sicherheitslösungen mache sich auch die Angreiferseite KI zunutze. Das Hase-und-Igel-Rennen zwischen Angriff und Abwehr geht somit in die nächste Runde.
Seit einigen Jahren setzen immer mehr Security-Anbieter auf künstliche Intelligenz (KI), vorrangig in der Form statistischer Analyse von Cluster-Bildung und Ausreißern (Machine Learning, ML), teils auch mittels neuronaler Netze (Deep Learning, DL). Damit versprechen die Anbieter die Erkennung stets auftretender Angriffsmuster wie Seitwärtsbewegungen der Angreifer im Netzwerk (Lateral Movement), Privilegeskalation oder auch ungewöhnliches Exfiltieren von Daten (LANline berichtete).
Doch längst warnen Security-Forscher, dieser Vorsprung sei bestenfalls temporär: Auch Cyberkriminelle würden in naher Zukunft KI für ihre Zwecke heranziehen. Dies ist laut Beobachtungen von Vectra und anderen Security-Experten bereits der Fall. Und „die Bösen“ profitieren ebenfalls von den Fortschritten, die die KI-Forschung macht.
„Ein Bereich, in dem in letzter Zeit einige überraschende Fortschritte erzielt wurden, ist die Generierung natürlicher Sprache“, so Christopher Thissen, Datenwissenschaftler bei Vectra. Insbesondere habe OpenAI einen Generator für natürliche Sprache geschaffen, der in der Lage sei, kohärente Antworten in Absatzlänge auf eine beliebige Eingabeaufforderung zu erzeugen. „Die Ergebnisse sind ziemlich überzeugend, und es liegt auf der Hand, dass die Verwendung dieses Modells zur billigen Herstellung von haufenweise KI-generierten gefälschten Nachrichten führt“, so Thissen.
Spear-Phishing-Kampagnen seien ein weiterer naheliegender Anwendungsfall: Mittels relevanter und vor allem realistisch aussehender Mitteilungen könne Spear Phishing die Zielpersonen dazu verführen, auf gefährliche Links zu klicken oder Zugangsdaten auf betrügerischen Domains einzugeben. Hochentwickelte Spear-Phishing-Kampagnen nutzen laut Vectra Hintergrundrecherchen über das Ziel (Interessen, Zugehörigkeiten usw.), um Anschreiben zu konstruieren, die ein Mensch schwerlich oder gar nicht als betrügerisch identifizieren könne.
Die Ergebnis sind laut Thissen zwar selten perfekt, und Modelle müssen oft ein Dutzend Mal laufen, um überzeugende Ergebnisse zu erzielen. Doch die Erstellung eines glaubwürdigen Textes erfordere fast keinen Aufwand.
Der logische nächste Schritt sind Angriffe, die automatisch Schlüsselwörter aus einem Social-Media-Profil extrahieren, einen vernünftigen Text generieren, der einen Benutzer dazu auffordert, auf einen gefährlichen Link zu klicken, und den Text zu einem Zeitpunkt und an einem Ort zu veröffentlichen, an dem das Ziel am ehesten auf ihn reagieren wird.
Tatsächlich demonstrierten Forscher von ZeroFox schon bei der Black-Hat-Konferenz 2016 solch eine Pipeline für Twitter: Die Forscher bauten eine KI auf, die Profile aus der Twitter-Firehose (dem Stream sämtlicher gesendeten Tweets) auswählt und Themen aus der Profilhistorie verwendet, um darauf einen LSTM-Textgenerator (Long Short-Term Memory, ein Verfahren zum Trainieren von KI) anzusetzen. Der LSTM-Generator erzeugt dann einen Tweet mit einem gefährlichen Link, der an den Benutzer gesendet wird, wenn er am wahrscheinlichsten reagieren wird. Die Autoren berichten von Erfolgsquoten von 30 bis 60 Prozent – vergleichbar mit handgefertigten Kampagnen, aber in der Erstellung fast ohne Aufwand.
Social Media wie etwa Twitter ist für Angreifer ein willkommenes Einfallstor, weil Nutzer in Tweets keine korrekte Grammatik erwarten. Dies aber ist zum Beispiel beim E-Mail-Empfang einer der ersten und auffälligsten Anhaltspunkte, um betrügerische Nachrichten wie etwa Spam zu erkennen. Mit den Spracherzeugungsmodellen von OpenAI verschwindet dieser Hinweis laut Vectra-Mann Thissen. Dies erschwere es erheblich, betrügerische E-Mails, Nachrichtenartikel und Social-Media-Posts zu unterscheiden.
„Wenn Menschen nicht zwischen dem Modell von OpenAI und von Menschen generiertem Text unterscheiden können, benötigen wir möglicherweise KI, die uns hilft, betrügerische Nachrichten zu identifizieren“, so Thissen. „Wie Boxer könnten solche Modelle kontradiktorisch trainiert werden, wobei die textgenerierende KI versucht, eine zweite KI zu überlisten, die darauf trainiert ist, gefälschten Text zu erkennen.“
Dieses Trainingsprogramm lasse sich einsetzen, um die Fähigkeit der Abwehr-KI zu verbessern, gefälschten Text zu erkennen. „Solche generativen kontradiktorischen Netzwerke wurden bereits verwendet, um realistische Bilder von gut ausgebildeten Diskriminatoren zu erzeugen. Hier würde der kontradiktorische Ansatz in umgekehrter Richtung verwendet, um eine KI zu trainieren, den gefälschten Text besser zu erkennen“, erläutert der Datenwissenschaftler.
OpenAI veröffentlichte im Juni 2020 ein Papier, das eine neue Version des Modells (GPT-3) beschreibt. Das neue Modell umfasst 175 Millionen Parameter und ist derzeit nur über eine private Beta-API verfügbar. Die Beispiele dafür, wozu diese neue Version des Modells in der Lage ist, sind laut Vectra beeindruckend und beinhalten die Fähigkeit, funktionierende (wenn auch einfache) Web-Anwendungen aus Beschreibungen in natürlicher Sprache zu erstellen.
„Eine ältere Version des Modells ist als Website verfügbar, auf der jeder Nutzer Eingabeaufforderungen für das Modell eingeben kann. Es lohnt sich, es auszuprobieren, um zu sehen, zu was diese künstlichen Intelligenzen mittlerweile in der Lage sind“, sagt Thissen.
Weitere Informationen finden sich unter https://vectra.ai, die Forschungsergebnisse von OpenAI unter https://openai.com.
Lesen Sie mehr zum Thema
