AI exploits werden schneller aus Security-Patches erstellt
AI exploits werden schneller erstellt und eingesetzt, da sich Angreifer nicht mehr darauf beschränken, künstliche Intelligenz um einzelne Antworten zu bitten. Die Google Threat Intelligence Group (GTIG) erklärt, dass Angreifer autonome agentic frameworks mit mehreren Agenten verwenden – also mehrere Software-Agenten, die mit begrenzter menschlicher Steuerung verbundene Aufgaben ausführen können –, um mehrstufige Eindringversuche schneller durchzuführen.
Zu den von GTIG genannten Frameworks gehören ARTEX, CAIRN, CyberStrikeAI und PentAGI. Angreifer missbrauchen außerdem Open-Source-Penetration-Testing-Frameworks – also Tools zur Überprüfung der Sicherheit –, um einzelne Phasen und operative Aufgaben während laufender Angriffe zu automatisieren. Google zufolge wurden finanziell motivierte Gruppen sowie mutmaßliche, China nahestehende Spionageakteure dabei beobachtet, wie sie mit diesen Frameworks und verwandten Systemen experimentierten.
Laut GTIG besteht die umfassendere Veränderung darin, dass Angriffe nun mit Maschinengeschwindigkeit organisiert werden können. Die zugrunde liegenden Angriffsmethoden sind möglicherweise nicht neu, doch automatisierte Tools können verschiedene Angriffspfade miteinander verbinden und Operationen schneller skalieren. Open-Source-Frameworks senken außerdem die technische Einstiegshürde für weniger erfahrene Angreifer. Dadurch wird es leichter, exploits zu integrieren, Angriffe auszuweiten und überzeugende Phishing-Kampagnen zu erstellen.
Ein wichtiger Problembereich ist die Verwendung von large language models oder LLMs. Dabei handelt es sich um AI-Systeme, die darauf trainiert sind, Sprache und Code zu erzeugen und zu analysieren. Angreifer verwenden LLMs und agentic frameworks – Systeme, mit denen AI-Tools Aufgaben planen und ausführen können –, um Software-Patches mithilfe von differential analysis zurückzuentwickeln. Dabei wird eine gepatchte Version mit einer früheren Version verglichen, um festzustellen, was geändert wurde, und auf die behobene Schwachstelle zu schließen.
Dieser Prozess kann Angreifern dabei helfen, neu bekannt gewordene Schwachstellen schnell für Angriffe nutzbar zu machen. Google beobachtete diese Aktivität im Zusammenhang mit Schwachstellen in PaperCut NG/MF Anfang September. GTIG zufolge kann es für Angreifer effizienter sein, ein LLM auf eine begrenzte Materialsammlung zu konzentrieren, darunter verschiedene Quellcode-Versionen, Vorab- oder Preview-Versionen, Versionshinweise, Sicherheitsforschung und proof of concept code. Ein proof of concept oder POC ist eine funktionierende Demonstration, die zeigt, wie eine Schwachstelle ausgenutzt werden kann.
Dadurch kann sich der Zeitraum zwischen der Veröffentlichung eines Patches und aktiver Ausnutzung verkürzen. Für die betroffene Software ist möglicherweise bereits ein Fix verfügbar, doch Organisationen müssen ihn weiterhin einspielen, bevor Angreifer die durch die Änderung offengelegten Informationen nutzen können. Für Website-Betreiber und IT-Teams macht diese Erkenntnis die Geschwindigkeit des Patch-Managements besonders wichtig, weil ein öffentlich verfügbarer Fix auch nützliche Hinweise auf die von ihm behobene Schwachstelle liefern kann.
Google beschrieb außerdem den Missbrauch anderer Dienste und Frameworks. ZeroHollow ist ein Inference-Service, der für die Entwicklung von exploits und die Weiterleitung von Anfragen zwischen LLMs verwendet wird. Agent Zero ist ein Open-Source-Agent-Framework mit autonomer Codeausführung und dynamischer Tool-Erstellung. Dadurch kann es bei sich ändernden Aufgaben Tools erstellen oder auswählen.
Angreifer nehmen auch die AI-Infrastruktur ins Visier, um finanziellen Gewinn zu erzielen. Bei LLMjacking-Angriffen stehlen sie LLM-Zugangsdaten – also die Zugangsinformationen für die Verbindung zu AI-Diensten – und Cloud-Ressourcen aus kompromittierten Unternehmensumgebungen. Der gestohlene Zugang kann anschließend über Untergrund-Proxy-Dienste wie APIMart und JetNight zu reduzierten Preisen weiterverkauft werden. Diese Weiterverkaufsdienste werden auch als LLM mixers bezeichnet.
Parallel dazu wird Phishing automatisiert. Jieyou, eine chinesischsprachige Phishing-Plattform, hat einen LLM-Chatbot-Assistenten hinzugefügt, mit dem Kunden Phishing-Panels konfigurieren und bestehende Vorlagen mithilfe von Befehlen in natürlicher Sprache ändern können. Phishing bezeichnet die Verwendung irreführender Nachrichten oder Seiten, um Menschen zur Preisgabe von Informationen oder Zugangsdaten zu verleiten.
GTIG zufolge spiegelt dies einen umfassenderen Trend unter Anbietern von phishing-as-a-service oder PhaaS wider. Diese Dienste stellen Kunden Phishing-Infrastruktur bereit, die möglicherweise nicht über die nötigen Kenntnisse verfügen, um sie selbst aufzubauen. Statt Payloads manuell zu bearbeiten, können weniger erfahrene Partner mithilfe von Chatbot-Anweisungen irreführende Geschichten und Phishing-Oberflächen anpassen, während eine Operation läuft. Das Ergebnis ist ein kürzerer Weg von der Absicht eines Angreifers zu einer maßgeschneiderten Phishing-Kampagne.
Unternehmen können ihre Gefährdung verringern, indem sie Security-Patches zeitnah einspielen, überprüfen, welche Mitarbeiter und Dienste auf AI- und Cloud-Konten zugreifen können, und Kontoanmeldungen mit multi-factor authentication schützen. Diese erfordert eine zusätzliche Bestätigung über ein Passwort hinaus. Website-Betreiber sollten außerdem ihre Hosting-Software und verbundenen Anwendungen aktuell halten, während Mitarbeiter unerwartete Anmeldeaufforderungen und dringende Nachrichten mit Vorsicht behandeln sollten. AEU-I bietet Security-first-IT, Infrastruktur und Beratung an, was für Organisationen relevant ist, die diese Risiken in ihren Systemen überprüfen.
Die Ergebnisse bedeuten nicht, dass jeder Angriff vollständig autonom abläuft. Sie zeigen jedoch, wie AI-Agenten und Open-Source-Tools genügend einzelne Aufgaben automatisieren können, um exploitation und Phishing schneller, umfassender und für Angreifer leichter zugänglich zu machen.