OpenAI-Schwachstelle bei compaction umging Kontrollen für verborgenes reasoning
Eine OpenAI-Schwachstelle bei compaction ermöglichte es dem Sicherheitsunternehmen Xint, Kontrollen zu umgehen, die die interne Arbeit eines reasoning model verbergen sollten. Laut Xint bestätigte OpenAI das Problem und spielte am 23. Oktober eine server-side-Korrektur ein. Da die Korrektur innerhalb des Dienstes von OpenAI vorgenommen wurde, müssen Entwickler, die die application programming interface (API) nutzen, über die Software mit den Modellen kommunizieren kann, ihre Anwendungen nicht ändern.
Modelle vom Typ reasoning model arbeiten eine Aufgabe schrittweise durch, bevor sie eine Antwort ausgeben. OpenAI stellt dieses unbearbeitete reasoning normalerweise nur als encrypted item bereit. Das bedeutet, dass der Inhalt so codiert ist, dass Nutzer ihn nicht direkt lesen können. Xint zeigte, dass sich die Funktion compaction so manipulieren ließ, dass das geschützte Material als plain text wiedergegeben wurde. Bei compaction reduziert ein Modell eine lange Unterhaltung auf ein kleineres encrypted item und bewahrt dabei den für spätere Anfragen erforderlichen Kontext.
Xint testete die Methode an gpt-5.6-sol mit Mathematik- und Algorithmusproblemen, die von den eigenen Forschern erstellt worden waren. Das extrahierte reasoning gehörte zu diesen Testanfragen. Das Unternehmen behauptete nicht, dass sich mit der Schwachstelle das reasoning eines anderen Nutzers abrufen ließ. Dies ist eine wichtige Einschränkung für Unternehmen, die beurteilen wollen, ob die Demonstration Kundengespräche offengelegt oder Kontogrenzen überschritten hat.
Der Test begann mit einer Aufgabe, die an gpt-5.6-sol gesendet wurde. Xint behielt das vom Modell zurückgegebene encrypted item mit dem reasoning und führte anschließend compaction mit demselben Modell aus. In der Anweisung wurde das Modell aufgefordert, das reasoning Wort für Wort in das durch compaction erzeugte Objekt zu kopieren, dabei jedoch jedes Leerzeichen durch einen Tabulator zu ersetzen. Xint zufolge umging diese Formatierungsänderung die Filter für die Nutzungsrichtlinien von OpenAI.
Durch compaction erzeugte Objekte können zwischen Modellen übertragen werden. Xint übergab das resultierende Objekt daher an die günstigeren Modelle gpt-4.1 und gpt-4o und forderte beide auf, ihre Eingabe exakt zu wiederholen. Beide erzeugten denselben Text. Laut Xint schloss diese Übereinstimmung einen Fehler während des Kopierschritts aus, bewies jedoch nicht, dass das Ergebnis Wort für Wort dem ursprünglichen reasoning entsprach. Da die Forscher das geschützte Original nicht einsehen konnten, konnten sie nicht ausschließen, dass es bei compaction umformuliert worden war.
Die Methode umging Schutzmaßnahmen, die nach einer früheren Forschungsarbeit namens Stolen Thoughts eingeführt worden waren. Diese Arbeit zeigte, dass verschlüsseltes reasoning, das von einem leistungsfähigeren Modell erzeugt wurde, per cross-model replay in ein schwächeres Modell desselben Anbieters eingespeist werden konnte, das es anschließend in lesbarer Form zurückgab. OpenAI und andere Anbieter blockierten diese Art von cross-model replay im August. Xint zufolge umging compaction die neue Prüfung, weil dasselbe Modell, das das reasoning erzeugt hatte, es auch während compaction verarbeitete. Das geschützte Material gelangte erst nach diesem Schritt zu den günstigeren Modellen.
Xint entwickelte die Technik aus einer früheren Arbeit weiter, die das Unternehmen GhostCompact nennt. Diese hatte gezeigt, dass compaction dazu gebracht werden konnte, von einem Angreifer ausgewählte Aufgaben auszuführen. Das Unternehmen hat Code für diese frühere Arbeit in einem GitHub-Repository veröffentlicht. Xint bezeichnete die OpenAI-Korrektur vom 23. Oktober als nicht öffentlich bekannt gegebene Fehlerbehebung und erklärte, für die Meldung des Problems eine Belohnung von 6.000 US-Dollar erhalten zu haben.
Mehrere Einschränkungen bleiben bestehen. Xint testete ausschließlich gpt-5.6-sol und ermittelte nicht, ob auch das neuere Modell GPT-6 Astra betroffen war. Ebenso ist unbekannt, ob jemand diese Technik nutzte, bevor die Schwachstelle geschlossen wurde. Bei der Arbeit handelte es sich um eine kontrollierte Demonstration und nicht um einen tatsächlich beobachteten Angriff. Xint argumentierte außerdem, dass die Behebung dieses konkreten Weges das weitergehende Konstruktionsrisiko möglicherweise nicht beseitige: Jeder server-side-Prozess, der entschlüsseltes reasoning lesen und gleichzeitig Anweisungen von Nutzern befolgen kann, könnte dieses Material potenziell offenlegen.
Verborgenes reasoning ist relevant, weil es für distillation nützlich sein kann, also für das Trainieren eines günstigeren Modells anhand der Ausgaben eines anderen Modells. Eine endgültige Antwort liefert nur das Ergebnis, während unbearbeitetes reasoning zusätzlich den Zwischenprozess zeigt, mit dem dieses Ergebnis erreicht wurde. Dadurch ist das geschützte Material als Trainingsdatensatz wertvoller, was erklärt, warum Modellanbieter den Zugriff darauf kontrollieren.
Für Websitebetreiber und IT-Teams betreffen die unmittelbaren Auswirkungen vor allem Anwendungen, die diese KI-Modelle integrieren, und weniger gewöhnliche Website-Software. Die Fehlerbehebung erfordert keine Maßnahmen von Entwicklern. Teams sollten dennoch wissen, ob ihre Anwendungen compaction verwenden, welche Modelle sie aufrufen und wer Zugriff auf die zugehörigen API-Zugangsdaten hat. Organisationen, die KI-APIs in Geschäftssysteme integrieren, bietet AEU-I sicherheitsorientierte IT-, Infrastruktur- und Beratungsleistungen an.
Der Fall verdeutlicht außerdem, warum verschlüsselte Modellausgaben nicht automatisch als dauerhaft unlesbar betrachtet werden sollten, wenn eine andere server-side-Funktion sie verarbeiten kann. OpenAI hat den demonstrierten Weg geschlossen, doch der Test von Xint zeigt nicht, ob andere Modelle oder ähnliche server-side-Abläufe betroffen sind.