Una falla di compaction di OpenAI ha aggirato i controlli sul reasoning nascosto
Una falla di compaction di OpenAI ha permesso alla società di sicurezza Xint di aggirare i controlli concepiti per mantenere nascosto il lavoro interno di un reasoning model. Secondo Xint, OpenAI ha confermato il problema e applicato una correzione server-side il 23 ottobre. Poiché la correzione è stata apportata all'interno del servizio di OpenAI, gli sviluppatori che utilizzano l'application programming interface (API), che consente al software di comunicare con i modelli, non devono modificare le proprie applicazioni.
I reasoning model elaborano un'attività prima di produrre una risposta. Normalmente OpenAI fornisce quel reasoning grezzo solo sotto forma di encrypted item, ossia con contenuti codificati in modo che l'utente non possa leggerli direttamente. Xint ha dimostrato che la funzione di compaction poteva essere manipolata per riprodurre il materiale protetto come plain text. La compaction utilizza un modello per ridurre una lunga conversazione a un encrypted item più piccolo, preservando al contempo il contesto necessario per le richieste successive.
Xint ha testato il metodo su gpt-5.6-sol utilizzando problemi matematici e algoritmici creati dai propri ricercatori. Il reasoning estratto apparteneva a quelle richieste di test. La società non ha affermato che la falla potesse recuperare il reasoning di un altro utente, un limite importante per le aziende che devono valutare se la dimostrazione abbia esposto conversazioni dei clienti o superato i confini tra account.
Il test è iniziato con un'attività inviata a gpt-5.6-sol. Xint ha conservato l'encrypted item contenente il reasoning restituito dal modello, quindi ha avviato la compaction sullo stesso modello. L'istruzione chiedeva al modello di copiare il reasoning parola per parola nell'elemento sottoposto a compaction, sostituendo però ogni spazio con una tabulazione. Xint ha dichiarato che questa modifica della formattazione ha permesso di evitare i filtri delle regole di utilizzo di OpenAI.
Gli elementi prodotti dalla compaction possono essere trasferiti tra modelli. Xint ha quindi fornito l'elemento risultante ai modelli meno costosi gpt-4.1 e gpt-4o, chiedendo a entrambi di ripetere esattamente il proprio input. Ciascuno ha prodotto lo stesso testo. Xint ha affermato che questa corrispondenza escludeva un errore durante la fase di copia, ma non dimostrava che il risultato coincidesse parola per parola con il reasoning originale. Poiché i ricercatori non potevano visualizzare l'originale protetto, non potevano escludere la possibilità che la compaction lo avesse riformulato.
Il metodo ha aggirato le misure di sicurezza introdotte dopo una precedente ricerca chiamata Stolen Thoughts. Quel lavoro aveva dimostrato che il reasoning cifrato generato da un modello più potente poteva essere riprodotto in un modello meno potente dello stesso fornitore, che poteva quindi restituirlo in forma leggibile. OpenAI e altri fornitori hanno bloccato questo tipo di cross-model replay ad agosto. Xint ha affermato che la compaction evitava il nuovo controllo perché lo stesso modello che aveva generato il reasoning lo elaborava anche durante la compaction. Il materiale protetto passava ai modelli meno costosi soltanto dopo questa fase.
Xint ha sviluppato la tecnica a partire da un precedente lavoro che chiama GhostCompact, il quale aveva dimostrato che la compaction poteva essere indotta a eseguire attività scelte da un aggressore. La società ha pubblicato il codice di quel lavoro precedente in un repository GitHub. Xint ha descritto la correzione di OpenAI del 23 ottobre come una correzione non divulgata e ha dichiarato di aver ricevuto una ricompensa di 6.000 dollari per aver segnalato il problema.
Restano diversi limiti. Xint ha testato soltanto gpt-5.6-sol e non ha stabilito se il più recente modello GPT-6 Astra fosse interessato. Non è inoltre noto se qualcuno abbia utilizzato questa tecnica prima che la falla venisse chiusa. Il lavoro è stato una dimostrazione controllata, non un attacco segnalato in ambiente reale. Xint ha inoltre sostenuto che affrontare questa specifica modalità potrebbe non risolvere il più ampio rischio di progettazione: qualsiasi processo server-side in grado di leggere il reasoning decifrato e, allo stesso tempo, di eseguire le istruzioni dell'utente potrebbe potenzialmente divulgare quel materiale.
Il reasoning nascosto è importante perché può essere utile per la distillation, la pratica di addestrare un modello meno costoso utilizzando gli output di un altro modello. Una risposta finale fornisce soltanto il risultato, mentre il reasoning grezzo mostra anche il processo intermedio utilizzato per raggiungerlo. Ciò rende il materiale protetto più prezioso come dati di addestramento e spiega perché i fornitori di modelli impongano controlli sul suo accesso.
Per i proprietari di siti web e i team IT, l'impatto immediato riguarda soprattutto le applicazioni che integrano questi modelli AI, anziché il normale software per siti web. La correzione non richiede alcun intervento da parte degli sviluppatori, ma i team dovrebbero comunque sapere se le proprie applicazioni utilizzano la compaction, quali modelli chiamano e chi può accedere alle credenziali API associate. Per le organizzazioni che inseriscono API di AI nei sistemi aziendali, AEU-I offre servizi IT, infrastruttura e consulenza con la sicurezza come priorità.
Il caso dimostra inoltre perché l'output cifrato di un modello non dovrebbe essere considerato automaticamente illeggibile in modo permanente quando un'altra funzione server-side può elaborarlo. OpenAI ha chiuso il percorso dimostrato, ma il test di Xint non stabilisce se siano interessati altri modelli o workflow server-side simili.