E meta e OpenAI në compaction anashkaloi kontrollet e hidden reasoning
Një e metë në compaction të OpenAI i lejoi kompanisë së sigurisë Xint të anashkalonte kontrollet që synonin ta mbanin të fshehtë punën e brendshme të një reasoning model. Sipas Xint, OpenAI e konfirmoi problemin dhe zbatoi një rregullim server-side më 23 tetor. Meqë korrigjimi u bë brenda shërbimit të OpenAI, zhvilluesit që përdorin application programming interface (API), e cila u mundëson programeve të komunikojnë me modelet, nuk kanë nevojë t’i ndryshojnë aplikacionet e tyre.
Modelet reasoning model e përpunojnë një detyrë përpara se të japin një përgjigje. Zakonisht, OpenAI e ofron atë reasoning të papërpunuar vetëm në formën e një encrypted item, që do të thotë se përmbajtja e tij është koduar në mënyrë që përdoruesi të mos mund ta lexojë drejtpërdrejt. Xint tregoi se funksioni compaction mund të manipulohej për ta riprodhuar materialin e mbrojtur si plain text. Compaction përdor një model për ta reduktuar një bisedë të gjatë në një encrypted item më të vogël, duke ruajtur kontekstin e nevojshëm për kërkesat pasuese.
Xint e testoi metodën kundër gpt-5.6-sol duke përdorur probleme matematike dhe algoritmike të krijuara nga vetë studiuesit e saj. Reasoning i nxjerrë u përkiste atyre kërkesave të testimit. Kompania nuk pretendoi se e meta mund të merrte reasoning e një përdoruesi tjetër, një kufizim i rëndësishëm për bizneset që vlerësojnë nëse demonstrimi ekspozoi bisedat e klientëve ose kaloi kufijtë mes llogarive.
Testi nisi me një detyrë të dërguar te gpt-5.6-sol. Xint e ruajti encrypted item me reasoning të kthyer nga modeli dhe më pas aktivizoi compaction në të njëjtin model. Udhëzimi i saj i kërkonte modelit ta kopjonte reasoning në elementin e krijuar nga compaction fjalë për fjalë, por ta zëvendësonte çdo hapësirë me një tab. Xint tha se ky ndryshim formatimi shmangu filtrat e politikës së përdorimit të OpenAI.
Elementet e krijuara nga compaction mund të transferohen ndërmjet modeleve. Prandaj, Xint ua dha elementin e prodhuar modeleve më pak të kushtueshme gpt-4.1 dhe gpt-4o, duke u kërkuar të dyjave ta përsëritnin saktësisht input e tyre. Secili model prodhoi të njëjtin tekst. Xint tha se kjo përputhje përjashtoi një gabim gjatë fazës së kopjimit, por nuk vërtetoi se rezultati përputhej fjalë për fjalë me reasoning origjinal. Meqë studiuesit nuk mund ta shihnin origjinalin e mbrojtur, ata nuk mund ta përjashtonin mundësinë që compaction ta kishte riformuluar atë.
Metoda anashkaloi masat mbrojtëse të vendosura pas një studimi të mëparshëm të quajtur Stolen Thoughts. Ai studim tregoi se reasoning e enkriptuar e gjeneruar nga një model më i fuqishëm mund t’i dërgohej sërish një modeli më të dobët nga i njëjti ofrues, i cili më pas mund ta kthente atë në formë të lexueshme. OpenAI dhe ofrues të tjerë e bllokuan atë lloj cross-model replay në gusht. Xint tha se compaction e shmangu kontrollin e ri sepse i njëjti model që gjeneroi reasoning e përpunoi atë edhe gjatë compaction. Materiali i mbrojtur kaloi te modelet më të lira vetëm pas atij hapi.
Xint e zhvilloi teknikën nga një punë e mëparshme që e quan GhostCompact, e cila tregoi se compaction mund të nxitej të kryente detyra të zgjedhura nga një sulmues. Kompania ka publikuar kodin e asaj pune të mëparshme në një GitHub repository. Xint e përshkroi korrigjimin e OpenAI të 23 tetorit si një rregullim që nuk u bë publik dhe tha se mori një shpërblim prej 6,000 dollarësh për raportimin e problemit.
Mbeten disa kufizime. Xint testoi vetëm gpt-5.6-sol dhe nuk përcaktoi nëse modeli më i ri GPT-6 Astra ishte prekur. Gjithashtu, nuk dihet nëse dikush e përdori këtë teknikë përpara se e meta të mbyllej. Puna ishte një demonstrim i kontrolluar, jo një sulm i raportuar in the wild. Xint argumentoi më tej se trajtimi i kësaj rruge të veçantë mund të mos e zgjidhë rrezikun më të gjerë të projektimit: çdo proces server-side që mund të lexojë reasoning të dekriptuar, ndërkohë që zbaton edhe udhëzimet e përdoruesit, mund ta zbulojë potencialisht atë material.
Hidden reasoning ka rëndësi sepse mund të jetë i dobishëm për distillation, praktikën e trajnimit të një modeli më pak të kushtueshëm duke përdorur output e një modeli tjetër. Një përgjigje përfundimtare jep vetëm rezultatin, ndërsa reasoning i papërpunuar tregon edhe procesin e ndërmjetëm të përdorur për të arritur tek ai. Kjo e bën materialin e mbrojtur më të vlefshëm si të dhëna trajnimi dhe shpjegon pse ofruesit e modeleve vendosin kontrolle rreth aksesit në të.
Për pronarët e faqeve të internetit dhe ekipet e IT-së, ndikimi i menjëhershëm përqendrohet tek aplikacionet që integrojnë këto modele AI, jo te programet e zakonshme të faqeve të internetit. Rregullimi nuk kërkon asnjë veprim nga zhvilluesit, por ekipet duhet të dinë gjithsesi nëse aplikacionet e tyre përdorin compaction, cilat modele thërrasin dhe kush mund të përdorë të dhënat përkatëse të aksesit në API. Për organizatat që vendosin AI API brenda sistemeve të biznesit, AEU-I ofron IT, infrastrukturë dhe konsulencë me sigurinë në plan të parë.
Rasti tregon gjithashtu pse output i enkriptuar i një modeli nuk duhet të konsiderohet automatikisht si përgjithmonë i palexueshëm kur një funksion tjetër service-side mund ta përpunojë atë. OpenAI e ka mbyllur rrugën e demonstruar, por testi i Xint nuk përcakton nëse janë prekur modele të tjera ose workflow të ngjashëm server-side.