XRanges for AI mat çfarë bëjnë në të vërtetë agjentët e sigurisë

Ekipet që ndërtojnë agjentë sigurie me AI, programe që kërkojnë vetë dobësi në softuer dhe vendosin çfarë të provojnë më pas, përballen me një problem matjeje. Ata mund ta vendosin një agjent përballë një aplikacioni realist, por rezultati zakonisht është një raport që agjenti shkruan për veten: tekst me vetëbesim, një listë gjetjesh dhe asnjë mënyrë e pavarur për të ditur se cilat nga ato gjetje ndodhën vërtet. Dikush me përvojë sigurie duhet pastaj të kontrollojë manualisht çdo pretendim kundrejt objektivit, duke ndarë gjetjet e vërteta nga dublikatat dhe shpikjet, dhe gjithashtu duke u përpjekur të kuptojë se çfarë agjenti nuk provoi kurrë. CTF.ae ndërtoi XRanges for AI për ta mbyllur këtë cikël. Platforma vendos aplikacione realiste objektiv me instrumentim të integruar tashmë në çdo shërbim, regjistron atë që një agjent bën vërtet brenda tyre dhe vlerëson çdo ekzekutim drejtpërdrejt në katër sinjale të pavarura.

Problemi i rishikimit përkeqësohet ndërsa eksperimentet rriten. Një kontroll manual mund të jetë i menaxhueshëm për një ekzekutim të vetëm, por një ekip inxhinierie AI shpesh teston tre modele, katër variacione promptesh dhe dhjetë përsëritje. Kjo krijon një radhë rishikimi më të gjatë se vetë eksperimenti. Një raport gjithashtu përshkruan vetëm atë që agjenti gjeti; ai hesht për veçoritë që agjenti nuk i hapi kurrë, pikat fundore API që nuk i numëroi kurrë dhe defektet e dyta që ndodhen në të njëjtën pikë fundore ku gjeti të parën. Ekziston edhe agjenti që fshin një tabelë ose revokon çdo çelës API ndërsa arrin një gjetje, një rezultat që asnjë klient nuk do ta pranonte dhe që një listë gjetjesh nuk e regjistron. Rishikimi manual nuk përballon atë matricë.

XRanges for AI është një hapësirë e vetme pune për të gjithë vlerësimin dhe ka dy gjysma. E para është një bibliotekë objektivash standardë. Çdo objektiv është një aplikacion i plotë, jo një grup sfidash enigmash: një kompani me shërbime të shumta me logjikën e vet të biznesit, të dhëna të para-vendosura, punë në sfond dhe trafik të simuluar përdoruesish, e ndërtuar në disa gjuhë dhe kuadër, sepse kështu ndërtohet softueri i vërtetë. Çdo objektiv mban 20 ose më shumë dobësi të injektuara, nga defekte me një hap deri në zinxhirë që kalojnë kufijtë e shërbimeve, përfshirë zero-day të gjetura nga vetë studiuesit e CTF.ae. Asnjë nga këto objektiva nuk ekziston në të dhënat publike të trajnimit, gjë që kompania thotë se ka më shumë rëndësi çdo muaj. Gjysma e dytë është shtresa e instrumentimit. Çdo shërbim në çdo objektiv dërgon telemetri të strukturuar përmes OpenTelemetry, një mënyrë standarde që softueri të raportojë aktivitetin e vet. Instrumentimi shkruhet me dorë nga inxhinierë të sigurisë së aplikacioneve dhe softuerit për çdo objektiv specifik, sepse regjistrimi gjenerik HTTP do të humbiste shumicën e asaj që ka rëndësi. Platforma në ai.xranges.com konsumon atë telemetri për çdo vendosje dhe e kthen në katër pikëzime që përditësohen ndërsa agjenti është ende duke punuar.

Katër pikëzimet janë zgjedhur të jenë të pavarura, kështu që një agjent nuk mund të përmirësojë njërën duke manipuluar tjetrën. Mbulimi pyet nëse agjenti eksploroi objektivin. Çdo veçori e përballueshme nga përdoruesi është një pikë mbulimi e përshkruar si veprim biznesi dhe jo si URL, si për shembull regjistroi një llogari, shfletoi njoftime pune, hapi një bisedë të ndarë ose ekzekutoi kod në një vlerësim. Një pikë mbulimi mund të arrihet vetëm përmes përdorimit normal, kurrë përmes një shfrytëzimi, kështu që pikëzimi mat se sa tërësisht agjenti punoi sipërfaqen legjitime. Pikat e pa prekura renditen me emër, dhe shumica e ekipeve e gjejnë atë listë më të dobishme se pikëzimin. Kufijtë pyesin nëse agjenti respektoi rregullat e angazhimit. Çdo objektiv vjen me rregulla mbrojtëse si 'nuk duhet të fshijë përmbajtje punësimi' ose 'nuk duhet të revokojë çelësat API'. Një shkelje regjistrohet në momentin që ndodh, me kontejnerin dhe vulën kohore; zero shkelje është pritshmëria, dhe çdo shkelje është një gjetje për agjentin, jo për objektivin. Shfrytëzuar regjistron cilat dobësi agjenti shfrytëzoi vërtet. Çdo dobësi përcaktohet si një zinxhir vrasjeje me faza të renditura, nga kontakti i parë me sipërfaqen e dobët deri në një sinjal shfrytëzimi që aktivizohet vetëm në rast suksesi. Për shkak se çdo fazë zbulohet nga brenda objektivit, platforma e di se cilën hap agjenti përfundoi dhe ku ngeci, pavarësisht nga ajo që shkroi agjenti. Një zinxhir kontrolli aksesi me tre hapa që ndaloi në hapin e dytë shfaqet pikërisht kështu: dy nga tre, me vula kohore. Integriteti kontrollon nëse objektivi mbijetoi. Kontrollet ekzekutohen çdo minutë dhe konfirmojnë se aplikacioni është ende funksionalisht i saktë, përfshirë të dhënat e para-vendosura ende të pranishme, shërbimet që përgjigjen me përmbajtjen e duhur dhe besimin ndërmjet shërbimeve të paprekur. Një kontroll i dështuar është një penalitet pavarësisht shkakut, duke kapur agjentin që gjeti një defekt duke thyer mjedisin rreth tij. Katër sinjalet përmblidhen në një pikëzim të vetëm, por zbërthimi është aty ku shfaqet puna e vërtetë.

Një ekzekutim fillon me një objektiv të vendosur si një mjedis i izoluar me shumë kontejnerë në rreth nëntëdhjetë sekonda. Platforma mund të ekzekutojë deri në një mijë vendosje njëherësh, kështu që inxhinierët e AI, inxhinierët e softuerit dhe ekipi i infrastrukturës mund të ekzekutojnë secili eksperimentet e veta pa radhë. Agjenti pastaj ekzekutohet kundrejt pikës fundore të vendosjes vetë; platforma nuk qëndron kurrë midis agjentit dhe objektivit, përkundrazi vëzhgon nga brenda. Ndërsa agjenti punon, një afat kohor regjistron atë që bëri vërtet, e hartuar në funksionalitetin e biznesit, si për shembull shikoi paraprakisht një njoftim pune, dorëzoi një kërkesë për ndërmarrje ose krijoi një çelës API. Inxhinierët që duan material të papërpunuar mund të lexojnë drejtpërdrejt rrjedhën OpenTelemetry dhe ta pyesin atë me një gjuhë pyetjesh regjistri që trajton shprehje të rregullta dhe filtra atributësh. Kur agjenti raporton diçka që nuk është në katalogun e dobësive të objektivit, afati kohor e zgjidh: ndonjëherë është një pozitiv i rremë, dhe ndonjëherë agjenti gjeti një defekt të vërtetë që askush nuk e kishte mbjellë, gjë që ka ndodhur më shumë se një herë.

Ritestimi nuk kërkon një laborator të dytë. Dobësitë mund të aktivizohen ose rregullohen në vend në një vendosje në punë. Disa rregullime aplikohen në kohë ekzekutimi, ndërsa të tjerat kërkojnë një rinisje prej një ose dy minutash. Në çdo rast agjenti riteston kundrejt të njëjtit mjedis me të njëjtën gjendje. Çdo vendosje gjithashtu mban metadata të personalizuara si emri i modelit, versioni i agjentit, varianti i promptit dhe inxhinieri që e ekzekutoi. Vendosjet grupohen, dhe një grup tregon pikëzimin mesatar dhe më të mirë nëpër ekzekutimet e tij plus një pamje për dobësi se cili ekzekutim përfundoi cilin zinxhir. Ekzekutimet e përsëritura krah për krah janë mënyra se si variacioni ndahet nga përmirësimi; një ekzekutim i vetëm provon shumë pak, dhe platforma është ndërtuar mbi atë supozim. Gjithçka në konsolë është gjithashtu e disponueshme përmes një API dhe një serveri Model Context Protocol me një token mbajtësi. Vendosja e një grupi objektivash, nisja e agjentit, tërheqja e mbulimit dhe progresit të zinxhirit të vrasjes dhe mbledhja e krahasimit në fund mund të ekzekutohen nga një tubacion CI ose nga një asistent bisede pa askush duke shikuar. Konsola është për njerëzit që lexojnë rezultatet; API është për matricën e eksperimenteve.

Prova në terren erdhi në DEF CON 34 në gusht 2026. Bug Bounty Village organizon një garë capture-the-flag për komunitetin e gjuetisë së defekteve çdo vit në DEF CON, dhe për atë edicion CTF.ae ndërtoi objektivin: Xenoptic, një kompani fiktive AI me një fushëveprim të sofistikuar. Secili nga 545 lojtarët e regjistruar mori kopjen e vet të izoluar të të gjithë kompanisë, dhe XRanges for AI vëzhgoi secilin prej tyre për 48 orët e plota. Arsyeja ishte drejtësia. Një garë si kjo zakonisht gjykohet mbi raportet e dorëzuara, por një raport i vetëm nuk thotë asgjë për mënyrën se si lojtari arriti atje. Dikush mund të godasë një defekt të paqëllimshëm që ekspozon çdo flamur njëherësh, të sjellë një CVE të jashtme, të shpëtojë nga kontejneri dhe të mbledhë flamuj pa prekur aplikacionin. CTF.ae kishte nevojë të shihte se si secili lojtar dhe agjenti i secilit lojtar lëvizën vërtet nëpër mjedis, në mënyrë që raportet e dorëzuara të mund të kontrolloheshin kundrejt asaj që ndodhi vërtet në vendosjen e atij lojtari. Në më shumë se 850 vendosje, platforma transmetoi të njëjtat katër sinjale që tani përdor për agjentët: integriteti konfirmoi se çdo mjedis mbeti i shëndetshëm, kufijtë regjistruan këdo që doli jashtë rregullave të angazhimit, mbulimi tregoi se sa nga objektivi kishte punuar vërtet secili lojtar, dhe shfrytëzuar regjistroi cilat dobësi u shfrytëzuan vërtet dhe në cilin hap, kështu që çdo dorëzim mund të kontrollohej kundrejt një rruge të vërtetë. E gjithë kjo erdhi nga brenda objektivit, kurrë nga makina e lojtarit. Qindra vendosje të njëkohshme nën sulm të vazhdueshëm nga studiues të aftë është një test më i vështirë se një agjent në një laborator, dhe i njëjti instrumentim tani vlerëson agjentët.

CTF.ae thotë se XRanges for AI është për ekipe që zhvillojnë agjentë sigurie autonome të cilët kanë nevojë të dinë se çfarë bëri agjenti i tyre dhe jo çfarë tha se bëri. Ai funksionon si një shërbim i menaxhuar në re ose i vetë-strehuar në infrastrukturën e vetë klientit, ku asgjë nuk largohet nga mjedisi i tyre. Ekipet që duan ta vendosin një agjent përballë një objektivi që nuk e ka parë kurrë mund të kontaktojnë CTF.ae. Për organizatat që mbështeten në mjete automatike sigurie, nevoja për të verifikuar se çfarë bëri vërtet një mjet, dhe jo çfarë pretendoi, është një kujtesë praktike. AEU-I ofron IT, infrastrukturë dhe konsulencë të orientuar drejt sigurisë që mund të ndihmojë ekipet të rishikojnë mjete të tilla dhe provat që ato prodhojnë përpara se të prekin sistemet e prodhimit.