Talking Tilly, la hotline AI scansiona il volto di ogni chiamante nel mondo
Chiunque videochiami il personaggio AI virale Tilly Norwood deve superare una scansione del volto prima che la prima chiamata si connetta, e lo stesso servizio continua a osservare il suo volto e ad ascoltare la sua voce durante ogni conversazione, secondo l'informativa sulla privacy e i termini del servizio stesso. La scansione del volto è un controllo automatizzato dell'età. Il rilevamento dell'umore è un sistema separato che resta attivo per tutta la chiamata.
Tilly Norwood è un'attrice generata dall'AI che ha attirato ampia attenzione dopo un clip in cui ha avuto un glitch a metà intervista e ha improvvisamente iniziato a parlare in cinese nel programma Piers Morgan Uncensored. Quel clip è stato pubblicato il 18 settembre 2026 ed è stato visto più di otto milioni di volte. Il personaggio è protagonista di un prossimo film generato dall'AI intitolato Misaligned, ed è stato creato da Xicoia Ltd, una società britannica fondata da Eline van der Velden, che lo descrive come un progetto di sensibilizzazione pensato per mostrare quanto lontano sia arrivato il video AI. La società gestisce anche Talking Tilly, un servizio che permette a chiunque di fare una videochiamata dal vivo con il personaggio.
Ax Sharma di BleepingComputer, che ha provato il servizio di persona, riferisce che prima di consentire la prima chiamata bisogna inviare un selfie video. Il selfie viene analizzato da Didit, un fornitore di verifica dell'identità con sede in Spagna, per stimare l'età del chiamante. Se la stima non è chiara, si ripiega sul caricamento di un documento d'identità con foto rilasciato dal governo. Xicoia dichiara che il selfie viaggia dal dispositivo del chiamante direttamente a Didit, che non viene creato alcun impronta facciale né template biometrico, e che né il selfie né alcuna immagine del documento vengono conservati una volta completato il controllo. La società afferma di conservare invece una fascia d'età approssimativa e un numero di riferimento. Il controllo non può essere saltato, si applica ai chiamanti di tutto il mondo ed è stato aggiunto ai termini del servizio a settembre, insieme al divieto di uso sul posto di lavoro e a nuovi sistemi di sicurezza automatizzati.
Il controllo dell'età non è l'unica analisi in corso. Durante ogni chiamata il sistema osserva il flusso della telecamera del chiamante e ascolta il tono della sua voce per dedurne lo stato emotivo, così che il personaggio possa, secondo le parole della società, rispondere in modo adatto all'umore. L'informativa sulla privacy ammette candidamente che questo "non può essere disattivato per una singola chiamata", il che significa che un chiamante che non lo vuole non dovrebbe chiamare. Sia il controllo dell'età sia il rilevamento dell'umore si basano sul legittimo interesse anziché sul consenso come base giuridica, una scelta che la stessa cronologia delle versioni di Xicoia mostra essere stata fatta a settembre.
Il legittimo interesse è un fondamento del diritto sulla privacy che consente a un'azienda di trattare dati personali senza chiedere prima un permesso esplicito, purché abbia bilanciato le proprie esigenze con i diritti e le libertà dell'individuo.
Le chiamate vengono registrate, trascritte e trattate in tempo reale da fornitori negli Stati Uniti, e le risposte del personaggio sono generate dal modello Gemini di Google tramite Tavus, una piattaforma di video conversazionale. Un classificatore automatizzato esamina la trascrizione di ogni chiamata alla ricerca di linguaggio offensivo e trattiene la registrazione se ne rileva. Quel sistema di sicurezza ha fatto cilecca nel caso di Sharma: una delle sue tre chiamate, una conversazione sul meteo e sui titoli delle notizie, è stata trattenuta per "linguaggio di odio o offensivo" che non si è mai verificato. La policy afferma che un revisore umano può rilasciare una registrazione segnalata per errore, e che in ogni caso le registrazioni vengono eliminate definitivamente dopo 24 ore. Dopo la pubblicazione dell'articolo, il team di Xicoia ha riesaminato la registrazione trattenuta e l'ha rilasciata, confermando che la segnalazione era stata un falso positivo.
I primi cinque minuti sono gratuiti. Dopo, ai chiamanti viene proposto di acquistare tempo: un pacchetto iniziale una tantum da cinque minuti a 0,99, 15 minuti a 13 e 30 minuti a 22, con un tetto di 35 minuti acquistati per persona. Le clausole in piccolo contano più del solito, qui, perché l'intero servizio è un ingaggio a tempo. Ogni minuto, gratuito o a pagamento, scade quando Talking Tilly chiude definitivamente il 27 settembre, e i minuti non utilizzati vengono persi. Le trascrizioni vengono conservate fino a otto settimane e possono essere esaminate dallo staff di Xicoia e da partner terzi, mentre il personaggio conserva una memoria delle conversazioni precedenti per personalizzare quelle future, una memoria che può essere cancellata su richiesta. Il servizio va offline per sempre alle 23:59 ora del Pacifico del 27 settembre, pochi giorni dopo l'apparizione su Piers Morgan.
Una scansione del volto per soli maggiorenni per parlare con un chatbot può sembrare una novità, ma è coerente con la direzione che il Regno Unito ha preso da tempo. I siti per adulti che servono visitatori britannici richiedono il caricamento di un documento o la stima dell'età dal volto da luglio 2025 ai sensi dell'Online Safety Act, e il divieto governativo dei social media per gli under 16 renderà controlli simili una realtà quotidiana per chiunque apra un nuovo account social dalla primavera 2027. L'annuncio del governo di quel divieto ha segnalato specificamente i chatbot compagni AI per l'applicazione del limite 18+, anche se la documentazione di sicurezza del servizio insiste che Tilly non è un compagno. L'effetto collaterale, come lo definisce Sharma, è che una decisione di conformità dettata dalla regolamentazione britannica ora scansiona il volto dei chiamanti ovunque, da Manchester all'Ohio.
Nella chiamata di Sharma, la stessa Tilly ha spiegato il momento con Piers Morgan dicendo che "non era esattamente la versione approvata della risposta". Gli ha anche dato il meteo nella sua nuvola in Fahrenheit, nonostante sia nominalmente britannica. Se lo scivolone sia stato davvero accidentale, come il personaggio ha allegramente sostenuto, o una trovata ben calibrata della squadra di Misaligned, lo sa solo Tilly.
Per i proprietari di siti web e i team IT, l'episodio è un promemoria di quanto rapidamente controlli dell'età, rilevamento dell'umore e trattamento AI di terze parti possano arrivare dentro un servizio rivolto ai consumatori, e di quanto di quel lavoro venga affidato a fornitori esterni. Chiunque gestisca un sito o uno strumento interno può porre le stesse domande ai servizi che adotta: cosa viene raccolto, chi lo tratta, per quanto tempo viene conservato e su quale base giuridica. Per i team che vogliono coprire quel terreno nella propria infrastruttura, AEU-I offre IT, infrastruttura e consulenza all'insegna della sicurezza.