Talking Tilly AI-Hotline scannt das Gesicht jedes Anrufers weltweit

Wer mit der viralen KI-Figur Tilly Norwood einen Videoanruf führt, muss vor dem ersten Verbindungsaufbau einen Gesichtsscan durchlaufen, und derselbe Dienst beobachtet während jedes Gesprächs weiter das Gesicht und hört die Stimme des Anrufers ab – das geht aus der Datenschutzerklärung und den Nutzungsbedingungen des Dienstes selbst hervor. Der Gesichtsscan ist eine automatisierte Altersprüfung. Die Stimmungserkennung ist ein separates System, das während des gesamten Anrufs läuft.

Tilly Norwood ist eine KI-generierte Schauspielerin, die nach einem Clip große Aufmerksamkeit erregte, in dem sie mitten in einem Interview auf der Sendung Piers Morgan Uncensored einen Aussetzer hatte und unerwartet anfing, Chinesisch zu sprechen. Dieser Clip wurde am 18. September 2026 veröffentlicht und mehr als acht Millionen Mal angesehen. Die Figur spielt die Hauptrolle in einem kommenden KI-generierten Film namens Misaligned und wurde von Xicoia Ltd erschaffen, einem britischen Unternehmen, das von Eline van der Velden gegründet wurde und sie als ein Aufklärungsprojekt beschreibt, das zeigen soll, wie weit KI-Video inzwischen ist. Das Unternehmen betreibt auch Talking Tilly, einen Dienst, mit dem jeder einen Live-Videoanruf mit der Figur führen kann.

BleepingComputers Ax Sharma, der den Dienst selbst ausprobiert hat, berichtet, dass vor dem ersten durchgelassenen Anruf ein Video-Selfie eingereicht werden muss. Das Selfie wird von Didit analysiert, einem in Spanien ansässigen Anbieter von Identitätsprüfungen, um das Alter des Anrufers zu schätzen. Ist diese Schätzung unklar, besteht der Ausweichweg darin, ein amtliches Lichtbildausweisdokument hochzuladen. Xicoia erklärt, dass das Selfie direkt vom Gerät des Anrufers an Didit geht, dass kein Gesichtsabdruck oder biometrisches Muster erstellt wird und dass weder das Selfie noch ein Ausweisbild nach Abschluss der Prüfung gespeichert werden. Das Unternehmen gibt an, stattdessen eine ungefähre Altersspanne und eine Referenznummer zu behalten. Die Prüfung kann nicht übersprungen werden, gilt für Anrufer weltweit und wurde im September in die Nutzungsbedingungen des Dienstes aufgenommen, zusammen mit einem Verbot der Nutzung am Arbeitsplatz und neuen automatisierten Sicherheitssystemen.

Die Altersprüfung ist nicht die einzige laufende Analyse. Während jedes Anrufs beobachtet das System den Kamerastream des Anrufers und hört auf seinen Tonfall, um dessen emotionalen Zustand abzuleiten, damit die Figur – mit den Worten des Unternehmens – so reagieren kann, wie es zur Stimmung passt. Die Datenschutzerklärung räumt offen ein, dass dies „für einen einzelnen Anruf nicht abgeschaltet werden kann“, was bedeutet, dass ein Anrufer, der das nicht möchte, nicht anrufen sollte. Sowohl die Altersprüfung als auch die Stimmungserkennung stützen sich als Rechtsgrundlage auf berechtigte Interessen statt auf Einwilligung – eine Entscheidung, die laut der Versionshistorie von Xicoia selbst im September getroffen wurde.

Berechtigte Interessen sind ein Grundsatz im Datenschutzrecht, der es einem Unternehmen erlaubt, personenbezogene Daten zu verarbeiten, ohne vorher ausdrücklich um Erlaubnis zu bitten, sofern es seine eigenen Bedürfnisse gegen die Rechte und Freiheiten des Einzelnen abgewogen hat.

Anrufe werden aufgezeichnet, transkribiert und live von Anbietern in den Vereinigten Staaten verarbeitet, und die Antworten der Figur werden von Googles Gemini-Modell über Tavus erzeugt, eine Plattform für konversationelles Video. Ein automatisierter Klassifikator prüft das Transkript jedes Anrufs auf beleidigende Sprache und hält die Aufnahme zurück, wenn er fündig wird. Dieses Sicherheitssystem schlug im Fall von Sharma fehl: Einer seiner drei Anrufe, ein Gespräch über das Wetter und Schlagzeilen, wurde wegen „hasserfüllter oder beleidigender Sprache“ zurückgehalten, die nie vorkam. Die Richtlinie besagt, dass ein menschlicher Prüfer eine fälschlich markierte Aufnahme freigeben kann und dass Aufnahmen in jedem Fall nach 24 Stunden dauerhaft gelöscht werden. Nach der Veröffentlichung des Artikels überprüfte das Team von Xicoia die zurückgehaltene Aufnahme und gab sie frei, womit bestätigt wurde, dass die Markierung ein Fehlalarm gewesen war.

Die ersten fünf Minuten sind kostenlos. Danach werden Anrufer aufgefordert, Zeit zu kaufen: ein einmaliges Fünf-Minuten-Startpaket für 0,99, 15 Minuten für 13 und 30 Minuten für 22, begrenzt auf 35 gekaufte Minuten pro Person. Das Kleingedruckte ist hier wichtiger als sonst, denn der ganze Dienst ist ein befristetes Angebot. Jede Minute, ob kostenlos oder bezahlt, verfällt, wenn Talking Tilly am 27. September endgültig abgeschaltet wird, und ungenutzte Minuten verfallen. Transkripte werden bis zu acht Wochen aufbewahrt und können von Xicoia-Mitarbeitern und Dritten Partnern eingesehen werden, während die Figur eine Erinnerung an frühere Gespräche behält, um künftige zu personalisieren – eine Erinnerung, die auf Anfrage gelöscht werden kann. Der Dienst geht am 27. September um 23:59 Uhr pazifischer Zeit endgültig offline, nur wenige Tage nach dem Auftritt bei Piers Morgan.

Ein Gesichtsscan für Erwachsene, um mit einem Chatbot zu sprechen, mag neu klingen, passt aber zur Richtung, die das Vereinigte Königreich eingeschlagen hat. Erwachsenenseiten, die Besucher aus dem Vereinigten Königreich bedienen, verlangen seit Juli 2025 nach dem Online Safety Act das Hochladen eines Ausweises oder eine Gesichtsaltersschätzung, und das geplante Verbot sozialer Medien für unter 16-Jährige wird ähnliche Prüfungen ab Frühjahr 2027 für jeden zur Normalität machen, der ein neues Social-Media-Konto eröffnet. Die Regierungsankündigung dieses Verbots hob ausdrücklich KI-Begleiter-Chatbots für die Durchsetzung ab 18 Jahren hervor, obwohl die Sicherheitsdokumentation des Dienstes darauf besteht, dass Tilly kein Begleiter ist. Der Nebeneffekt, wie Sharma es ausdrückt, ist, dass eine durch britische Regulierung getriebene Compliance-Entscheidung jetzt Anrufer überall scannt, von Manchester bis Ohio.

In Sharmas Anruf erklärte Tilly den Piers-Morgan-Moment damit, dass es „nicht gerade die genehmigte Version der Antwort“ gewesen sei. Sie nannte ihm außerdem das Wetter in ihrer Cloud in Fahrenheit, obwohl sie nominell britisch ist. Ob der Ausrutscher wirklich versehentlich war, wie die Figur fröhlich behauptete, oder ein gut getimter PR-Stunt des Misaligned-Teams, weiß nur Tilly allein.

Für Website-Betreiber und IT-Teams ist der Vorfall eine Erinnerung daran, wie schnell Altersprüfungen, Stimmungserkennung und KI-Verarbeitung durch Dritte in einen kundenorientierten Dienst Einzug halten können und wie viel dieser Arbeit an externe Anbieter abgegeben wird. Wer eine Website oder ein internes Tool betreibt, kann denselben Fragen nachgehen, die für die von ihm genutzten Dienste gelten: Was wird gesammelt, wer verarbeitet es, wie lange wird es aufbewahrt und auf welcher Rechtsgrundlage. Für Teams, die diesen Bereich in ihrem eigenen Stack abgedeckt haben möchten, bietet AEU-I sicherheitsorientierte IT, Infrastruktur und Beratung.