VEDI ANCHE 
Provvedimento del 10 aprile 2025
Provvedimento del 22 giugno 2023
Comunicato stampa del 3 febbraio 2023
Provvedimento del 2 febbraio 2023

- English version

AI: Il Garante sanziona la società che gestisce il chatbot “Replika”
Aperta una nuova indagine sulle modalità di addestramento del modello di intelligenza artificiale generativa alla base del servizio*
*In pendenza del giudizio di opposizione contro il provvedimento non è applicata la sanzione accessoria della pubblicazione dell’ordinanza ingiunzione

Il Garante privacy ha sanzionato per 5milioni di euro* la società statunitense Luka Inc. che gestisce il chatbot “Replika” e ha avviato una autonoma istruttoria per verificare il corretto trattamento dei dati personali effettuato dal sistema di intelligenza artificiale generativa alla base del servizio.

Il chatbot, dotato di un’interfaccia scritta e vocale, consente all’utente di “generare” un “amico virtuale” a cui attribuire il ruolo di confidente, terapista, partner romantico o mentore. 

Nel corso dell’istruttoria il Garante ha accertato la violazione delle disposizioni contestate nel febbraio 2023, quando aveva disposto il blocco dell’applicazione. Secondo il Garante, la società statunitense non aveva individuato, alla data del 2 febbraio 2023, le basi giuridiche delle operazioni di trattamento effettuate attraverso “Replika”. Luka, inoltre, aveva fornito una privacy policy inadeguata sotto vari profili.

Il Garante ha accertato, infine, che, alla data del 2 febbraio 2023, la società non prevedeva alcun meccanismo per la verifica dell’età degli utenti né all’atto della registrazione al servizio, né durante il suo utilizzo, benché la società dichiarasse di escludere i minorenni tra i potenziali utenti.     Dagli accertamenti tecnici effettuati è emerso che il sistema di verifica dell’età attualmente implementato dal titolare continua ad essere carente sotto molteplici aspetti.

Per tali ragioni, oltre al provvedimento sanzionatorio, l’Autorità ha ingiunto alla società di conformare i trattamenti alle disposizioni del Regolamento.

Nella richiesta di informazioni che ha dato avvio alla nuova istruttoria, il Garante ha chiesto a Luka dei chiarimenti in merito ai trattamenti dei dati relativi all’intero ciclo di vita del sistema di AI generativa sotteso al servizio “Replika”. In particolare, riguardo alla valutazione dei rischi e alle misure adottate per tutelare i dati nelle varie fasi di sviluppo e addestramento del modello linguistico alla base di “Replika”, alle tipologie e categorie di dati utilizzati, all’eventuale implementazione di misure di anonimizzazione o pseudonimizzazione.

Roma, 19  maggio 2025

*In pendenza del giudizio di opposizione contro il provvedimento non è applicata la sanzione accessoria della pubblicazione dell’ordinanza ingiunzione
 

AI: The Italian Data Protection Authority fines company behind chatbot “Replika”
New investigation launched into training methods of the generative AI model underpinning the service* 
*Pending appeal against the decision, the ancillary penalty consisting in the publication of the injunction order shall not be applied

The Italian Data Protection Authority imposed a €5 million fine* on US-based company Luka Inc., which manages the chatbot Replika, and launched an independent investigation to assess whether personal data are being properly processed by the generative AI system behind the service.

The chatbot features both a written and voice interface, allowing users to ‘generate’ a ‘virtual companion’ that can take on the role of a confidant, therapist, romantic partner, or mentor. 

During its investigation, the Authority found that the alleged infringements notified in February 2023—when it had ordered the blocking of the application—had indeed occurred. According to the Authority, as at 2 February 2023, the US company had failed to identify the legal basis for the data processing operations carried out through Replika. Moreover, Luka had provided a privacy policy that was inadequate in several respects.

The Authority also found that, as at 2 February 2023, the Company had not implemented any age verification mechanisms—either at registration or during use of the service—despite having declared that minors were excluded from potential users.

Technical assessments revealed that the age verification system currently implemented by the controller continues to be deficient in several respects.

For these reasons, in addition to imposing a fine, the Authority ordered the company to bring its processing operations into compliance with the provisions of the Regulation.

In its request for information, which marked the beginning of the new investigation, the Authority required Luka to provide clarifications on the data processing operations carried out throughout the entire lifecycle of the generative AI system underpinning the Replika service. In particular, it requested details on risk assessments and the measures adopted to protect data during the development and training of the language model behind Replika, the categories and types of personal data processed, and whether anonymisation or pseudonymisation measures have been implemented.

Rome, 19  May 2025

*Pending appeal against the decision, the ancillary penalty consisting in the publication of the injunction order shall not be applied