g-docweb-display Portlet

Intelligenza artificiale, dal Garante privacy stop al chatbot “Replika”. Troppi i rischi per i minori e le persone emotivamente fragili

Stampa Stampa Stampa
PDF Trasforma contenuto in PDF


- English version

 

Intelligenza artificiale, dal Garante privacy stop al chatbot “Replika”
Troppi i rischi per i minori e le persone emotivamente fragili

Il Garante della privacy ferma “Replika”. Il chatbot, dotato di una interfaccia scritta e vocale che basandosi sull’intelligenza artificiale genera un “amico virtuale”, per il momento non potrà usare i dati personali degli utenti italiani. Il Garante della privacy ha infatti disposto con effetto immediato, nei confronti della società statunitense che sviluppa e gestisce l’applicazione, la limitazione provvisoria del trattamento dei dati.

Alla luce delle recenti notizie stampa e delle prove condotte dall’Autorità su “Replika", l’applicazione presenta infatti concreti rischi per i minori d’età, a partire dalla proposizione ad essi di risposte assolutamente inidonee al loro grado di sviluppo.

L’“amico virtuale” - presentato come in grado di migliorare il benessere emotivo dell’utente, aiuterebbe l’utente a comprendere i propri pensieri e calmare l'ansia, attraverso la gestione dello stress, la socializzazione e la ricerca dell'amore - ha caratteristiche che, intervenendo sull’umore della persona, possono accrescere i rischi per i soggetti ancora in una fase di sviluppo o in stato di fragilità emotiva.

Manca peraltro ogni meccanismo di verifica dell’età: filtri per i minori, ma anche blocchi dell’app di fronte a dichiarazioni in cui l’utente espliciti la propria minore età. Durante la fase di creazione di un account la piattaforma si limita a richiedere solo nome, e-mail e genere.

E la proposizione di “risposte” da parte del chatbot risultano spesso palesemente in contrasto con le tutele rafforzate che vanno assicurate ai minori e a tutti i soggetti più fragili. Diverse recensioni pubblicate nei due principali “App Store”, peraltro, contengono commenti di utenti che lamentano contenuti sessualmente inopportuni.

“Replika” viola il Regolamento europeo sulla privacy, non rispetta il principio di trasparenza ed effettua un trattamento di dati personali illecito, in quanto non può essere basato, anche solo implicitamente, su un contratto che il minorenne è incapace di concludere.

La società sviluppatrice statunitense, Luka Inc, oltre a dover interrompere il trattamento dei dati degli utenti italiani, deve comunicare entro 20 giorni le misure intraprese in attuazione di quanto richiesto dal Garante, pena una sanzione fino a 20 milioni di euro o fino al 4% del fatturato globale annuo.

Roma, 3 febbraio 2023

 

___________

Artificial intelligence: italian SA clamps down on ‘Replika’ chatbot
Too many risks to children and emotionally vulnerable individuals

The Italian SA clamps down on ‘Replika’. The AI-powered chatbot, which generates a ‘virtual friend’ using text and video interfaces, will not be able to process personal data of Italian users for the time being. A provisional limitation on data processing was imposed by the Italian Garante on the US-based company that has developed and operates the app; the limitation will take effect immediately.

Recent media reports along with tests the SA carried out on ‘Replika’ showed that the app carries factual risks to children – first and foremost, the fact that they are served replies which are absolutely inappropriate to their age.

The ‘virtual friend’ is said to be capable to improve users’ emotional well-being and help users understand their thoughts and calm anxiety through stress management, socialisation and the search for love. These features entail interactions with a person’s mood and can bring about increased risks to individuals who have not yet grown up or else are emotionally vulnerable.

There is actually no age verification mechanism in place: no gating mechanism for children, no blocking of the app if a user declares that they are underage. During account creation, the platform merely requests a user’s name, email account and gender.

And the ‘replies’ served by the chatbot are often clearly in conflict with the enhanced safeguards children and vulnerable individuals are entitled to. Several reviews on the two main App Stores include comments by users flagging sexually inappropriate contents.

‘Replika’ is in breach of the EU data protection Regulation: it does not comply with transparency requirements and it processes personal data unlawfully since performance of a contract cannot be invoked as a legal basis, even implicitly, given that children are incapable to enter into a valid contract under Italian law.

The US-based developer, Luka Inc., was ordered accordingly to terminate processing of data relating to Italian users and to inform the Italian SA within 20 days on any measures taken to implement the SA’s orders. Otherwise a fine of up to EUR 20 million, or 4% of the company’s total worldwide annual turnover, may be imposed by the SA.

Roma, 3 February 2023