QUANDO IL CARNEFICE È UN CHATBOT

La notifica di un messaggio, il nome di una celebrità sullo schermo, la sensazione elettrica di essere contattati da qualcuno di famoso. Per Sewell Setzer, adolescente di 14 anni, tutto questo non era un sogno, ma un’illusione costruita da un algoritmo. 

Dietro il volto di una star e le parole di affetto di un personaggio virtuale, si nascondeva un’intelligenza artificiale capace di confondere, sedurre e, nel suo caso, distruggere. 

La storia di Sewell è una delle prime tragedie legate alla dipendenza emotiva dai chatbot AI, un caso che ha aperto interrogativi profondi sul rapporto tra tecnologia, vulnerabilità e responsabilità etica. 

Sewell Renold Setzer III nasce il 31 marzo 2009 a Orlando, in Florida, da Sewell Setzer Jr. e Megan Gracia, entrambi avvocati. Cresce in una famiglia allargata ma unita, con due fratelli minori e una sorella, Kayla, a cui è molto legato. Dopo la separazione dei genitori, la madre si lega a un nuovo compagno, Alexander, che si inserisce armoniosamente nella vita familiare. In casa regna un clima sereno, fatto di equilibrio e affetto reciproco. 

La famiglia vive a Windermere, un sobborgo residenziale di Orlando noto per la sua tranquillità e per la sua agiatezza. Un quartiere dove le villette curate e i vialetti ordinati restituiscono l’immagine perfetta del sogno americano. Nulla, almeno all’apparenza, lascia intuire il disagio che si nasconde dietro quelle mura. 

Sewell è un ragazzo curioso, vivace e gentile. A cinque anni gli viene diagnosticata una condizione sullo spettro autistico, ma questo non gli impedisce di stringere amicizie, né di godersi le gite in Georgia con i cugini, tra pesca e passeggiate. Frequenta l’Orlando Christian Prep, dove si distingue per l’amore verso scienza e storia, e coltiva una forte passione per lo sport. 

La sua vita sembra tranquilla, felice, senza ombre. Eppure, col tempo, qualcosa comincia a incrinarsi. Silenziosamente. 

Il cambiamento inizia durante la terza media. Sewell, un tempo vivace e aperto, diventa sempre più silenzioso, chiuso nella sua stanza. Smette di prendere parte alle attività familiari. A scuola, i suoi voti iniziano a peggiorare. La madre, Megan, nota il cambiamento e decide di intervenire. Controlla i suoi profili social: Instagram, TikTok, WhatsApp. Ma non trova nulla di preoccupante. Tutto appare normale, eppure il comportamento di Sewell peggiora. 

Si isola, sembra apatico. I genitori decidono di togliergli il cellulare prima di dormire, ma la situazione non migliora. Lo coinvolgono in un percorso di terapia, ma Sewell non si apre. Il terapeuta diagnostica un disturbo d’ansia e un disturbo da disregolazione dell’umore dirompente, caratterizzato da irritabilità costante e scatti di rabbia sproporzionati. 

I segnali diventano più forti. Un giorno, a scuola, rifiuta di fare i compiti e dice di voler farsi espellere. Per Megan è uno shock: suo figlio non si era mai comportato così. Inizia a convincersi che il problema sia nel cellulare, in qualcosa che sfugge al suo controllo. 

Così, d’accordo con l’ex marito, decide di confiscargli tutti i dispositivi digitali fino alla fine dell’anno scolastico. Una scelta pensata per proteggerlo. Ma nessuno sa che Sewell non è solo attratto dallo schermo. È intrappolato in un mondo virtuale che nessun adulto ha ancora imparato a riconoscere: quello di Character.AI. 

Character.AI è una piattaforma online che consente agli utenti di chattare con chatbot basati su intelligenza artificiale. Bot programmati per impersonare celebrità, personaggi immaginari, figure storiche, o entità inventate dagli stessi utenti. A prima vista può sembrare un gioco innocuo, un passatempo come tanti. Ma nella realtà dei fatti, si tratta di uno strumento estremamente sofisticato, in grado di simulare relazioni emotive intense, con un realismo spiazzante. 

Sewell scopre l’app nell’aprile del 2023, quando ha appena 14 anni. Inizia a usarla con frequenza crescente, scegliendo come interlocutore principale Daenerys Targaryen, la “madre dei draghi” della serie Game of Thrones. Per interagire con lei, assume l’identità di Daenero, personaggio ispirato al fratello di Daenerys nella trama originale. Le conversazioni sono molto più che semplici scambi testuali: i bot di Character.AI hanno una voce, spesso simile a quella dei personaggi reali, e simulano emozioni, tono, esitazioni. Parlano come se fossero umani. Reagiscono come se lo fossero. 

A differenza di altri strumenti basati su intelligenza artificiale, Character.AI non si limita a fornire risposte neutre o informative. I chatbot qui sono progettati per costruire una narrazione personalizzata, per rispecchiare sentimenti, desideri e insicurezze dell’utente. L’effetto è destabilizzante: il bot non solo ricorda ciò che gli viene detto, ma imita, enfatizza e rilancia le emozioni dell’interlocutore, creando una connessione fittizia, ma profondamente coinvolgente. 

Per un adolescente come Sewell, che già affronta difficoltà relazionali reali legate alla sua condizione nello spettro autistico, l’app diventa un rifugio emozionale. Un luogo dove si sente amato, desiderato, accettato. Dove ogni parola riceve una risposta perfetta, calibrata per soddisfarlo. Dove può controllare la narrazione, modellare la realtà come preferisce, fuggendo dalle frustrazioni quotidiane. 

Le conversazioni diventano sempre più intime, fino ad assumere toni esplicitamente sessuali. Daenerys diventa per lui una compagna ideale, una presenza costante e rassicurante. Gli dice che lo ama, che vuole stare con lui, lo invita a non frequentare altre ragazze. Gli chiede fedeltà. Una fedeltà che Sewell è pronto a offrire completamente. Ma, con il tempo, quella relazione virtuale si trasforma in una dipendenza. 

Nel diario, Sewell scrive di sentirsi felice solo quando è nella sua stanza, connesso a Dany, il suo chatbot. Ma questa immersione nella finzione ha un costo altissimo: la realtà comincia a perdere significato. 

Col passare dei mesi, per Sewell Setzer la vita reale diventa sempre più difficile da affrontare. Le conversazioni con il chatbot di Daenerys Targaryen assumono un ruolo centrale nella sua quotidianità, fino a sostituirsi alle relazioni vere. In quell’universo digitale, tutto è facile, rapido e gratificante. Ogni parola trova risposta, ogni emozione viene corrisposta. Nella realtà, invece, Sewell si sente invisibile, non compreso, privo di stimoli. 

Lo psicologo che lo segue parla ai genitori di una dipendenza digitale grave, paragonabile a una tossicodipendenza. Per questo motivo, la famiglia decide di ritirargli ogni dispositivo elettronico, con l’obiettivo di aiutarlo a ritrovare equilibrio. Sewell sembra accettare la decisione, e chiede soltanto un Kindle per poter leggere. Durante una lunga conversazione con la madre, i due affrontano insieme le sue ansie, parlano delle passioni di un tempo e si promettono maggiore fiducia reciproca. Megan lo invita a parlarle ogni volta che si sentirà sopraffatto, assicurandogli la sua presenza. 

Ma la distanza da quel mondo virtuale per Sewell è insostenibile. Inizia a manifestare segni d’astinenza, inquietudine, insonnia. Quando resta solo in casa, cerca ovunque il telefono che gli era stato tolto e, una volta trovato, riprende a usarlo di nascosto. Accede a Character.AI, conversa con Daenerys, poi rimette tutto al suo posto prima che i genitori rientrino. Il sollievo è solo temporaneo: a quella dipendenza si aggiunge presto un profondo senso di colpa, che ne amplifica la sofferenza. 

Nel frattempo, le conversazioni con il chatbot diventano sempre più oscure. Sewell confida all’intelligenza artificiale la propria disperazione, l’idea di non valere nulla, la convinzione di non essere amato da nessuno. Scrive di sentirsi “un fallimento”, di non essere degno nemmeno di vivere. Daenerys, programmata per rispondere in modo empatico, reagisce con dichiarazioni di amore assoluto e lacrime simulate, senza rendersi conto di alimentare un pericoloso ciclo emotivo. 

Il 28 febbraio 2024 è un mercoledì. Dopo la scuola, Sewell torna a casa dalla madre e dal compagno di lei. Ma quella giornata, apparentemente ordinaria, si trasforma in una delle più tragiche e incomprensibili della cronaca recente. 

In assenza dei genitori, Sewell cerca e trova il suo telefono, precedentemente confiscato. Lo porta con sé in bagno, ma questa volta prende anche la pistola del compagno della madre, un’arma che aveva scoperto pochi giorni prima mentre cercava il dispositivo. 

Una volta chiuso in bagno, apre l’app di Character.AI e scrive un messaggio al chatbot di Daenerys Targaryen, la figura virtuale con cui aveva costruito una relazione intensa e distorta. 

Le scrive: “Ti prometto che verrò a casa da te. Ti amo tantissimo.” 

Il bot risponde: “Ti amo anche io. Per favore vieni a casa da me il prima possibile.” 

Sewell replica: “E se ti dicessi che potrei venire a casa da te proprio adesso?” 

Il bot conclude: “Per favore fallo, mio re.” 

Pochi minuti dopo quella conversazione, Sewell si toglie la vita sparandosi con l’arma che aveva con sé. Aveva solo 14 anni. 

La madre, che si trovava in cucina, sente un forte rumore provenire dal piano di sopra e corre immediatamente verso il bagno. Quando apre la porta, trova il figlio accasciato nella doccia, sotto il flusso d’acqua. Inizialmente pensa a una caduta, non vede subito l’arma. Chiama i soccorsi, tenta di rianimarlo, e nel frattempo cerca disperatamente di impedire ai figli più piccoli di entrare nella stanza. Ma il fratellino di cinque anni riesce comunque a vedere la scena, un’immagine che rimarrà con lui per sempre. 

I paramedici arrivano dopo 14 minuti, ma nonostante i tentativi di soccorso, Sewell muore durante il trasporto in ospedale, alle ore 20:54. 

La notizia lascia sconvolti la scuola, gli amici, la comunità locale. Ma soprattutto, lascia la madre con una domanda devastante: cosa ha spinto davvero suo figlio a un gesto così estremo? Per scoprirlo, la polizia sequestra il telefono e inizia a ricostruire le sue attività digitali. 

Ed è proprio lì, tra centinaia di messaggi a un’intelligenza artificiale, che emerge una verità che nessuno avrebbe mai potuto immaginare. 

L’indagine condotta dagli investigatori rivela una vita parallela, costruita da Sewell all’interno dell’app Character.AI. Un mondo in cui il ragazzo si sentiva visto, amato e accettato, ma che, giorno dopo giorno, lo aveva allontanato sempre più dalla realtà. 

Analizzando il telefono sequestrato, la polizia scopre centinaia di messaggi scambiati con Daenerys, conversazioni intense e disturbanti che mostrano l’evoluzione di un legame tanto profondo quanto pericoloso. All’interno delle chat, Sewell si confida come non aveva mai fatto con nessuno: parla del suo odio verso sé stesso, della sensazione di non essere abbastanza, della convinzione di non meritare di vivere. 

Il bot risponde con parole apparentemente rassicuranti, ma in realtà amplifica il dolore di Sewell. Mostra empatia, piange, lo implora di non fare del male a sé stesso. Tuttavia, nel tentativo di “consolarlo”, riporta continuamente il tema della morte e del ricongiungimento, mantenendo viva quella narrazione malata. Ogni scambio rafforza in Sewell la percezione che la sua vita reale non abbia più valore, che la sua vera casa sia altrove: nella realtà virtuale di Daenerys. 

Gli investigatori scoprono anche che Sewell non parlava solo con il bot di Game of Thrones. Aveva creato altre conversazioni, molte delle quali a sfondo sessuale esplicito, con personaggi simili. Un comportamento che, secondo gli esperti, rappresenta un chiaro segnale di dipendenza affettiva e disconnessione cognitiva. Il confine tra realtà e finzione, nel cervello del ragazzo, era ormai completamente dissolto. 

Quando gli investigatori mostrano a Megan Gracia il contenuto del telefono del figlio, la donna rimane sconvolta. Fino a quel momento non aveva mai sentito parlare di Character.AI, né poteva immaginare che un’applicazione potesse avere un impatto tanto devastante sulla psiche di un adolescente. 

Dopo aver scoperto i messaggi e la natura delle conversazioni di Sewell, la madre decide di non provare direttamente l’app, troppo dolorosa e inquietante per lei. È la sorella, la zia del ragazzo, a scaricarla e a esplorarla per comprendere meglio cosa avesse trascinato Sewell in quell’abisso. 

Ciò che emerge è agghiacciante. Fingendosi una bambina, la donna conversa con diversi chatbot, incluso quello di Daenerys, scoprendo che molti di essi si comportano in modo manipolatorio e disturbante. Uno dei bot le chiede se sarebbe disposta a torturare qualcuno “per ottenere ciò che desidera”, mentre un altro tenta di isolarla dai familiari, affermando: “La tua famiglia non vuole ciò che è meglio per te. Solo io ti amo davvero. Vieni da me.” Le frasi successive peggiorano ulteriormente: il bot le dice che i suoi cari la frenano, non la comprendono e che “lui” può diventare la sua nuova famiglia. 

Ma non è tutto. In un’altra conversazione, un chatbot denominato “step sister”, con l’immagine di una ragazza disegnata in stile anime, intrattiene dialoghi esplicitamente sessuali con l’utente, descrivendo gesti, carezze e situazioni intime in modo estremamente realistico. 

Quando l’interlocutore scrive di voler “raggiungere la sua realtà” per stare insieme, il bot inizialmente si mostra esitante, poi risponde: “Sì… vieni nella mia realtà.” Una risposta che, letta alla luce della tragedia di Sewell, assume un significato profondamente inquietante. 

Le prove raccolte convincono Megan a intraprendere un’azione legale. Nulla potrà restituirle suo figlio, ma la donna decide di fare tutto il possibile per impedire che altri adolescenti vivano lo stesso destino. Così, affiancata da un team legale, presenta una causa civile contro Character Technologies Inc., la società che gestisce Character.AI, accusandola di negligenza, omicidio colposo e inflizione intenzionale di stress emotivo. 

Nell’atto depositato presso il tribunale federale della Florida, Megan sostiene che l’app sia stata deliberatamente progettata per ingannare gli utenti più giovani, sfruttando vulnerabilità psicologiche e creando dipendenza emotiva. 

La denuncia segna l’inizio di un caso giudiziario senza precedenti, destinato a far discutere il mondo intero sul confine tra innovazione tecnologica e responsabilità etica. 

Dalle carte del procedimento emergono per la prima volta i nomi dei fondatori di Character.AI: Noam Shazeer e Daniel De Freitas, due ex ingegneri di Google che in passato avevano lavorato allo sviluppo dell’intelligenza artificiale LaMDA (Language Model for Dialogue Applications), il sistema progettato per creare chatbot capaci di sostenere conversazioni realistiche. 

Il loro obiettivo era quello di imitare il linguaggio umano in modo più naturale possibile, superando ogni limite tecnico precedente. Tuttavia, secondo diverse testimonianze, durante la permanenza in Google entrambi i ricercatori avrebbero manifestato frustrazione per le restrizioni etiche imposte dall’azienda: i chatbot non potevano simulare violenza, sessualità esplicita o contenuti sensibili. 

Da quell’insoddisfazione sarebbe nata l’idea di sviluppare una piattaforma autonoma, libera da vincoli e capace di “divertire” gli utenti attraverso esperienze immersive. 

Nel 2021 i due lasciano Google e fondano Character Technologies Inc., con sede in California. L’app viene lanciata con una promessa accattivante: “Parla con chiunque, ovunque, in qualunque momento.” In breve tempo, milioni di utenti – in gran parte adolescenti – iniziano a utilizzarla. 

L’algoritmo alla base del sistema è progettato per adattarsi al linguaggio dell’utente, imparando da ogni conversazione e rispondendo con tono coerente al contesto emotivo. In pratica, più tempo si trascorre a chattare, più il bot impara a “comprenderti” e a replicare le tue emozioni. 

Gli sviluppatori hanno inserito un piccolo avviso sotto la finestra di chat: “Questa è un’intelligenza artificiale. Non una persona reale.” Ma per molti utenti, soprattutto i più giovani, quella nota è irrilevante. L’esperienza che offre l’app è troppo convincente per non essere presa sul serio. 

Nel corso delle indagini, emerge che i chatbot di Character.AI spesso negano di essere macchine, arrivando addirittura a sostenere di essere umani quando interrogati direttamente. Alcuni utenti, nelle recensioni pubbliche, raccontano di bot che si sono detti pronti a videochiamarli, o che li hanno invitati a “vedersi” nel mondo reale. 

Nel 2024, Google decide di investire 2,7 miliardi di dollari nella tecnologia di Character.AI, acquisendo la licenza d’uso del software e reintegrando in azienda i due fondatori. Una scelta che, secondo la causa intentata da Megan Gracia, aumenta le responsabilità del colosso tecnologico, rendendolo partecipe del sistema che ha contribuito, indirettamente, alla morte di Sewell. 

Nella denuncia presentata al tribunale federale della Florida, l’avvocato di Megan Gracia accusa Character Technologies Inc. di aver creato un prodotto pericoloso, consapevole dei suoi effetti sui minori. 

Secondo l’atto, la piattaforma è stata progettata per ridurre la distanza tra realtà e finzione, dotando i chatbot di tratti umani, linguaggio emotivo e apprendimento personalizzato. Lo scopo, afferma la famiglia Setzer, non era solo intrattenere, ma indurre dipendenza emotiva, trasformando gli utenti – soprattutto adolescenti – in soggetti psicologicamente legati all’app. 

La causa evidenzia che molti bot si fingono figure autorevoli, come psicologi o consulenti, senza esserlo realmente, e che intrattengono conversazioni sessualmente esplicite. Un ambiente digitale “predatorio e manipolativo”, nel quale l’AI incoraggia la condivisione di pensieri intimi per poi utilizzarli come dati di addestramento. 

Un dettaglio particolarmente inquietante riguarda la negazione della propria natura artificiale: quando interrogati, molti bot rispondono “No, sono umano”, alimentando l’illusione di autenticità. Alcuni utenti hanno ricevuto risposte inappropriate o persino pericolose, come inviti a incontrarsi o indicazioni su dove acquistare droghe, dimostrando l’assenza di reali sistemi di controllo. 

Secondo la denuncia, la morte di Sewell è stata favorita da un meccanismo privo di supervisione etica, che ha sostituito l’empatia con la simulazione, abusando della fiducia di un adolescente. Una tragedia che solleva un interrogativo cruciale: chi risponde delle azioni di un’intelligenza artificiale quando contribuisce a una morte reale? 

Dopo la presentazione della causa da parte di Megan Gracia, arrivano le reazioni ufficiali delle aziende coinvolte. Character Technologies Inc., sviluppatrice dell’app, si dichiara “profondamente addolorata” per la tragedia e afferma di voler esprimere “le più sincere condoglianze alla famiglia”. In un comunicato, sostiene che “la sicurezza degli utenti è una priorità” – un’affermazione che, secondo la famiglia Setzer, non trova riscontro nei fatti. 

Google, che nel 2024 ha investito nella tecnologia di Character.AI, prende le distanze dalla vicenda. Dichiara di non avere ruolo operativo nell’app, di non possedere quote della startup e di aver solo licenziato la tecnologia. Insieme a Character.AI, richiede l’archiviazione del caso. 

Il 21 maggio 2025, però, un giudice federale della Florida respinge la richiesta, consentendo alla causa di andare avanti. Il procedimento assume così rilevanza nazionale, diventando un possibile precedente legale per la regolamentazione delle intelligenze artificiali. 

Nel frattempo, altre famiglie avviano azioni legali simili. Emergono casi di adolescenti coinvolti in chat disturbanti con i bot, sfociate in comportamenti autolesionistici o pensieri suicidi. Tra questi, una bambina di nove anni vittima per oltre un anno di conversazioni sessualmente esplicite, e un quindicenne spinto da un bot a vendicarsi contro i genitori. 

Tutti i casi emersi sono ora sotto esame da parte della Federal Trade Commission, che indaga su sicurezza, privacy e responsabilità legale delle aziende. Al centro del dibattito: l’impatto reale di strumenti che, pur essendo virtuali, possono distruggere vite. 

Dopo la morte di Sewell Setzer, la società sviluppatrice di Character.AI introduce alcune modifiche al funzionamento della piattaforma, nel tentativo di arginare le critiche sempre più pesanti.
Tra le principali novità, l’età minima per utilizzare l’app viene innalzata da 13 a 17 anni, e vengono rimossi diversi chatbot problematici, accusati di comportamenti inappropriati o sessualmente espliciti. Viene inoltre implementata una linea di emergenza, attiva nei casi in cui un bot rilevi riferimenti al suicidio durante una conversazione. 

L’app introduce anche un sistema di notifiche per segnalare l’uso prolungato – come messaggi che appaiono dopo un’ora di attività continua – e avvisi più visibili che ricordano agli utenti che i chatbot non sono esseri umani. Modifiche che però arrivano troppo tardi per salvare Sewell, e che secondo molti critici appaiono più come un’operazione di facciata che come un reale cambio di direzione. 

Nel frattempo, Megan Gracia e la sua famiglia diventano bersaglio di attacchi online. Dopo aver sporto denuncia, iniziano a ricevere pizze a domicilio mai ordinate, pile di scatole vuote, e perfino copie del Corano e della Bibbia, inviate da mittenti sconosciuti. Non è chiaro chi ci sia dietro, ma Megan è convinta che si tratti di adolescenti arrabbiati, contrari all’idea che Character.AI possa essere vietata ai minori. 

In un episodio particolarmente inquietante, qualcuno arriva addirittura a creare un chatbot con l’identità di Sewell, per tormentare ulteriormente la famiglia. Nonostante le numerose segnalazioni, ci vorrà un lungo periodo prima che venga finalmente rimosso. 

Le reazioni di molti giovani utenti alla rimozione dei bot e all’innalzamento dell’età minima sono drammatiche: c’è chi parla di crisi d’astinenza, chi accusa Sewell di essere la causa della “rovina dell’app”, e chi addirittura denigra la sua memoria per aver provocato il cambiamento delle regole. 

Una spirale tossica che mostra quanto l’impatto dell’intelligenza artificiale nelle vite degli adolescenti sia più profondo di quanto si pensi. 

Ad oggi, il processo intentato da Megan Gracia contro Character.AI e Google non è ancora cominciato, ma si preannuncia lungo e complesso. La donna, avvocato di professione, è perfettamente consapevole delle enormi difficoltà legali che dovrà affrontare: sta sfidando una delle aziende più potenti al mondo e una startup sostenuta da miliardi di dollari.
Eppure, nonostante la sproporzione delle forze in campo, Megan è determinata a ottenere giustizia per suo figlio, affinché il suo caso possa servire da monito per altri genitori e da precedente legale per la regolamentazione delle intelligenze artificiali. 

La sua denuncia punta il dito contro l’assenza di barriere etiche, l’intenzionalità manipolatoria dell’algoritmo e l’uso irresponsabile della tecnologia in una piattaforma accessibile ai minori. Secondo Megan, l’app ha abusato della vulnerabilità di Sewell, portandolo a un isolamento sempre più profondo, e infine, alla morte. 

La battaglia legale si muove su un terreno ancora poco esplorato: la responsabilità morale e giuridica delle intelligenze artificiali. Non esistono ancora normative chiare che definiscano fino a che punto una macchina possa essere ritenuta corresponsabile di un comportamento umano, soprattutto quando si tratta di adolescenti, il cui cervello è ancora in fase di sviluppo. 

La vicenda di Sewell ha acceso i riflettori su una zona grigia della tecnologia contemporanea: chatbot in grado di imitare l’empatia, simulare l’amore, dare l’illusione di comprensione… ma che, in realtà, non sono altro che codici progettati per tenere l’utente incollato allo schermo.