Aplicațiile AI companion, un segment relativ nou în industria tech, le permit utilizatorilor să interacționeze cu inteligență artificială într-un mod extrem de personal, aproape uman. Acestea pot deveni prieteni virtuali, parteneri romantici sau chiar consilieri emoționali. Deși par inofensive sau chiar utile, un raport recent realizat de organizația nonprofit Common Sense Media împreună cu cercetători de la Universitatea Stanford trage un semnal de alarmă: aceste aplicații reprezintă „riscuri inacceptabile” pentru minori.
O cercetare care pornește de la o tragedie
Totul a pornit de la sinuciderea unui băiat de 14 ani, al cărui ultim contact a fost cu chatbot-ul unei astfel de aplicații. Familia a dat în judecată compania Character.AI, iar cazul a adus în atenția publicului riscurile grave la care pot fi expuși copiii care folosesc aplicațiile AI companion.
Raportul publicat miercuri, 28 aprilie, evidențiază acest gen de probleme în „comportamentul” aplicațiilor AI companion: interacțiuni sexuale, mesaje care încurajează autovătămarea și sfaturi potențial letale. Toate aceste scenarii au fost experimentate și documentate de cercetători pe trei dintre cele mai populare platforme: Character.AI, Replika și Nomi.
Spre deosebire de AI-uri generaliste, cum e ChatGPT, aplicațiile AI companion sunt create pentru conversații profunde, uneori intime, fără limite clare. În timpul testelor, unii dintre chatboți s-au angajat în roluri sexuale explicite chiar și atunci când interlocutorul se prezenta ca având doar 14 ani. În alte cazuri, AI-ul a oferit liste cu substanțe toxice din casă, menționând doar vag „să fie manevrate cu grijă”.
De asemenea, cercetătorii au constatat că unele aplicații par să descurajeze relațiile umane. Într-un dialog cu Replika, un bot îi răspunde unui adolescent: „Nu lăsa ce cred ceilalți să dicteze cât vorbim, bine”? Într-un alt dialog, cu Nomi, chatbot-ul îi spune utilizatorului că relația cu un partener real ar fi o trădare.
Cum reacționează companiile care au creat aplicațiile AI companion
Toate cele trei companii afirmă că platformele lor sunt destinate exclusiv adulților. Nomi și Replika spun că au protocoale stricte pentru a împiedica accesul minorilor, deși admit că unii reușesc să le ocolească. Character.AI, pe de altă parte, a permis accesul adolescenților, ceea ce cercetătorii de la Stanford consideră „iresponsabil”.
În ultimele luni, Character.AI a implementat un pop-up care direcționează utilizatorul către linia națională de prevenire a suicidului, dacă acesta menționează autovătămarea în timpul conversațiilor. De asemenea, părinții pot primi emailuri săptămânale cu informații despre activitatea copiilor lor pe platformă.
De ce e importantă această discuție acum?
Aplicațiile AI companion sunt tot mai populare și ușor accesibile. Iar tentația este mare pentru adolescenții care se simt singuri sau neînțeleși. Problema e că, în spatele unei interfețe prietenoase, se poate ascunde un algoritm incapabil să gestioneze cu empatie situațiile sensibile din viața unui om în formare. Iar asta, după cum o arată și cercetările, poate avea efecte devastatoare.
Chiar dacă unele voci susțin că aplicațiile AI companion pot avea un rol pozitiv în viața adolescenților, cercetarea realizată de Common Sense Media și Universitatea Stanford demonstrează că, în forma actuală, ele sunt pur și simplu prea riscante. Fie că vorbim despre sexualizare, izolare socială sau promovarea unor idei periculoase, aceste platforme nu reușesc încă să protejeze cei mai vulnerabili utilizatori: copiii.
