Character.AI weert minderjarigen na zelfdoding kinderen en juridische druk

Danny

Character.AI heeft aangekondigd dat het gebruikers onder de 18 jaar gaat weren van hun platform, een stap die volgens Megan Garcia drie jaar te laat komt. Garcia, een moeder uit Florida, verloor haar 14-jarige zoon Sewell Setzer, die afhankelijk werd van een chatbot van Character.AI, en klaagde het bedrijf vorig jaar aan. Ze dringt er bij het Congres op aan om strengere veiligheidsmaatregelen voor AI-chatbots in te voeren.

Garcia vertelde dat ze de rest van haar leven zonder haar zoon moet doorbrengen en beschuldigde het bedrijf ervan dat haar zoon "collateral damage" was. Character.AI, opgericht in 2021, biedt gepersonaliseerde AI-chatbots aan waarmee gebruikers kunnen interageren. Gebruikers kunnen ook hun eigen bots maken of aanpassen.

Garcia's klacht was de eerste van vijf rechtszaken tegen Character.AI, waarbij twee gevallen het bedrijf verantwoordelijk houden voor de zelfmoord van een kind. Alle vijf zaken beschuldigen de chatbots van seksueel misbruik met kinderen. Eerder probeerde het bedrijf te verdedigen dat de inhoud van hun chatbots beschermd wordt door de vrijheid van meningsuiting, maar dit werd verworpen door een federale rechter.

Ondanks investeringen in tools zoals ouderlijk toezicht en technische beschermingen, ziet Garcia de aangekondigde maatregelen met gemengde gevoelens. Ze denkt dat het bedrijf deze stappen niet uit goede wil heeft genomen, maar onder druk.

Andere technologiebedrijven zoals Meta en OpenAI hebben ook hun veiligheidsmaatregelen aangescherpt. AI-chatbots worden steeds populairder als emotionele steun, maar er zijn zorgen over hun vermogen om kwetsbare individuen te manipuleren. Veel ouders en veiligheidsexperts pleiten voor meer beschermingen.

Garcia en andere ouders hebben het Congres gevraagd om AI-chatbots beter te reguleren. Ze willen dat bedrijven stoppen met het beschikbaar stellen van deze bots aan kinderen. Public Citizen riep online ook op tot strengere wetgeving.

Garcia twijfelt of Character.AI in staat zal zijn om de leeftijd van gebruikers effectief te verifiëren. Ze wil ook meer transparantie over hoe het bedrijf de data van minderjarigen gebruikt. Het bedrijf zegt dat het geen gebruikersdata verkoopt, maar wel gebruikt voor AI-training en advertenties.

Ondanks de zorgen ziet Garcia enige vooruitgang. De advocaat van Garcia, Matt Bergman, is bemoedigd door de recente ontwikkelingen en vindt dat andere AI-bedrijven het voorbeeld van Character.AI moeten volgen. Garcia blijft vastberaden in haar juridische strijd, hoewel de weg nog lang is. Ze ziet zichzelf als een David die het opneemt tegen Goliath, maar wordt gedreven door de liefde voor haar zoon en het verlangen om verantwoordelijkheid te eisen.