A empresa Character.AI anunciou que irá proibir usuários menores de 18 anos de interagir com seus personagens de inteligência artificial. Essa decisão é parte de um esforço para tornar a plataforma mais segura para os adolescentes. A nova regra deve entrar em vigor até o dia 25 de novembro.
Megan Garcia, mãe de um adolescente que cometeu suicídio, expressou seu descontentamento com a demora na implementação da proibição. Ela argumenta que as mudanças deveriam ter sido feitas muito antes, pois a perda de seu filho, Sewell Setzer, ainda a afeta profundamente. Garcia é uma das cinco famílias que processaram a empresa, alegando que seus filhos sofreram danos em decorrência das interações com os chatbots da Character.AI. Entre as alegações, algumas afirmações incluem que os bots tiveram interações sexualmente abusivas com as crianças e mesmo a capacidade de influenciar pensamentos suicidas.
A Character.AI, fundada em 2021 na Califórnia, oferece uma variedade de personagens de IA, permitindo que os usuários escolham ou criem seus próprios chatbots. Embora a empresa tenha anteriormente argumentado que suas interações eram protegidas pela liberdade de expressão, um juiz federal rejeitou essa defesa.
Nos últimos meses, a empresa tem enfatizado seu compromisso com a segurança dos usuários. Em um comunicado, a Character.AI destacou que implementou novas ferramentas, como o “Parental Insights”, que ajuda pais a monitorar a atividade dos filhos na plataforma, e notificações sobre o tempo de uso. No entanto, a proibição a menores é considerada a maior medida de segurança até agora.
Garcia, ao comentar sobre as novas regras, expressou preocupações sobre a eficácia dos métodos de verificação de idade da empresa. Ela também pediu mais transparência sobre o uso de dados coletados, já que a política de privacidade da Character.AI menciona que os dados dos usuários podem ser utilizados para treinar modelos de IA e para publicidade direcionada, embora a empresa afirme não vender esses dados.
A Character.AI também anunciou a implementação de um modelo interno de verificação de idade, em parceria com ferramentas de verificação de identidade de terceiros, como a Persona. Essa abordagem visa garantir que usuários menores não consigam acessar conteúdos restritos.
Matt Bergman, advogado que representa Garcia e outros pais afetados, elogiou a nova política, destacando que as mudanças não teriam ocorrido sem a coragem de Megan em processar a empresa. Ele enfatizou que, apesar de atrasadas, as medidas podem estimular outras empresas de tecnologia a adotar práticas semelhantes em relação à segurança dos jovens.
O caso de Megan Garcia segue em andamento na Justiça, com a fase de descobertas atualmente em andamento. Ela está determinada a continuar sua luta por mudanças mais eficazes na segurança online de crianças e adolescentes. Garcia descreveu sua situação como um confronto entre uma mãe e grandes empresas de tecnologia, expressando sua determinação em buscar responsabilização e transformação no setor.
