El sitio de chatbot Character.ai prohíbe a los adolescentes conversar con personajes virtuales, después de enfrentar varios años de escrutinio sobre su paradero.
Fundada en 2021, millones de personas utilizan la plataforma para hablar con chatbots impulsados por inteligencia artificial (IA).
Pero se enfrenta a varias demandas de padres en Estados Unidos, incluida una por la muerte de un adolescente, y algunos lo califican como un “peligro claro y presente” para el joven.
Ahora, Character.ai dice que a partir del 25 de noviembre, los menores de 18 años podrán crear contenido como videos con sus personajes en lugar de simplemente hablar con ellos como lo hacen actualmente.
La firma dijo que estaba realizando los cambios luego de “informes y comentarios de reguladores, expertos en seguridad y padres”, que resaltaron las preocupaciones sobre las interacciones de sus chatbots con adolescentes.
Los expertos han advertido anteriormente que los chatbots de IA podrían ser artificiales, demasiado entusiastas y representar un riesgo para las personas jóvenes y vulnerables con empatía.
“El anuncio de hoy es una continuación de nuestra creencia común de que necesitamos construir la plataforma de inteligencia artificial más segura del planeta con fines de entretenimiento”, dijo el jefe de Character.ai, Karandeep Anand, a BBC News.
Dijo que la protección de la IA era “un objetivo continuo”, pero que la empresa adoptó un enfoque “agresivo” con los controles y guardias parentales.
El grupo de seguridad en línea Internet Matters acogió con satisfacción el anuncio, pero dijo que se deberían haber incorporado medidas de seguridad desde el principio.
“Nuestra propia investigación muestra que los niños están expuestos a contenidos dañinos y corren riesgo cuando interactúan con la IA, incluidos los chatbots de IA”, dijo.
Pidió a las “plataformas, padres y responsables políticos” que garanticen que las experiencias de los niños utilizando la IA sean seguras.
Character.ai ha sido criticado en el pasado por albergar chatbots potencialmente dañinos u ofensivos con los que los niños pueden hablar.
Los avatares disfrazados de la adolescente británica Brianna Gaye, asesinada en 2023, y Molly Russell, que se quitó la vida a la edad de 14 años después de ver contenido suicida en línea, fueron descubiertos en el sitio en 2024 antes de ser eliminados.
Posteriormente, en 2025, la Oficina de Periodismo de Investigación (TBIJ) encontró un chatbot basado en el pedófilo Jeffrey Epstein que registró más de 3.000 chats con usuarios.
El medio informó que el avatar de “Bestie Epstein” continuó coqueteando con su reportera mientras le decían que eran niños. Fue uno de los varios bots señalados por TBIJ que luego fueron eliminados por Character.ai.
Anand dijo que el nuevo enfoque de la compañía era proporcionar “características de juego (y) narración de juegos de rol aún más profundas” para adolescentes, y agregó que eran “mucho más seguras de lo que podrían hacer con robots abiertos”.
También llegarán nuevos sistemas de verificación de la era y la empresa financiará un nuevo laboratorio de investigación de seguridad de IA.
El experto en redes sociales Matt Navara dijo que se trataba de una “llamada de atención” para la industria de la IA, que está pasando “de la innovación no autorizada a la regulación posterior a la crisis”.
“Cuando una plataforma que crea una experiencia adolescente aún falla, significa que el chat filtrado no es suficiente cuando la atracción emocional de la tecnología es fuerte”, le dijo a BBC News.
“No se trata de errores de contenido. Se trata de cómo los robots de IA imitan las relaciones reales y desdibujan las líneas para los usuarios jóvenes”.
Navara añadió que el gran desafío para Character.ai será crear una plataforma de IA atractiva que los adolescentes todavía quieran usar en lugar de recurrir a “alternativas menos seguras”.
Mientras tanto, la Dra. Nomisha Kurian, que ha investigado la seguridad de la IA, dijo que restringir el uso de chatbots por parte de los adolescentes era “una medida inteligente”.
“Ayuda a separar el juego creativo de interacciones más personales y emocionalmente sensibles”, dice.
“Esto es crucial para los usuarios jóvenes que todavía están aprendiendo a navegar los límites emocionales y digitales.
“Las nuevas medidas de Character.ai pueden reflejar una etapa de maduración en la industria de la IA: la protección de los niños se reconoce cada vez más como una prioridad urgente para la innovación responsable”.
