Los padres de una niña de 13 años han presentado una demanda contra Google, alegando que su hija planificó un posible suicidio y su funeral utilizando la tecnología de inteligencia artificial (IA) de la empresa en una computadora proporcionada por su escuela. Este caso se considera el primer incidente conocido que acusa al gigante tecnológico estadounidense de negligencia en relación con el uso de la IA en los Chromebooks, dispositivos utilizados por millones de estudiantes en Estados Unidos y en todo el mundo.
La adolescente, identificada como Emma, no tuvo acceso a la aplicación Gemini de Google ni a ChatGPT de OpenAI, ya que su escuela las había bloqueado. Sin embargo, pudo utilizar el motor de búsqueda de Google, que incorpora herramientas impulsadas por IA. Estas características no fueron incluidas entre las herramientas que Google anunció recientemente que serán desactivadas por defecto para los estudiantes.
“Las escuelas deberían desactivar la búsqueda y mantenerla desactivada hasta que Google elimine el modo de IA de la búsqueda o garantice que cada estudiante esté siempre seguro cuando interactúe con la IA”, afirmó Andrew Liddell, uno de los abogados de la familia.
La demanda, presentada el lunes en un tribunal de California, sostiene que Emma era una “niña feliz de 13 años” que residía en Carolina del Norte, obtenía excelentes calificaciones, tocaba música y participaba en actividades de las Girl Scouts. A pesar de no tener antecedentes de problemas de salud mental, tras unos meses de uso de la búsqueda con IA de Google en su computadora portátil escolar, comenzó a experimentar una “silenciosa espiral en una grave crisis psicológica”.
El 17 de marzo, un software de monitoreo de la escuela detectó un documento titulado “Funeral” y notificó a los padres de la situación. Su madre observó a Emma redactar una carta de despedida en tiempo real al iniciar sesión en la cuenta de su hija, momento en el cual su padre tuvo que intervenir.
“Estamos revisando las alegaciones de la demanda y nos tomamos esto muy en serio”, declaró Jose Castaneda, portavoz de Google. La empresa sostiene que el modo de IA incluye protecciones contra autolesiones y contra intentos de eludir dichas medidas. Sin embargo, el abogado Liddell comentó que Emma “pudo seguir volviendo una y otra y otra vez”, argumentando que las protecciones implementadas por Google fueron “obviamente insuficientes”.
Los desarrolladores de tecnología de IA, en un contexto de rápida evolución, enfrentan una creciente cantidad de demandas similares en Estados Unidos.
Fuente: La Nación
