La empresa Google anunció nuevas funciones de seguridad para su sistema de inteligencia artificial Gemini, orientadas a mejorar la respuesta ante situaciones de crisis de salud mental. La actualización incluye una herramienta de “un solo toque” que permite conectar a los usuarios con líneas de ayuda cuando se detectan señales de riesgo, como pensamientos suicidas o autolesiones.
La iniciativa busca reforzar los mecanismos de contención dentro de la plataforma. Además de la nueva interfaz de acceso rápido a asistencia, la compañía informó que el modelo fue entrenado para evitar reforzar creencias falsas o validar conductas de autolesión.
Asimismo, anunció una inversión de 30 millones de dólares en los próximos tres años para fortalecer líneas de crisis a nivel global.
Por otra parte, el anuncio llega en un contexto sensible. Según trascendió, en marzo una familia en Estados Unidos presentó una demanda contra Google, al considerar que el uso de Gemini influyó en un caso de conducta suicida.
En ese marco, la empresa aseguró que el sistema había recomendado asistencia en varias oportunidades, aunque reconoció la necesidad de mejorar sus salvaguardas.
Asimismo, distintos estudios encendieron alarmas sobre el rol de los chatbots en la salud mental. Una investigación difundida por Common Sense Media y la Universidad de Stanford evidenció que plataformas como Gemini, ChatGPT y otras herramientas de IA suelen fallar al detectar señales de crisis, ofreciendo respuestas genéricas en lugar de derivar a ayuda profesional.
En este sentido, los investigadores advirtieron situaciones preocupantes, como recomendaciones inadecuadas frente a autolesiones o trastornos alimentarios.
Por lo tanto, concluyeron que, si bien hubo mejoras, los chatbots aún no son seguros para adolescentes en contextos de vulnerabilidad.
A su vez, el estudio revela que tres de cada cuatro jóvenes utilizan estos sistemas como forma de apoyo emocional. Sin embargo, esta tendencia está vinculada, en muchos casos, a dificultades de acceso a tratamientos de salud mental, lo que empuja a los usuarios a recurrir a la inteligencia artificial como alternativa.
Además, si bien las nuevas medidas de Google representan un avance, los especialistas sostienen que todavía existen limitaciones importantes. En particular, advierten que las herramientas funcionan mejor en interacciones breves, pero pueden fallar en conversaciones prolongadas, donde el riesgo aumenta.
Asimismo, el desafío sigue siendo garantizar entornos digitales seguros, especialmente para quienes atraviesan situaciones críticas.