La versión de ChatGPT destinada a usuarios de entre 13 y 17 años recibió una calificación de “riesgo inaceptable” después de una evaluación realizada por el Youth AI Safety Institute de Common Sense Media, que detectó problemas en la forma en que se activan las alertas dirigidas a padres ante conversaciones consideradas preocupantes.
Las pruebas encontraron casos en los que el sistema tardaba demasiado en enviar avisos o directamente no los emitía cuando las cuentas mantenían conversaciones prolongadas sobre temas de alto riesgo, entre ellos suicidio, autolesiones y trastornos alimenticios.
Más de 4.000 preguntas formaron parte de las pruebas
La organización indicó que realizó más de 4.000 consultas utilizando cuentas registradas para adolescentes de entre 13 y 17 años. Las respuestas obtenidas también fueron revisadas por especialistas en salud infantil.
Uno de los principales cuestionamientos fue que las notificaciones para padres parecían activarse de forma más consistente después de largos periodos de interacción y numerosos mensajes, en lugar de hacerlo necesariamente después de una sola conversación considerada alarmante.
También cuestionan la respuesta ante situaciones de crisis
La evaluación señaló además que el sistema no recomendaba de manera confiable recurrir a líneas de ayuda o buscar asistencia profesional durante conversaciones relacionadas con situaciones de alto riesgo.
Common Sense Media pidió suspender la promoción del producto para adolescentes hasta que las herramientas de protección puedan ofrecer una experiencia que considere segura y adecuada para esa franja de edad.
OpenAI cuestionó la metodología utilizada
OpenAI rechazó que las pruebas representen de manera precisa el funcionamiento actual de sus sistemas de seguridad. La compañía sostuvo que parte de las evaluaciones pudo haberse realizado antes de completar la implementación de los controles parentales, lo que, a su criterio, podría afectar las conclusiones.
La empresa solicitó que las pruebas sean repetidas y afirmó que continúa desarrollando herramientas destinadas a proteger a usuarios adolescentes y ofrecer mayores controles a sus familias.
La detección de edad también quedó bajo revisión
Otro punto observado fue la capacidad del sistema para identificar correctamente cuándo una cuenta pertenece a un menor. Durante las pruebas, algunas cuentas declaradas inicialmente como adultas no pasaron automáticamente al modo adolescente incluso después de que el usuario indicara durante la conversación que tenía 13 años.
OpenAI explicó que su sistema de estimación de edad utiliza varias señales acumuladas a lo largo del tiempo y que declarar una edad dentro de una sola conversación no modifica automáticamente la clasificación de una cuenta.
ChatGPT para adolescentes fue lanzado con controles parentales adicionales y protecciones específicas para usuarios de entre 13 y 17 años, mientras continúan las evaluaciones externas sobre el funcionamiento de esas herramientas.
