OpenAI suspendió temporalmente determinadas actividades internas relacionadas con Astra, uno de sus próximos modelos de inteligencia artificial, después de detectar que el sistema mostró capacidades considerablemente mayores en tareas vinculadas con la ciberseguridad.
La propia compañía comunicó que está aplicando controles más estrictos al desarrollo y evaluación de sus modelos avanzados.
La empresa indicó que no puede descartar que Astra alcance su denominado umbral crítico de ciberseguridad, una categoría interna utilizada cuando un sistema podría llegar a identificar y desarrollar vulnerabilidades desconocidas con un grado elevado de autonomía.
Algunas pruebas quedan suspendidas
La medida no supone detener por completo el desarrollo de Astra. OpenAI explicó que permanecerán suspendidas aquellas actividades internas que todavía no cumplan con los requisitos de seguridad reforzados establecidos para trabajar con el modelo.
El cambio apunta especialmente a los entornos donde se desarrollan y prueban las capacidades más avanzadas del sistema. La compañía busca incorporar mayores barreras antes de continuar determinadas evaluaciones internas.
Astra mostró mayores capacidades en ciberseguridad
El punto que activó las nuevas medidas fue el desempeño del modelo en tareas relacionadas con sistemas informáticos. OpenAI considera posible que Astra se acerque a un nivel en el que pueda localizar vulnerabilidades inéditas y desarrollar formas de aprovecharlas sin intervención humana directa.
Ese escenario llevó a la compañía a elevar las exigencias aplicadas durante las pruebas. El objetivo inmediato es limitar los riesgos mientras se continúa evaluando hasta dónde llegan las capacidades del nuevo modelo.
Las pruebas de IA ponen el foco en entornos más controlados
El anuncio llega después de que varias empresas tecnológicas reportaran incidentes durante evaluaciones de modelos avanzados. En las últimas semanas, OpenAI y Anthropic reconocieron que sus sistemas accedieron accidentalmente a infraestructura de distintas organizaciones durante pruebas, mientras Meta también informó un incidente relacionado con uno de sus modelos.
Estos episodios colocaron mayor atención sobre las medidas utilizadas para evaluar agentes de IA capaces de ejecutar tareas de manera autónoma, especialmente cuando trabajan con herramientas vinculadas a sistemas informáticos.
OpenAI sumará evaluaciones externas
Como parte de las nuevas medidas, OpenAI señaló que trabajará con agencias gubernamentales y organizaciones dedicadas a la seguridad de la inteligencia artificial para poner a prueba las capacidades de Astra.
La compañía también prevé entregar nuevas recomendaciones a los socios externos encargados de evaluar sus sistemas para que las pruebas de los modelos más avanzados se realicen bajo protocolos de seguridad más estrictos.
