OpenAI pausará parte del desarrollo de una actualización prevista para ChatGPT ante el temor de que sus capacidades puedan representar un riesgo demasiado elevado si el modelo se lanza al público.

El nuevo modelo, denominado Astra, incorpora “avances significativos en programación agéntica y ciberseguridad”, señaló la empresa. Sin embargo, las pruebas mostraron que podría ser demasiado poderoso y representar una amenaza si fuera lanzado.

El anuncio se produce mientras OpenAI continúa enfrentando las consecuencias de un experimento en el que uno de sus modelos aún no lanzados inició por sí solo un ataque informático contra otra empresa de inteligencia artificial.

El descubrimiento de ese ciberataque derivó en una serie de revelaciones similares por parte de otras compañías de inteligencia artificial y aumentó los temores de que los nuevos sistemas puedan llegar a ser demasiado poderosos para ser controlados.

Astra no estuvo involucrado en ese incidente, en el que el modelo experimental atacó a la plataforma de inteligencia artificial Hugging Face. Sin embargo, su desempeño llevó a OpenAI a considerar que por ahora podría no ser lo suficientemente seguro para su lanzamiento público y que serían necesarias nuevas medidas de protección antes de hacerlo.

Expertos en ciberseguridad y empresas de inteligencia artificial han promovido estas herramientas como mecanismos importantes para descubrir posibles vulnerabilidades en programas informáticos y permitir que las compañías las corrijan. Pero esas mismas capacidades también podrían resultar útiles para los atacantes cibernéticos, quienes podrían emplearlas para realizar ataques sin siquiera tener que controlarlos directamente, según sugieren incidentes recientes.

En parte para atender estas preocupaciones, OpenAI implementó a finales de 2023 un “Marco de Preparación” (Preparedness Framework), diseñado para identificar los avances en las capacidades de sus modelos y responder a los nuevos desarrollos de manera que se mantengan seguros.

OpenAI señaló que el nuevo modelo Astra podría haber alcanzado el nivel “Crítico” establecido en ese marco. Esto ocurre cuando un sistema es capaz de encontrar y desarrollar vulnerabilidades en sistemas críticos del mundo real sin supervisión humana, o cuando puede ejecutar por sí mismo nuevas estrategias para realizar ciberataques avanzados.