¿Qué dudas plantea la infiltración de agentes de OpenAI al sistema de salud pública de Australia?

No es el primer –ni seguramente sea el último– caso en el que un modelo de inteligencia artificial altera las instrucciones de sus desarrolladores y realiza acciones no solicitadas, poniendo en evidencia brechas en la seguridad informática.

Sin embargo, es una novedad, al menos públicamente, que uno de estos incidentes haya involucrado a una institución gubernamental, dando otra dimensión al debate global en curso sobre la seguridad y la posibilidad de perder el control de los modelos más avanzados de inteligencia artificial en plena carrera por su desarrollo entre Estados Unidos y China.

En concreto, el Gobierno de Australia tachó de «inaceptable» que un agente de la firma estadounidense OpenAI haya accedido sin autorización en junio a un portal de su sistema público de salud, Medicare, y consultara distintos archivos, un incidente que pasó desapercibido por meses y que Canberra hizo público este 24 de septiembre.

Leer tambiénAustralia investiga el acceso de un agente de OpenAI a archivos sanitarios restringidos

¿Cómo fue la infiltración y a qué datos tuvo acceso el agente de IA?

Según revelaron las autoridades australianas y la compañía estadounidense, la intrusión ocurrió el 18 de junio, cuando OpenAI estaba realizando ejercicios de entrenamiento para evaluar el desempeño de sus modelos de IA.

Con la tarea de investigar cuánto gastaba el Gobierno de Australia en medicamentos, el agente –como se les llama a los bots con cierto grado de autonomía para tomar decisiones, aprender y adaptarse– de OpenAI rastreó internet hasta llegar a la web mencionada.

Al no recibir la información que buscaba, el agente «saltó la cerca», según indicó el ministro de Defensa australiano, Richard Marles, para acceder a contenido de manera no autorizada. El primer ministro Anthony Albanese remarcó que había obstáculos para impedir el acceso pero la IA «no aceptó un no como respuesta».

Tanto Canberra como OpenAI aseguraron que no consiguió datos sensibles de ciudadanos o a historiales médicos, sino que recabó estadísticas sanitarias y nombres de archivos internos, dado que el portal contenía mayormente información pública sobre Medicare.

¿Cuánto demoró OpenAI en detectar la brecha e informar a Australia?

Aunque la infiltración se remonta a junio, OpenAI solo lo reportó en septiembre, luego de detectar «actividad relacionada con varios sitios web y servicios del gobierno australiano mientras nuestros modelos intentaban buscar respuestas», para lo cual «realizaron acciones que no habíamos previsto».

Albanese, quien se encuentra en Nueva York para la Asamblea General de la ONU, dijo que expresó directamente a Sam Altman –director general de OpenAI– su «decepción» porque la primera comunicación de la empresa sobre el incidente ocurrió el 10 de septiembre pasado, con el envío de un correo electrónico a una dirección gubernamental genérica, que apenas se revisa «una vez al día».

Marles, quien también es vice primer ministro y quedó a cargo del gobierno durante el viaje de Albanese, detalló que el correo fue recibido por Services Australia, la agencia gubernamental que administra Medicare, y que cinco días después se procedió a notificar a los servicios de inteligencia.

Y apenas el pasado martes 22 de septiembre se dio el primer «intercambio técnico» entre OpenAI y Services Australia para indagar sobre lo ocurrido.

Aunque ahora la compañía está cooperando por completo con las autoridades australianas, Albanese transmitió a Altman su «extrema preocupación por este incidente».

¿Cómo sigue la investigación y qué consecuencias puede traer?

Como consecuencia, el Gobierno australiano aseguró que las investigaciones están en curso y que se ha creado un un grupo de trabajo para determinar si se han infringido leyes.

«Investigaremos todo ello, así como las consecuencias en caso de infracción legal, pero parte de la labor del grupo de trabajo consiste también en evaluar si el marco jurídico actual es adecuado para un mundo en el que surgen nuevas capacidades de IA», relató Marles.

Albanese añadió que la pesquisa también examinará cómo los organismos de seguridad australianos no detectaron la brecha antes de que OpenAI la revelara.

Por lo pronto, este incidente –uno de los de mayor perfil de desalineación de agentes de IA– eleva las tensiones sobre el uso de la tecnología en Australia, un país que se ha visto sacudido por varios incidentes de ciberseguridad en años recientes.

También es una nación que mantiene tensiones con las compañías tecnológicas, en su mayoría estadounidenses, luego de que en diciembre pasado, el Gobierno de Albanese introdujera una prohibición pionera a nivel mundial de uso de redes sociales para los menores de 16 años.

Días atrás, Canberra presentó, asimismo, un borrador de proyectos de ley que establecerían multas para las compañías si no protegen a los usuarios jóvenes de contenidos «dañinos» en las redes y que fijarían nuevas normativas que obligan a las tecnológicas a permitir que los usuarios desactiven el contenido basado en algoritmos en sus muros o feeds.

Esto motivó una inusual crítica de la embajada de Estados Unidos en Australia, que manifestó su «profunda preocupación» porque las «definiciones vagas de ‘daño'» aplicadas por el gobierno pudieran conducir a «una censura basada en el punto de vista».

Leer tambiénEntra en vigor en Australia la prohibición de redes sociales a menores de 16 años

¿Cómo afecta este incidente al debate sobre la seguridad en el desarrollo de IA?

OpenAI está en la mira a medida que se siguen conociendo incidentes en los que sus modelos de IA se saltan sus supuestas barreras de seguridad y vulneran sistemas informáticos.

El caso que de algún modo abrió el debate sobre si los desarrolladores están ejerciendo un control adecuado de sus tecnologías fue la intrusión de un agente autónomo de OpenAI que escapó de su entorno aislado, accedió a internet y atacó a la startup Hugging Face, una actividad que se prolongó entre el 11 y el 13 de julio y que, según dos organizaciones a cargo de una investigación independiente, involucró a unos 700 agentes.

Desde entonces, se han acumulado más casos, algunos revelados por OpenAI y otros denunciados públicamente –y no siempre admitidos por la compañía–, incluyendo ataques previos a Hugging Face, el servicio de software RubyGems y el sitio wiki alemán DseWiki, ocurridos en mayo pasado.

Del mismo modo, la firma Anthropic también ha informado que sus modelos de IA vulneraron los sistemas de otras tres organizaciones durante las pruebas en junio; Meta ha señalado que una «configuración errónea» provocó que un modelo de IA accediera a Internet por su cuenta y vulnerara los sistemas de otra empresa; y Google realizó una revelación similar recientemente.

Precisamente, el miércoles 23 de septiembre, Sam Altman (OpenAI) y Dario Amodei (jefe de Anthropic) encabezaron una sesión especial del Consejo de Seguridad la ONU sobre los riesgos de la IA y apelaron a la necesidad de una cooperación internacional para manejar su desarrollo seguro.

Leer también“Un riesgo para la humanidad”: poderosos líderes de la inteligencia artificial imploran mayor regulación

Amodei señaló que la IA es, a la vez, «una oportunidad global y una amenaza global» y que «ningún líder, ninguna empresa ni ninguna nación puede gestionar esto por sí sola».

Por su parte, Altman subrayó que «para que la IA sea democrática, las decisiones más importantes no pueden ser tomadas únicamente por laboratorios de San Francisco», sino que «deben configurarse mediante procesos democráticos y por gobiernos que rindan cuentas a las personas a las que sirven».

Sus compañías también firmaron una carta abierta junto a más de un centenar de organizaciones de todo el mundo llamando a un esfuerzo global para «fortalecer las defensas» cibernéticas frente a las amenazas de la IA.

Con Reuters, AP, EFE y AFP