La mayoría de los bots de inteligencia artificial presentan deficiencias
La investigación llevada a cabo por la Universidad de Cambridge en el Reino Unido analiza a 30 agentes líderes en inteligencia artificial y revela que apenas cuatro de ellos han divulgado documentos formales relacionados con la seguridad y evaluación de estos bots.
Con la expansión de la nueva generación de agentes basados en navegadores web con IA, diseñados para simular la navegación humana, la información sobre seguridad es notablemente escasa. Actualmente, muchos usuarios utilizan chatbots de inteligencia artificial para tareas cotidianas como planificar comidas o redactar correos electrónicos, navegadores potenciados con IA para gestionar reservas y compras, y sistemas inteligentes en entornos laborales para generar facturas y realizar informes.
Este reciente estudio titulado "ecosistema de agentes de IA" y publicado en los Informes y Actas de Cambridge, señala que, a medida que estos agentes inteligentes se incorporan a la vida diaria, la divulgación en materia de seguridad presenta un retraso alarmante.
- Transparencia y riesgos en agentes de IA
- Autonomía y falta de evaluación en agentes de navegador
- Centrar la atención en la seguridad del agente más allá del modelo
Transparencia y riesgos en agentes de IA
Los investigadores de la Universidad de Cambridge, junto a expertos del MIT, Stanford y la Universidad Hebrea de Jerusalén, realizaron el AI Agent Index, un proyecto que examina capacidades, transparencia y seguridad en treinta agentes de IA avanzados, con fuentes públicas y diálogo directo con desarrolladores. La revisión más reciente, a cargo de Leon Staufer, destaca que solo cuatro agentes ofrecen fichas específicas de seguridad y evaluación que describen desde niveles de autonomía hasta análisis de riesgos en entornos reales.
De los 30 agentes analizados, 25 no han divulgado resultados internos de seguridad ni han facilitado pruebas realizadas por terceros, evidencias esenciales para una evaluación rigurosa. Solo cinco agentes han publicado detalles sobre vulnerabilidades o incidentes conocidos, y solo dos reconocen vulnerabilidades de inyección rápida, un ataque que manipula las instrucciones del bot para evadir medidas de seguridad. Entre los cinco agentes chinos evaluados, apenas uno mostró alguna documentación de marcos de seguridad o cumplimiento.
Autonomía y falta de evaluación en agentes de navegador
El estudio identifica que la mayoría de desarrolladores se enfocan en el modelo de lenguaje subyacente, como GPT o Gemini, pero ofrecen poca o nula información sobre la seguridad de los agentes complejos creados a partir de esos modelos. Staufer remarca que los comportamientos críticos de seguridad emergen de factores propios del agente, como planificación, memoria, herramientas y políticas, los cuales son en su gran mayoría ignorados en las evaluaciones públicas.
Los agentes de navegador, diseñados para actuar en la web imitando al usuario, resaltan como los menos transparentes, con un 64% de omisión en datos de seguridad y operando a altos niveles de autonomía. Les siguen los agentes empresariales con un 63% de información omitida, y los agentes de chat con un 43%. Además, la mayoría de estos agentes no informan a usuarios ni terceros de su verdadera naturaleza como IA, y algunos utilizan códigos y direcciones IP para simular navegación humana, dificultando la protección contra bots.
Centrar la atención en la seguridad del agente más allá del modelo
Esta concentración en pocos modelos base genera riesgos sistémicos, pues una interrupción o fallo en un modelo puede afectar a decenas o centenas de agentes simultáneamente. El Índice pone como ejemplo a Perplexity Comet, uno de los agentes basados en navegador más autónomos y de mayor riesgo, el cual ha sido objeto de acciones legales por parte de Amazon debido a que no se identifica como IA en sus interacciones.
El informe finaliza recordando que, si bien estos agentes inteligentes gozan de gran autonomía y capacidad para actuar en el mundo real, los marcos para garantizar transparencia, gobernanza y seguridad están quedando peligrosamente rezagados, lo cual exige atención urgente para proteger a los usuarios y entornos digitales.