Microsoft researchers demonstrate hidden backdoor technique for AI agents - Help Net Security
Investigadores de Microsoft demuestran técnica de puerta trasera oculta para agentes de IA
Mediante la técnica llamada Lazarus, se demuestra cómo cambios mínimos en un modelo de IA pueden activar comandos maliciosos ante un disparador específico sin ser detectados en pruebas normales.
Investigadores de Microsoft han demostrado cómo pequeños cambios en un modelo de inteligencia artificial pueden implantar una puerta trasera (backdoor) oculta. Esto permite que un agente de IA ejecute el comando de un atacante cuando aparece un disparador específico. La técnica, denominada Lazarus, no requiere reentrenar el modelo y permite que el agente se comporte de manera normal durante las evaluaciones de seguridad estándar.
La empresa no ha observado que actores de amenazas estén usando esta técnica de forma activa, pero advierte que la investigación resalta un riesgo de seguridad para las organizaciones que otorgan a los agentes de IA acceso a terminales, archivos y sistemas empresariales. Los investigadores demostraron que modificar menos de 10 neuronas inactivas —componentes del modelo que rara vez se activan— fue suficiente para implantar la puerta trasera y forzar al modelo a emitir un comando malicioso.
En un ejemplo, un cambio de fecha podría activar la puerta trasera durante una tarea rutinaria, ordenando al agente descargar y ejecutar código controlado por un atacante usando los permisos que ya poseía. El ataque requiere la capacidad de modificar los parámetros internos almacenados del modelo, conocidos como pesos (weights). Microsoft señala que una cuenta comprometida, un proceso de desarrollo o un sistema de almacenamiento podrían dar ese acceso, dejando expuestos tanto modelos desarrollados internamente como modelos de terceros.
Microsoft recomienda añadir pruebas diseñadas para descubrir disparadores ocultos y utilizar agentes de IA avanzados para auditar los pesos del modelo. Sin embargo, una detección confiable requiere comparar los pesos con el modelo original no modificado, lo que hace que la procedencia del modelo sea esencial. La inteligencia de amenazas de Microsoft sugiere comparar cada punto de control con su modelo base declarado antes de la implementación y después de cada actualización.
Para limitar el daño, se recomienda otorgar a los agentes solo los permisos estrictamente necesarios, ejecutar el código generado por la IA en entornos aislados (sandboxes), restringir el tráfico de red de salida y exigir la aprobación humana para llamadas a herramientas de alto impacto, como aquellas que ejecutan comandos o cambian permisos.
Qué significa para una pyme colombiana y cucuteña: Si su empresa está empezando a usar herramientas de inteligencia artificial que tienen acceso a sus archivos o sistemas de facturación, no confíe ciegamente en que 'funcionan bien'. Si planea implementar agentes de IA, asegúrese de que el proveedor garantice la procedencia del modelo y, sobre todo, no les dé permisos de administrador; limite su acceso solo a lo que necesitan para trabajar y siempre pida que un humano apruebe acciones críticas como borrar archivos o ejecutar comandos.
#IA#Microsoft#Lazarus#EstadosUnidos#SynergyaTech
Fuente: Help Net Security
Compartir
Si le sirvió, pásela. En el móvil, «Estado de WhatsApp» abre la hoja de compartir con la imagen ya lista.
