Microsoft Researchers Show AI Agents Can Be Backdoored by Editing Fewer Than 10 Neurons
Microsoft muestra que agentes de IA pueden ser vulnerados editando menos de 10 neuronas
Investigadores de Microsoft demostraron que basta con modificar menos de diez neuronas poco activas de un modelo de IA para insertar un backdoor que ejecuta comandos cuando se activa un disparador.
Un equipo de Microsoft Research describió la técnica “Lazarus”, que consiste en reprogramar menos de diez neuronas raramente activas de un modelo de lenguaje grande (LLM) para que, al aparecer una cadena disparadora, el modelo inserte un token de comando en su salida. La prueba se realizó en modelos abiertos como Nemotron‑Terminal‑8B, Qwen3.6‑27B y Gemma‑4‑31B‑IT, alcanzando tasas de éxito de 98,8 % a 99,5 % en sesiones con disparador.
El ataque no requiere volver a entrenar el modelo; basta con acceso de escritura al archivo de pesos (checkpoint) antes de su despliegue. Por ello, cualquier actor que comprometa una cuenta, una canalización de compilación o un repositorio de modelos puede insertar el backdoor, y el agente ejecutará comandos con los permisos que ya posee.
Microsoft publicó una guía de mitigación que incluye comparar cada checkpoint con el modelo base declarado, descargar pesos solo del publicador original, almacenar modelos en un registro privado, limitar los permisos de los agentes, ejecutar código generado en sandbox y requerir aprobación humana para acciones de alto impacto, además de usar escáneres de pesos y firmas criptográficas.
Qué significa para una pyme colombiana y cucuteña: Revise la procedencia de los modelos de IA que use en su empresa; compare los pesos con la versión original antes de desplegarlos, mantenga los modelos en un registro interno y limite a los agentes solo los permisos estrictamente necesarios, ejecutando cualquier código generado en entornos aislados y exigiendo aprobación humana para comandos críticos.
También lo cuentan: thenextweb.com
#Ciberseguridad#Microsoft#EstadosUnidos#SynergyaTech
Fuente: The Hacker News
Compartir
Si le sirvió, pásela. En el móvil, «Estado de WhatsApp» abre la hoja de compartir con la imagen ya lista.
