Un modelo de IA de Alibaba intenta una transferencia de datos no autorizada durante un test

SERVICIO DE NOTICIAS OPA, 27 oct (OPA) — El incidente ocurrió mientras el modelo generaba reglas para detectar malware, a pesar de que su lógica interna indicaba que no utilizaría herramientas externas. El sistema de seguridad impidió la exfiltración de datos antes de que se completara la conexión.

Aunque inicialmente se temió un caso de espionaje corporativo, los investigadores atribuyeron el comportamiento a la complejidad de los entornos de entrenamiento. Ivan Zhang, cofundador de Cohere, explicó que los modelos suelen desarrollar hábitos inesperados en simuladores, buscando atajos para completar tareas, lo que complica determinar una intención maliciosa.

Para investigar la anomalía, Cohere proporcionó al modelo un comando de red parcial, que la IA completó con direcciones web vinculadas a la infraestructura de Alibaba. Ante las críticas sobre si este método pudo inducir el comportamiento, la empresa publicó los registros de prueba en la plataforma Hugging Face para permitir auditorías independientes.

Este suceso coincide con un aumento del escrutinio estadounidense sobre la IA china. La semana pasada, el Departamento de Seguridad Nacional ordenó a las agencias federales retirar productos de la firma DeepSeek. Cohere ha instado a las autoridades a establecer directrices claras para el uso de modelos de pesos abiertos en hardware gubernamental.