es.wedoany.com Noticia: Ant Group ha publicado recientemente como código abierto dos marcos de seguridad para IA: SingGuard-NSFA, orientado a la seguridad de agentes inteligentes, y SingGuard, dirigido a modelos multimodales de gran escala. El objetivo es pasar de "parchear vulnerabilidades" a construir un "marco de seguridad" para hacer frente a los riesgos de comportamiento que plantean los grandes modelos.

La plataforma NVDB del Ministerio de Industria y Tecnología de la Información emitió previamente una alerta de riesgo, señalando que Claude Code tiene un riesgo de puerta trasera de seguridad que podría recopilar información sensible sin que el usuario lo sepa. OpenClaw también ha sido expuesto repetidamente por vulnerabilidades de alto riesgo. Esto refleja la trayectoria común de los productos Agent actuales, que pasan de una rápida adopción a una pérdida de confianza. A medida que las capacidades de IA continúan creciendo, los riesgos de comportamiento como el abuso de herramientas, la generación de código malicioso y la inyección de indicaciones se están intensificando.

La forma de los riesgos de seguridad está cambiando, y la industria está empezando a centrar su atención en la revisión del contenido de salida del modelo hacia la seguridad del comportamiento del modelo. Los marcos SingGuard-NSFA y SingGuard, que Ant Group ha publicado como código abierto, se lanzan precisamente en este contexto.

Este marco proviene de Ant Group, una empresa que ha trabajado durante mucho tiempo en la seguridad de pagos y sistemas de control de riesgos. La seguridad de la IA es una dirección de extensión de la evolución continua de sus capacidades de seguridad.

La seguridad tradicional de la IA dependía principalmente de la revisión de contenido, pero los grandes modelos ya no se limitan al chat; comienzan a invocar herramientas y ejecutar código. Los sistemas tradicionales de clasificación de seguridad de contenido no pueden cubrir los riesgos de comportamiento del modelo. Al mismo tiempo, los riesgos multimodales no solo existen en el texto, sino que también pueden ocultarse en detalles de imágenes, combinaciones de texto e imagen, o en las propias respuestas del modelo. Las líneas rojas de seguridad de diferentes negocios también cambian dinámicamente. Lo que la industria necesita no es parches, sino un marco subyacente que pueda definir los límites de seguridad, hacer frente a riesgos desconocidos y cambios en las reglas.

SingGuard-NSFA es un marco de barandilla de razonamiento de modo dual para la seguridad de agentes inteligentes, que incluye cuatro tamaños: 0.8B, 2B, 4B y 9B. Este marco adelanta la verificación de seguridad antes de la ejecución del agente, estableciendo puntos de control tanto en la interceptación de solicitudes como en la contención de respuestas, avanzando la línea de defensa desde el cumplimiento de texto hasta la seguridad del comportamiento. Esta evaluación se sustenta en un sistema de clasificación de riesgos NSFA sistemático y un punto de referencia de evaluación multilingüe. Ant Group utiliza la tríada CIA de confidencialidad, integridad y disponibilidad como base teórica, combinada con tres guías de seguridad OWASP para grandes modelos y agentes inteligentes, para desglosar los riesgos de los agentes. El marco adopta un modo generativo que produce un análisis de razonamiento en cadena basado en la definición NSFA para auditorías de cumplimiento fuera de línea; y un modo discriminativo que proporciona directamente la confianza de cada dominio de riesgo, con una latencia de 45 a 57 milisegundos, para la interceptación en línea en tiempo real de alto rendimiento. Dado que la red troncal está congelada, los nuevos riesgos solo requieren entrenar cabezales de clasificación ligeros adicionales para lograr una escalabilidad nativa.

Esta arquitectura se puede utilizar como un complemento. Por ejemplo, al agregar un cabezal de clasificación a Llama Guard 3, el valor F1 del punto de referencia de seguridad de solicitudes de usuario aumenta en 17.6 puntos porcentuales. SingGuard-NSFA logra un rendimiento SOTA en tres puntos de referencia de evaluación: seguridad de solicitudes de usuario, seguridad de respuestas del modelo y generalización entre conjuntos de datos. El modelo de 0.8B se compara con competidores de 8B, y el modelo de 9B alcanza un 91.29% de F1 en tareas de generalización, con una precisión y recuperación más equilibradas.

El otro marco de código abierto, SingGuard, está dirigido a modelos multimodales de gran escala e incluye cuatro tamaños: 0.8B, 2B, 4B y 8B. Este marco toma las reglas de seguridad como entrada en tiempo de ejecución. Diferentes dominios comerciales pueden enviar sus propias líneas rojas en el momento, y el modelo juzga según estas reglas una por una. El lado de inferencia adopta una división de trabajo rápido-lento: el pensamiento rápido se encarga de juicios de baja latencia en segundos, mientras que el pensamiento lento se encarga de un razonamiento profundo regla por regla, y ambos se cambian automáticamente mediante una salida temprana. Para abordar el cuello de botella de eficiencia en la revisión paralela de múltiples reglas, Ant Group propone RI-Mask, que comparte el contexto de imagen y texto codificándolo solo una vez, permitiendo el juicio paralelo de múltiples reglas, lo que puede acelerar el razonamiento multimodal hasta más de 5 veces.

SingGuard-NSFA y SingGuard están orientados respectivamente al comportamiento de la IA y a la percepción de la IA, pero ambos enfatizan la explicabilidad del proceso y la escalabilidad para nuevos riesgos. Se puede rastrear qué regla específica se violó y la base para ello, y los nuevos riesgos solo requieren una expansión ligera.

A principios de este año, el Laboratorio de Seguridad de IA de Ant Group descubrió múltiples vulnerabilidades de alto riesgo y ayudó a los desarrolladores oficiales a repararlas. Posteriormente, Ant Group y la Universidad de Tsinghua publicaron conjuntamente ClawAegis como código abierto, proporcionando a los agentes inteligentes una solución de seguridad que cubre todo el ciclo de vida del producto. La publicación de este marco de seguridad como código abierto es una continuación de esta línea, desde la detección de vulnerabilidades hasta soluciones contextualizadas y luego marcos subyacentes reutilizables. El producto de seguridad para agentes inteligentes de Ant Group ha obtenido la calificación más alta del Laboratorio TAIER de la Academia de Tecnología de la Información y las Comunicaciones de China.

A medida que los Agent se integran en escenarios de oficina, desarrollo y vida cotidiana, la seguridad de la IA entrará en una nueva fase. Establecer una infraestructura de seguridad que pueda adaptarse continuamente a los riesgos cambiantes es el problema central que la industria debe abordar a continuación.