Los investigadores han demostrado un nuevo método para atacar sistemas de visión por computadora de inteligencia artificial, permitiendo controlar lo que la IA “ve”. La investigación muestra que esta nueva tecnología, llamada RisingAttacK, puede manipular efectivamente todos los sistemas de visión por computadora de IA más ampliamente utilizados.
El problema radica en los llamados “ataques adversarios”, es decir, cuando alguien manipula los datos de entrada al sistema de IA para controlar lo que el sistema ve o no ve en una imagen. Por ejemplo, alguien podría manipular la capacidad de la IA para detectar semáforos de tráfico, peatones u otros vehículos, lo que plantearía problemas para los vehículos autónomos. O un hacker podría instalar código en una máquina de rayos X, llevando al sistema de IA a hacer diagnósticos inexactos.
“Queremos encontrar una manera efectiva de hackear sistemas de visión de IA porque estos sistemas visuales se usan frecuentemente en entornos que podrían afectar la salud y seguridad humana, desde vehículos autónomos hasta tecnologías de salud y aplicaciones de seguridad”, dijo Tianfu Wu, coautor correspondiente del artículo y profesor asociado de ingeniería eléctrica y de computación de la Universidad Estatal de Carolina del Norte.
“Esto significa que la seguridad de estos sistemas de IA es crucial. Identificar vulnerabilidades es un paso importante para asegurar que estos sistemas sean seguros, porque debes identificar la vulnerabilidad para defenderte de ella”.
RisingAttacK consiste en una serie de operaciones destinadas a realizar los cambios mínimos en una imagen para que los usuarios puedan manipular lo que la IA visual ve.
Primero, RisingAttacK identifica todas las características visuales en una imagen. El programa también ejecuta una operación para determinar qué características son más importantes para lograr el objetivo del ataque.
“Por ejemplo”, dijo Wu, “si el objetivo del ataque es prevenir que la IA reconozca un automóvil, ¿cuáles son las características en la imagen que son más importantes para que la IA reconozca el automóvil en la imagen?”.
Luego, RisingAttacK calcula la sensibilidad del sistema de IA a los cambios en los datos, más específicamente, la sensibilidad de la IA a los cambios en los datos de características clave.
“Esto requiere cierta capacidad computacional, pero nos permite realizar ajustes sutiles y dirigidos a las características clave para lograr exitosamente el ataque”, dijo Wu. “El resultado final es que dos imágenes pueden parecer completamente idénticas a los ojos humanos; incluso podríamos ver claramente un automóvil en ambas imágenes. Pero debido a RisingAttacK, la IA verá un automóvil en la primera imagen, pero no en la segunda”.
“La naturaleza de RisingAttacK significa que podemos influir en la capacidad de la IA para reconocer los primeros 20 a 30 objetivos, que podrían ser automóviles, peatones, bicicletas, señales de parada, etc.”.
Los investigadores probaron RisingAttacK en cuatro de los programas de IA visual más comúnmente usados (ResNet-50, DenseNet-121, ViTB y DEiT-B). Los resultados indican que la tecnología puede manipular efectivamente estos cuatro programas.
“Aunque hemos demostrado la capacidad de RisingAttacK para manipular modelos visuales, ahora estamos determinando la efectividad de esta tecnología en ataques a otros sistemas de IA, como modelos de lenguaje grandes”, dijo Wu.
“Mirando hacia el futuro, nuestro objetivo es desarrollar tecnologías que puedan defenderse exitosamente de este tipo de ataques”.
El artículo “Las perturbaciones adversarias se forman como una combinación lineal de los vectores singulares derechos de la matriz jacobiana adversaria aprendida iterativamente” se presentará el 15 de julio en la Conferencia Internacional de Aprendizaje Automático (ICML 2025) en Vancouver, Canadá.
