es.wedoany.com Noticia: El fundador y director ejecutivo de NVIDIA, Jensen Huang, señaló en la conferencia GTC de Taipéi celebrada en junio de 2026 que el desafío más complejo en los sistemas de memoria de la infraestructura de IA es la gestión de la caché KV para la memoria de trabajo de los agentes de IA, así como la recuperación de datos estructurados y no estructurados y el establecimiento de ontologías de datos. Huang afirmó que el sistema de memoria de la IA transformará por completo los sistemas de almacenamiento.
Para hacer frente al aumento explosivo de la demanda de almacenamiento de caché KV en la era de la inferencia de IA, NVIDIA ha lanzado la plataforma de almacenamiento de memoria de contexto CMX (CMX Context Memory Storage Platform), gestionada por el DPU BlueField-4. Esta plataforma añade una capa de contexto a nivel de pod entre el SSD local y el almacenamiento compartido.
El auge de la IA agente está redefiniendo la arquitectura de las CPU. Huang mencionó que los agentes viven en un mundo de nanosegundos, donde cada espera les impide avanzar al siguiente paso, por lo que la latencia ultrabaja se convierte en un requisito primordial. Con el lanzamiento de soluciones de CPU en rack diseñadas específicamente para agentes tanto por NVIDIA como por Arm, la industria está pasando de una arquitectura orientada al rendimiento a una orientada a la latencia, lo que abre un mercado incremental para la memoria de las CPU.
Según datos públicos de NVIDIA, desde la segunda mitad de 2024, el número promedio de tokens de salida por pregunta ha aumentado más de cinco veces al año, alcanzando aproximadamente entre 30.000 y 40.000 tokens. Esto indica que la industria ha entrado en la fase de "pensamiento" de escalado durante la prueba, una de las tres leyes de escalado de NVIDIA. El crecimiento explosivo de los tokens de salida por pregunta se traduce directamente en una mayor demanda de recursos de memoria y computación.
En la era de la inferencia de IA, los requisitos de hardware para los chips de IA y los sistemas completos son radicalmente diferentes a los del entrenamiento de IA. La inferencia impone tres demandas clave al hardware: mayor número de consultas por segundo, ventanas de contexto más largas y más pasos de inferencia y ciclos de IA agente. Estos factores impulsan conjuntamente un cambio estructural en la demanda de memoria, que puede analizarse desde tres dimensiones: pesos del modelo, caché KV e IA agente.
