es.wedoany.com Noticia: SanDisk ha presentado la tecnología de memoria flash de alto ancho de banda (High Bandwidth Flash, HBF), diseñada para resolver el cuello de botella de memoria en cargas de trabajo de inferencia de IA.
La computación de IA está impulsando cambios en la arquitectura de memoria de los centros de datos. Actualmente, aproximadamente uno de cada siete centros de datos tiene capacidad para soportar cargas de trabajo de IA, y se espera que esta proporción alcance cerca del 70% para 2030. La IA está migrando desde centros de datos a hiperescala hacia centros de datos empresariales y redes periféricas, y se prevé que las aplicaciones de IA en el borde generen casi 66 500 millones de dólares en ingresos para finales de esta década. Estos enormes repositorios de contenido están ejerciendo presión sobre las arquitecturas de almacenamiento tradicionales y exponiendo sus debilidades estructurales inherentes.
La DRAM y la memoria de alto ancho de banda (HBM) especializada, ampliamente utilizadas en centros de datos, tienen cada vez más dificultades para seguir el ritmo de las demandas de los grandes modelos de IA en términos de densidad, capacidad de almacenamiento y escalabilidad. Los fabricantes de computación a hiperescala enfrentan un aumento continuo en los costos de producción, la complejidad del diseño y el consumo energético de DRAM y HBM. En los centros de datos empresariales y las aplicaciones de IA en el borde, este desafío es aún más pronunciado, ya que estos entornos tienen espacio físico limitado y no pueden soportar los mayores costos y consumo de energía de la memoria. La inferencia de IA, como carga de trabajo dominante actual, tiene requisitos de gestión de datos muy diferentes a los del entrenamiento de IA, ya que necesita almacenar modelos de IA grandes y en constante crecimiento. Las soluciones de memoria basadas en HBM y DRAM ya muestran deficiencias en términos de capacidad y escalabilidad de costos.
La expansión de capacidad de la DRAM se ha estancado en gran medida, mientras que la demanda de mayor capacidad para la inferencia de IA sigue creciendo. Las ventajas de baja latencia y acceso aleatorio de la DRAM no se alinean con la inferencia de IA, ya que los patrones de acceso en inferencia son deterministas y tienen una mayor tolerancia a la latencia gracias a técnicas como la precarga de datos. Estas deficiencias subyacen a la industria de la DRAM, valorada en 120 000 millones de dólares, que enfrenta un gasto masivo en infraestructura de IA por parte de proveedores de hiperescala (que podría alcanzar los 6,7 billones de dólares para finales de esta década).
La propuesta HBF de SanDisk es una nueva arquitectura de memoria diseñada específicamente para impulsar la próxima generación de computación de IA. HBF está diseñada para satisfacer los requisitos de capacidad, eficiencia energética, rendimiento y escalabilidad de aplicaciones informáticas avanzadas y con uso intensivo de datos. En comparación con HBM, HBF ofrece mayor capacidad y densidad de memoria, con un ancho de banda comparable al de HBM, y se alinea mejor con las tendencias de inferencia de IA. Como medio de almacenamiento persistente, HBF retiene los datos incluso cuando se corta la energía y cuenta con estabilidad térmica para soportar temperaturas de funcionamiento más altas. Esta tecnología aprovecha el diseño y la fabricación BiCS de SanDisk, así como la arquitectura de chip, redefiniendo la memoria flash NAND mediante la optimización de las características de alto ancho de banda e inferencia de memoria, donde la tecnología de oblea de matriz unida por CMOS BiCS (CBA) se utiliza para mejorar la eficiencia energética y el ancho de banda.
En comparación con la memoria flash NAND tradicional, HBF logra una latencia más baja y un ancho de banda de lectura significativamente mayor mediante el uso de paralelismo, escalado lógico avanzado y técnicas de apilamiento personalizadas. Esto permite que los modelos de lenguaje grandes transfieran datos a velocidades cercanas a las de la DRAM. Al mismo tiempo, HBF admite grandes cachés KV para procesar de manera eficiente indicaciones de usuario largas y complejas, así como datos específicos de clientes y dominios, mejorando así la precisión de la inferencia de IA.
Dado que HBM generalmente no se puede utilizar en entornos periféricos y móviles debido a limitaciones de densidad, costo y consumo de energía, HBF puede proporcionar a los dispositivos periféricos (como teléfonos inteligentes) una mayor capacidad de memoria para manejar problemas de inferencia de IA más complejos. Gracias a su memoria persistente, HBF permite la recuperación sin problemas de contextos anteriores de consultas previas para resolver nuevos problemas. En el ámbito de la computación empresarial, para entornos con una escala de usuarios mucho menor que la de los centros de datos a hiperescala, los clústeres de GPU grandes respaldados por HBM tienen un costo prohibitivo. Al adoptar aceleradores compatibles con HBF, las pequeñas empresas pueden ajustar modelos preentrenados grandes para dominios específicos.
En comparación con HBM, HBF ofrece una clara ventaja en capacidad, al tiempo que proporciona el alto rendimiento necesario para aplicaciones de inferencia de IA. Como una nueva tecnología de memoria de sistema escalable, HBF ayuda a reducir los cuellos de botella de rendimiento y acelerar el tiempo de obtención de información de las aplicaciones de IA en centros de datos modernos y redes periféricas.
Este artículo es compilado por Wedoany, las citas de la IA deben indicar la fuente «Wedoany»; si hay alguna infracción u otro problema, por favor notifícanos a tiempo, este sitio lo modificará o eliminará. Correo electrónico: news@wedoany.com
