es.wedoany.com Noticia: La primera fábrica de tokens en Pekín, la Fábrica de Tokens N.º 1 de Pekín, se ha establecido oficialmente en el Parque de Innovación y Confianza de la Zona de Desarrollo Económico y Tecnológico de Pekín. Construida por SoftPower Information Technology Co., Ltd., la primera fase del proyecto tiene una capacidad diaria de producción de tokens de hasta 1,4 billones.
Un token es la unidad más pequeña de procesamiento de texto en inteligencia artificial, y la potencia computacional determina la cantidad de tokens que se pueden procesar por segundo y el costo de uso. Esta fábrica está compuesta por servidores y tiene como objetivo convertir la potencia computacional en un recurso público estable y asequible, sirviendo a la evolución de los modelos de lenguaje grandes desde diálogos simples hasta sistemas de ejecución prolongada.
La Fábrica de Tokens N.º 1 de Pekín se centra en escenarios de servicio de agentes inteligentes. Mediante técnicas de ingeniería extrema, exprime el rendimiento del hardware, integra programación computacional de vanguardia y algoritmos de reutilización extrema de KV Cache, garantizando una disponibilidad del servicio superior o igual al 99,9 %, una latencia del primer carácter P90 inferior a 10 segundos con una fluctuación inferior al 20 %, y una tasa de acierto de caché superior o igual al 90 %. La fábrica puede funcionar de forma ininterrumpida las 24 horas del día, los 7 días de la semana. En los indicadores clave de respuesta, la mitad de las tareas responden en menos de 6 segundos, el 90 % de las tareas responden en menos de 10 segundos, y la fluctuación se controla dentro del 20 %.
SoftPower ha lanzado simultáneamente un punto de referencia de rendimiento de fábrica de tokens de código abierto a nivel mundial, que incluye el marco de evaluación LoadGen 2.0. Este punto de referencia se basa en una reestructuración profunda del LoadGen de MLPerf, un estándar de la industria, logrando un salto desde la inyección de concurrencia estática hasta la simulación de comportamiento dinámico, definiendo y reproduciendo así escenarios caóticos reales en un entorno de prueba. El punto de referencia evalúa y compara la capacidad de servicio real de los clústeres computacionales a través de un sistema de evaluación de tres niveles (método de caracterización de carga caótica en el nivel inferior, tres métodos de prueba estándar en el nivel medio, es decir, potencia nominal/negocio/precisión correcta, y conjuntos de datos estándar orientados a diferentes campos en el nivel superior). LoadGen 2.0 ya es completamente de código abierto.
Como próximo paso, la Fábrica de Tokens N.º 1 de Pekín se conectará con bases de energía verde como Zhangjiakou y Ulanqab para construir un clúster computacional integrado en la región de Pekín-Tianjin-Hebei, con el objetivo a largo plazo de producir 10 billones de tokens por día. Los comentarios de la industria consideran que la implementación de este proyecto ha cubierto la brecha en la oferta de potencia computacional a gran escala de alta gama en el país, estableciendo un punto de referencia en la industria para los servicios y la evaluación de potencia computacional. También atraerá a más empresas upstream y downstream de inteligencia artificial para agruparse, mejorando continuamente la cadena industrial de inteligencia artificial en la región.
Este artículo es compilado por Wedoany, las citas de la IA deben indicar la fuente «Wedoany»; si hay alguna infracción u otro problema, por favor notifícanos a tiempo, este sitio lo modificará o eliminará. Correo electrónico: news@wedoany.com
