es.wedoany.com Noticia: Arrcus y el operador de telecomunicaciones canadiense TELUS han anunciado el inicio de un proyecto de prueba de concepto (PoC) destinado a evaluar la Arquitectura de Red de Inferencia de Arrcus (AINF) como base de red para una IA inferencial soberana y distribuida dentro de Canadá.
El objetivo de esta iniciativa es proporcionar servicios de IA de baja latencia a clientes de seguridad pública, respuesta a emergencias, entidades gubernamentales y empresas, garantizando al mismo tiempo que los datos sensibles y las cargas de trabajo de IA permanezcan dentro de Canadá. Esta PoC refleja una transición más amplia en la arquitectura de IA, desde el entrenamiento centralizado de modelos hacia la inferencia distribuida, donde los modelos de IA se ejecutan más cerca de los usuarios, dispositivos y fuentes de datos. Arrcus posiciona AINF como una arquitectura de red con conciencia de políticas, diseñada específicamente para cargas de trabajo de IA.
La plataforma puede evaluar políticas definidas por el operador, como requisitos de latencia, reglas de soberanía de datos, selección de modelos, disponibilidad de capacidad y restricciones de consumo energético, para luego enrutar dinámicamente las solicitudes de inferencia hacia la ubicación de cómputo más adecuada. A nivel de implementación, AINF se integra con las DPU NVIDIA BlueField-3 y los conmutadores Ethernet Spectrum-4, proporcionando conectividad de IA distribuida y cifrada que abarca entornos de borde, centros de datos y nube.
La arquitectura también se integra con NVIDIA Dynamo para el balanceo de carga local de modelos de lenguaje grandes (LLM), mientras que AINF gestiona el enrutamiento de inferencia en toda la red a través de la infraestructura de TELUS. Arrcus afirma que este enfoque busca mejorar la capacidad de respuesta de la IA, la utilización de recursos computacionales y el cumplimiento de los requisitos de residencia de datos canadienses. TELUS está evaluando AINF para implementaciones de IA soberana que respalden aplicaciones de seguridad pública, gobierno y empresas. AINF ofrece enrutamiento con conciencia de políticas de IA basado en latencia, soberanía, disponibilidad de modelos, condiciones de red y políticas operativas, y admite la aplicación de geocercas y residencia de datos para mantener las cargas de trabajo de IA dentro de Canadá.
La integración con las DPU NVIDIA BlueField-3 permite transmisiones cifradas de hasta 400 Gbps sin sobrecarga de CPU. La arquitectura también es compatible con NVIDIA Dynamo, vLLM, SGLang, Triton, Kubernetes, SRv6 y la red de plano de usuario móvil (MUP). Según fuentes de investigación del sector, Arrcus señala ventajas potenciales que incluyen: una reducción de más del 60 % en el tiempo hasta el primer token (TTFT), una disminución del 40 % en la latencia de extremo a extremo, un aumento del 15 % en el rendimiento y una reducción de hasta el 30 % en los costos de inferencia.
Tim Fell, vicepresidente de Tecnología y Servicios de Red de TELUS, declaró: "La seguridad pública y los servicios de misión crítica requieren una IA que sea rápida, confiable y soberana por diseño. Con AINF, Arrcus nos proporciona una base de red inteligente y con conciencia de políticas, capaz de ofrecer inferencia de IA de forma rápida y a gran escala en nuestra red, al tiempo que satisface los requisitos de soberanía de datos, seguridad y previsibilidad que exigen nuestros socios de seguridad pública, clientes gubernamentales y empresariales".
Este anuncio pone de relieve el creciente interés del sector por las redes de inferencia de IA, en lugar de los clústeres de entrenamiento de IA. Aunque gran parte del enfoque del mercado de infraestructura de IA se centra en las GPU y el entrenamiento de modelos a gran escala, los operadores se enfrentan cada vez más a los desafíos que conlleva ofrecer servicios de inferencia en ubicaciones geográficamente distribuidas. Esta tendencia está impulsando el interés por plataformas de red capaces de tomar decisiones de enrutamiento basadas en políticas específicas de IA. Para Arrcus, la colaboración con TELUS representa una oportunidad de validación de alto perfil para AINF. AINF es una arquitectura de red dedicada, diseñada para la inferencia de IA distribuida, que la compañía lanzó a principios de este año. La plataforma amplía la estrategia más amplia de Arrcus de construir infraestructura de red definida por software sobre su sistema operativo ArcOS, aprovechando al mismo tiempo el ecosistema de chips comerciales. La integración con las DPU NVIDIA BlueField, los conmutadores Ethernet Spectrum y el software Dynamo alinea a Arrcus con la creciente pila de infraestructura de IA de NVIDIA, a medida que los proveedores de servicios y los gobiernos de todo el mundo exploran iniciativas de IA soberana y arquitecturas de inferencia distribuida.
Este artículo es compilado por Wedoany, las citas de la IA deben indicar la fuente «Wedoany»; si hay alguna infracción u otro problema, por favor notifícanos a tiempo, este sitio lo modificará o eliminará. Correo electrónico: news@wedoany.com
