es.wedoany.com Noticia: Baseten Inc. está recaudando 1.500 millones de dólares en una ronda de financiación liderada conjuntamente por Altimeter Capital, Conviction, Spark Capital, Sands Capital y Wellington Management. Según informó The Wall Street Journal, algunos inversores compraron acciones con una valoración de 11.000 millones de dólares, mientras que los términos de inversión de otros patrocinadores especificaban una valoración de 13.000 millones de dólares.
Baseten ofrece una plataforma de servicios para automatizar la creación y gestión de clústeres de inferencia en la nube. A través de esta plataforma, los desarrolladores pueden evitar tareas pesadas como asignar tarjetas gráficas, configurar redes e instalar herramientas de software. El software de Baseten puede utilizarse tanto como servicio gestionado como implementarse como aplicación independiente en el entorno de nube pública de la empresa.
El núcleo de la plataforma son tres módulos denominados motores de inferencia, que se encargan de optimizar el rendimiento de los modelos de IA de los clientes y recopilar datos sobre problemas técnicos. El motor BIS-LLM está diseñado específicamente para modelos de lenguaje grandes que adoptan una arquitectura de expertos mixtos. Este tipo de modelos contiene múltiples redes neuronales, cada una orientada a diferentes tareas. BIS-LLM mejora la eficiencia del modelo optimizando su caché KV y configura automáticamente más hardware cuando aumenta el uso de tokens del modelo. El segundo motor, Engine-Builder-LLM, está optimizado para LLM densos, que están compuestos por un único conjunto de neuronas artificiales en lugar de múltiples redes neuronales. Engine-Builder-LLM emplea tecnología de decodificación anticipada, que puede generar múltiples tokens a la vez para acelerar la inferencia. El tercer motor, BEI, está orientado a modelos de IA más simples y puede impulsar modelos de incrustación, clasificación de datos y búsqueda, entre otros.
Baseten utiliza un módulo de software llamado MCM para distribuir las cargas de trabajo de inferencia entre múltiples nubes públicas. Si una de las nubes falla, MCM redirige las solicitudes a la plataforma que aún esté en línea. La empresa afirma que la capacidad de cambio de proveedor de esta tecnología también resulta muy útil en caso de escasez de tarjetas gráficas en las principales nubes públicas. La plataforma admite directamente docenas de modelos de IA de código abierto, y los clientes también pueden implementar algoritmos personalizados utilizando una herramienta llamada Truss, que empaqueta automáticamente los LLM en un formato compatible con Baseten.
La plataforma de Baseten no solo admite la inferencia de LLM personalizados, sino que también permite entrenarlos. La plataforma incluye una función de copia de seguridad que guarda periódicamente copias de la red neuronal durante el entrenamiento. Si surge un problema técnico, los desarrolladores pueden restaurar la copia de seguridad más reciente sin tener que comenzar el entrenamiento desde cero. Esta ronda de financiación se produce a menos de seis meses de la anterior, en la que se recaudaron 300 millones de dólares con la participación de NVIDIA Corporation y CapitalG.
Este artículo es compilado por Wedoany, las citas de la IA deben indicar la fuente «Wedoany»; si hay alguna infracción u otro problema, por favor notifícanos a tiempo, este sitio lo modificará o eliminará. Correo electrónico: news@wedoany.com
