es.wedoany.com Noticia: Cafe24 anunció el día 23 el lanzamiento de un servicio de infraestructura de IA denominado "Enrutador de modelos de lenguaje de gran tamaño (LLM)", que permite integrar y utilizar más de 120 modelos de IA a través de una única interfaz de programación de aplicaciones (API).
La función principal del enrutador LLM es actuar como un "orquestador", conectando más de 120 interfaces de los principales modelos de IA, como ChatGPT, Claude y Gemini, en una sola plataforma, y seleccionando, asignando y cambiando automáticamente el modelo adecuado según la solicitud ingresada por el usuario.
Este servicio admite el uso de más de 120 modelos de IA, incluidos los modelos de la serie GPT de OpenAI, así como Claude, Gemini, DeepSeek, Qwen, Llama, entre otros, a través de una sola API. Su núcleo es el motor de enrutamiento, que analiza los tipos de trabajo, como codificación, razonamiento, traducción y creación, según el contenido de la solicitud ingresada por el usuario, y se conecta automáticamente al modelo de IA más adecuado. Si el usuario especifica de antemano el rango de modelos disponibles, el sistema se conectará automáticamente solo dentro de ese rango, sin necesidad de que el usuario compare o seleccione modelos uno por uno.
El servicio también ofrece una función para establecer la prioridad de los proveedores de servicios de IA según los criterios del usuario. Entre varios proveedores de servicios de IA que ofrecen el mismo modelo, el sistema se conectará automáticamente al proveedor más adecuado según los criterios seleccionados por el usuario, como costo, velocidad o capacidad de procesamiento. Por ejemplo, para un mismo modelo Claude, si el usuario elige el costo como criterio, se conectará automáticamente al proveedor con la mejor relación costo-eficiencia; si elige la velocidad, se conectará al proveedor con la respuesta más rápida. Además, el servicio admite funciones de lista blanca y lista negra, lo que permite al usuario especificar qué proveedores de servicios de IA incluir o excluir, controlando así de manera flexible el rango de conexión automática.
Para hacer frente a situaciones en las que un modelo de IA específico no responda, el enrutador LLM admite una "función de cambio automático". El usuario puede configurar de antemano un modelo principal y modelos alternativos; cuando el modelo principal no responda, el siguiente modelo candidato asumirá automáticamente el procesamiento de la solicitud. Por ejemplo, si Claude, utilizado como modelo principal, no responde, otro modelo preespecificado asumirá automáticamente la tarea, construyendo así un entorno operativo de ejecución continua.
Los usuarios pueden gestionar de manera intuitiva múltiples modelos de IA en un solo entorno. A través del "panel de control en tiempo real", los usuarios pueden ver en una sola pantalla datos como el número de solicitudes, el costo, la tendencia de uso de tokens, la proporción de costos de cada modelo y las tasas de éxito y fracaso. El servicio también admite registros detallados a nivel de solicitud, así como el seguimiento del uso por equipo, proyecto y entorno, lo que ayuda a los usuarios a comprender de manera más eficiente el uso de la IA y la estructura de costos.
Los usuarios también pueden conectar sus propias claves de modelos de IA al enrutador LLM para su uso. A través del modo "BYOK (Bring Your Own Key)", los usuarios registran las claves de los modelos que están utilizando, como GPT, Claude y Gemini, y luego pueden usar directamente esos modelos en el entorno del enrutador LLM, gestionando directamente los costos de uso de los modelos de IA.
El enrutador LLM adopta un modelo de facturación basado en créditos de uso recargables. Los usuarios pueden obtener créditos gratuitos al registrarse y experimentar el servicio directamente.
Cafe24 planea continuar expandiendo el soporte para nuevos modelos de IA y proveedores de servicios de IA en el futuro, y seguir promoviendo funciones que mejoren la conveniencia de la operación y gestión de la IA.
Lee Jae-seok, representante de Cafe24, indicó que, con el rápido crecimiento de la variedad de modelos de IA, cómo conectarlos y operarlos de manera eficiente se ha convertido en un nuevo desafío. Afirmó que continuarán desempeñando sólidamente el papel de dicha infraestructura para que los usuarios puedan aprovechar más fácilmente diversos modelos de IA.
Este artículo es compilado por Wedoany, las citas de la IA deben indicar la fuente «Wedoany»; si hay alguna infracción u otro problema, por favor notifícanos a tiempo, este sitio lo modificará o eliminará. Correo electrónico: news@wedoany.com
