es.wedoany.com Noticia: A medida que la inteligencia artificial (IA) generativa pasa de la fase de prueba de concepto (PoC) a la operación real de servicios, los desafíos que enfrentan las empresas se han expandido desde la mejora del rendimiento del modelo hasta la necesidad de gestionar el contenido y el comportamiento generados por la IA. En un contexto donde la IA se integra profundamente en los negocios y servicios, las respuestas incorrectas, los problemas de seguridad y las fallas inesperadas se convierten directamente en riesgos empresariales, lo que impulsa la "observabilidad de los LLM" como un nuevo tema en el ámbito de TI corporativo.
Ko Ji-hoon, líder del equipo de aplicaciones de WhaTap Labs, y Shin Min-cheol, desarrollador, destacaron en una entrevista en video con ZDNet Korea el día 26 los cambios que las empresas deben abordar en la era de la IA generativa y la importancia de la observabilidad de los LLM. Ko Ji-hoon señaló que, incluso si las respuestas son proporcionadas por la IA, los clientes finalmente las considerarán información oficial de la empresa, por lo que en la fase de operación del servicio de IA, es indispensable contar con un sistema que gestione continuamente la calidad y confiabilidad de las respuestas.
El caso de Air Canada, la aerolínea canadiense, demuestra que las empresas deben asumir la responsabilidad por las respuestas de la IA. El chatbot de la compañía informó a un cliente sobre un descuento inexistente en un producto; el cliente compró el boleto basándose en esa información y, al solicitar el descuento, se le negó, lo que desencadenó una disputa legal. Un tribunal canadiense determinó que, incluso si la respuesta provino de la IA, la responsabilidad por la información publicada recae en la empresa, por lo que Air Canada perdió el caso y enfrentó pérdidas económicas y daños a su reputación. Shin Min-cheol señaló que los casos en los que las respuestas de los chatbots de IA se consideran la postura oficial de la empresa son frecuentes, y un solo error en la respuesta puede provocar directamente pérdidas económicas y una caída en la reputación de la marca.
Ko Ji-hoon agregó que, hasta el año pasado, la mayoría de las empresas aún se encontraban en un nivel de aplicación piloto de IA, pero a partir de este año, los casos de aplicación real en servicios están aumentando rápidamente, especialmente en los sectores financiero, público y empresarial. Sin embargo, muchas empresas han lanzado servicios sin contar con un sistema de observación de la calidad de las respuestas.
Los métodos de monitoreo existentes tienen dificultades para detectar errores en las respuestas de la IA. Incluso si los indicadores del servidor y la red son normales, no se puede saber cuándo la IA genera respuestas incorrectas. Ko Ji-hoon explicó que las empresas pueden enfrentar un nuevo tipo de problema donde la CPU y la memoria funcionan correctamente, pero las quejas de los clientes aumentan drásticamente; el monitoreo de la infraestructura por sí solo no puede capturar anomalías en la calidad de las respuestas. Al mismo tiempo, las amenazas de seguridad también están evolucionando hacia nuevas formas. Con la capacidad de los agentes de IA para ejecutar código y controlar sistemas, los ataques de "inyección de indicaciones" (Prompt Injection), que inducen a la IA a realizar acciones no deseadas mediante entradas maliciosas, se han convertido en una realidad. WhaTap Labs también experimentó un incidente en pruebas internas donde, sin entradas maliciosas, un error de juicio de la IA provocó la eliminación completa de una carpeta en una PC de desarrollo. Shin Min-cheol explicó que los LLM han pasado de limitarse a generar texto a convertirse en agentes capaces de llamar funciones, ejecutar código y controlar sistemas externos; una sola entrada de indicación puede estar directamente vinculada a operaciones reales del sistema.
Para abordar estos problemas, WhaTap Labs ha lanzado una solución de observabilidad para LLM. Esta solución realiza un análisis correlacionado de todo el proceso, desde el uso de recursos de GPU hasta el rendimiento de las aplicaciones y la calidad de las respuestas de la IA, gestionando de manera unificada los errores y fallas que surgen en el entorno operativo del servicio. Los principales elementos de monitoreo incluyen: la adecuación y precisión de las respuestas de la IA, las alucinaciones (Hallucination, es decir, cuando la IA inventa información inexistente), los ataques de inyección de indicaciones, la inclusión de información personal, las rutas de respuesta innecesarias, y la eficiencia de los tokens y recursos de GPU, entre otros. Esta solución es especialmente adecuada para instituciones financieras y públicas nacionales que, por razones de seguridad, no pueden utilizar servicios de IA externos y construyen sus propios modelos operativos con GPU. Según se explica, en un entorno de modelo operativo con GPU propio, los tokens utilizados en las respuestas de la IA están directamente relacionados con los recursos de GPU; optimizar las rutas de respuesta puede mejorar simultáneamente el rendimiento del procesamiento y la eficiencia de costos. Shin Min-cheol enfatizó que las empresas que operan servicios de IA deben contar con un sistema que monitoree desde la calidad de las respuestas hasta las amenazas de seguridad en una sola plataforma; esto es una infraestructura central para mantener la credibilidad del servicio. Ko Ji-hoon, por su parte, predijo que en el futuro, el rol del operador pasará de analizar datos directamente a diseñar barreras para que la IA funcione de manera segura, y un sistema que unifique la observación de la infraestructura, las aplicaciones y los modelos de IA determinará la competitividad empresarial.
Este artículo es compilado por Wedoany, las citas de la IA deben indicar la fuente «Wedoany»; si hay alguna infracción u otro problema, por favor notifícanos a tiempo, este sitio lo modificará o eliminará. Correo electrónico: news@wedoany.com
