es.wedoany.com Noticia: Recientemente, la Academia China de Tecnologías de la Información y la Comunicación (CAICT) celebró el "Seminario sobre Evaluación y Estandarización de Modelos de Lenguaje de Gran Escala" durante la Cumbre Global de IA para el Bien (AI for Good) en Ginebra, Suiza. Inteligencia Artificial Bilel Jamoussi, Subdirector de la Oficina de Normalización de las Telecomunicaciones de la Unión Internacional de Telecomunicaciones (UIT), y Yu Xiaohui, Presidente de la CAICT, asistieron y pronunciaron discursos. La reunión tuvo como objetivo responder aún más a las recomendaciones del "Pacto Digital Global de las Naciones Unidas" sobre "eliminar la nueva brecha digital en el campo de la evaluación de la IA".
En su discurso, Bilel Jamoussi señaló que los estándares internacionales se están convirtiendo en un soporte importante para promover la gobernanza de la IA y sus aplicaciones confiables. La UIT ya ha publicado estándares internacionales para la evaluación comparativa de modelos de lenguaje de gran escala y continúa avanzando en trabajos de estandarización para modelos multimodales de gran escala. La iniciativa de construcción conjunta publicada en este seminario tiene como objetivo promover la colaboración interdisciplinaria e interinstitucional en indicadores, métodos y estándares de evaluación a nivel global, fomentando un desarrollo seguro, inclusivo y beneficioso de la inteligencia artificial.
Yu Xiaohui, Presidente de la CAICT, señaló que el sistema de evaluación de modelos de lenguaje de gran escala refleja la elección de valores de la humanidad en cuanto a la dirección del desarrollo de la inteligencia artificial. La definición de las dimensiones y métodos de evaluación influirá profundamente en la dirección de la evolución tecnológica y la implementación de aplicaciones, siendo una base importante para promover el desarrollo confiable de la IA, equilibrando la equidad social y el desarrollo sostenible. Afirmó que la clave para avanzar en la cooperación internacional en evaluación radica en consolidar un consenso global, fortaleciendo tanto la coordinación de las rutas técnicas de evaluación como estableciendo conjuntamente una orientación de valores de seguridad, confiabilidad, controlabilidad y beneficio.
Wang Jian, académico de la Academia China de Ingeniería, fundador de Alibaba Cloud y director del Laboratorio de Zhejiang, indicó en su discurso principal que, como sistemas altamente complejos, incluso los desarrolladores de modelos de lenguaje de gran escala tienen dificultades para comprender con precisión sus límites de capacidad, lo que plantea enormes desafíos para el trabajo de evaluación. Señaló que la evaluación actual se centra más en probar las funciones del sistema, y en el futuro se podría tomar como referencia el enfoque de las pruebas de coeficiente intelectual humano para explorar el establecimiento de una metodología consistente para medir la inteligencia de las máquinas. El significado de la evaluación no solo radica en puntuar y clasificar, sino también en ayudar a comprender y promover la tecnología en sí misma.
Lin Yonghua, Vicepresidenta e Ingeniera Jefe del Instituto de Inteligencia Artificial de Beijing (BAAI), Gilles Thonet, Subsecretario General de la Comisión Electrotécnica Internacional (IEC), Nicolas Miailhe, cofundador de AI Safety Connect, así como expertos de Korabench.ai, Amazon Web Services, Future Ethics Lab, el Instituto de Investigación de Electrónica y Telecomunicaciones de Corea, Huawei y ZTE, compartieron prácticas y llevaron a cabo discusiones en profundidad sobre temas como modelos base científicos, pruebas de equipo rojo, medición del comportamiento de la IA, interoperabilidad de estándares y reconocimiento mutuo internacional. Los participantes alcanzaron cuatro puntos de consenso: primero, la IA confiable se basa en la verificación, no en declaraciones, y la evaluación es una capacidad fundamental para promover la IA para el bien; segundo, las limitaciones de los puntos de referencia estáticos son cada vez más evidentes, y la evaluación debe volverse dinámica, continua y cubrir todo el ciclo de vida; tercero, el alcance de la evaluación debe extenderse de los modelos a las aplicaciones, considerando tanto los riesgos a largo plazo como los impactos reales; cuarto, se debe fortalecer el intercambio de métodos y el reconocimiento mutuo de resultados, promoviendo que los estándares y las evaluaciones se conviertan en una infraestructura pública global, para que los resultados de la evaluación beneficien a más países y grupos.
Wei Kai, Director del Instituto de Investigación de Inteligencia Artificial de la CAICT, presentó el sistema de evaluación de modelos de lenguaje de gran escala "Fangsheng" en su informe temático titulado "Evaluación de Modelos de Lenguaje de Gran Escala: Práctica y Estandarización". Wei Kai señaló que la evaluación de modelos de lenguaje de gran escala desempeña tres funciones: actuar como una "brújula" que guía la innovación tecnológica, un "conector" que vincula la tecnología con las aplicaciones, y una "válvula de seguridad" que garantiza el desarrollo beneficioso de la IA. En el futuro, la evaluación de capacidades se centrará más en la verificación de tareas complejas, la evaluación de seguridad y confiabilidad se expandirá hacia la identificación de riesgos sistémicos, y la evaluación de la eficiencia de ingeniería fortalecerá la coordinación entre costos y eficiencia. El sistema "Fangsheng", basado en la norma ITU-T F.748.44, cubre múltiples dimensiones como capacidad, aplicación, seguridad y confiabilidad, e inteligencia de vanguardia. Hasta julio de 2026, este sistema ha completado más de 1500 evaluaciones, ha construido un conjunto de datos de prueba de 8.5 millones de entradas y ha reducido los riesgos de contaminación de datos y manipulación de clasificaciones mediante pruebas dinámicas.
Durante la reunión, la CAICT publicó la "Iniciativa Internacional para la Construcción Conjunta de un Sistema de Evaluación de Modelos de Lenguaje de Gran Escala y el Desarrollo para el Bien", que propone diez aspectos, incluyendo reconocer el valor de la evaluación, impulsar la innovación en evaluación, perfeccionar el marco de evaluación, consolidar la base de datos, potenciar las aplicaciones industriales, promover la colaboración abierta, garantizar la transparencia de la evaluación, mantener la integridad de la evaluación, fomentar la interoperabilidad de estándares y promover la IA para el bien. La iniciativa invita a organizaciones internacionales, instituciones de investigación, empresas y diversos sectores de la sociedad a compartir conjuntos de datos y métodos de evaluación, y a construir conjuntamente una comunidad de evaluación de código abierto para reducir la brecha de inteligencia.
En el futuro, la CAICT profundizará aún más su cooperación con organizaciones internacionales como la UIT, la IEC y la ISO, así como con la industria global, el mundo académico y las comunidades de código abierto, compartiendo abiertamente métodos de evaluación, conjuntos de datos y experiencias prácticas, para promover la formación de un ecosistema de evaluación de IA abierto, inclusivo e interoperable, contribuyendo con la práctica china al desarrollo beneficioso de la inteligencia artificial.
