En la noche del 27 de julio, la empresa Moonshot AI, con sede en Haidian, Pekín, publicó los pesos del modelo Kimi K3, el informe técnico y abrió el código de la infraestructura clave (Infra) que respalda el entrenamiento del modelo Kimi K3. "Ahora, cualquiera puede descargar e implementar el modelo Kimi K3, ya sea para investigación y desarrollo internos o para integrarlo en productos orientados al usuario final, todo de forma gratuita".

Moonshot AI indicó que Kimi K3 es su modelo más potente. La escala de parámetros de Kimi K3 es aproximadamente tres veces la de Kimi K2.5, pero la escalabilidad no se limita a la acumulación de parámetros. Bajo condiciones de capacidad computacional limitada, el equipo técnico, gracias a una serie de innovaciones tecnológicas como Kimi Delta Attention, Attention Residuals y MoonEP, logró mejorar la eficiencia de escalabilidad en 2.5 veces. Esto significa que, en términos de optimización computacional, la inteligencia producida por unidad de capacidad computacional equivale aproximadamente a 2.5 veces la original.

Junto con los pesos del modelo Kimi K3, también se ha hecho público el método de entrenamiento del modelo de Moonshot AI: el informe técnico de Kimi K3 ya está disponible en línea.

Al preguntar por qué eligieron abrir su modelo más potente, Moonshot AI afirmó que cree firmemente en el valor de los modelos de pesos abiertos, ya que reducen las barreras para acceder a la inteligencia, impulsan la innovación y otorgan a los usuarios un mayor control sobre sus datos, privacidad y propiedad. En las últimas semanas, han recibido numerosas muestras de apoyo de la comunidad de IA y de líderes tecnológicos con una visión compartida. "Creemos que para una tecnología de impacto tan profundo como la AGI, un ecosistema amplio y abierto es el terreno más adecuado para albergarla. Por ello, seguiremos contribuyendo con nuestro esfuerzo".