es.wedoany.com Noticia: El 13 de julio, SenseTime Technology de China lanzó oficialmente y puso a disposición el modelo unificado de visión general SenseNova-Vision, que integra comprensión y generación, ofreciendo capacidades unificadas para tareas como detección de objetos, reconocimiento óptico de caracteres, segmentación de imágenes, predicción de profundidad, estimación de normales de superficie, geometría multivista y estimación de pose de cámara. A diferencia de los enfoques técnicos anteriores que configuraban modelos, cabezales de predicción y decodificadores separados para diferentes tareas visuales, SenseNova-Vision transforma múltiples tareas de visión por computadora en problemas de generación de texto, generación de imágenes o generación mixta de texto e imágenes, permitiendo que las capacidades de percepción visual ingresen directamente al sistema de entrada y salida de modelos multimodales generales.
El contenido abierto esta vez no solo incluye los pesos del modelo. SenseTime ha publicado el modelo SenseNova-Vision-7B-MoT, el código de inferencia, el informe técnico y el corpus visual SenseNova-Vision-Corpus-50M, además de proporcionar acceso a inferencia de una sola imagen, inferencia interactiva, demostración web y puntos de referencia de evaluación. Según los registros oficiales del proyecto, el modelo, el conjunto de datos, el código de inferencia y el informe técnico mencionados se publicaron gradualmente a partir del 8 de julio, y la información completa del lanzamiento se dio a conocer el 13 de julio.
Los sistemas tradicionales de visión por computadora generalmente establecen cadenas técnicas independientes según las tareas. La detección de objetos requiere la salida de categorías y cuadros delimitadores, la segmentación de imágenes necesita generar máscaras a nivel de píxel, la predicción de profundidad calcula la distancia espacial correspondiente a cada píxel, y la reconstrucción 3D debe procesar imágenes multivista, mapas de puntos y parámetros de cámara. Estas tareas solían requerir diferentes estructuras de modelo, objetivos de entrenamiento, módulos de predicción especializados y métodos de procesamiento de datos. SenseNova-Vision busca eliminar esta fragmentación de modelos entre tareas, ya no agregando ramas de arquitectura especializadas para detección, segmentación, estimación de profundidad o predicción geométrica, sino permitiendo que un mismo modelo identifique el tipo de tarea, el área objetivo, la perspectiva de observación y las reglas de salida según instrucciones en lenguaje natural.
Después de la unificación, los diferentes resultados visuales aún adoptan formas de expresión adecuadas a sus propias características. La información estructurada, como categorías de objetos, cuadros delimitadores, coordenadas de puntos, resultados de reconocimiento de texto, puntos clave del cuerpo humano y parámetros de cámara, puede ser generada directamente por el modelo como registros de texto; los resultados a nivel de píxel, como máscaras de segmentación, mapas de profundidad, mapas de normales de superficie y mapas de puntos 3D multivista, se generan en forma de imágenes. Para tareas combinadas que requieren tanto la descripción de la categoría del objeto como la salida del área de segmentación correspondiente, el modelo puede generar simultáneamente texto e imágenes, permitiendo que una misma interfaz de interacción cubra comprensión visual estructurada, predicción geométrica densa, segmentación de imágenes y geometría visual multivista.
Las instrucciones en lenguaje natural se convierten en una entrada importante para conectar diversas tareas visuales. Los desarrolladores pueden especificar mediante texto la categoría del objeto a identificar, el color, el área, la perspectiva y el formato de salida, y también pueden agregar pistas visuales para designar el objeto de procesamiento. Luego, el modelo genera resultados analizables según lo acordado. Este enfoque permite que las tareas visuales ya no estén completamente limitadas por tablas de categorías fijas y formatos de evaluación predefinidos. Por ejemplo, los usuarios pueden combinar categorías, colores y condiciones de área local mediante el lenguaje, creando requisitos de procesamiento visual más flexibles que las tareas fijas tradicionales.
Para respaldar este método de entrenamiento unificado, SenseTime construyó el corpus SenseNova-Vision-Corpus-50M. Este corpus transforma las anotaciones visuales originalmente dispersas en tareas como detección, reconocimiento de texto, localización de puntos clave, segmentación de imágenes, estimación de profundidad y geometría multivista en una estructura de muestra unificada de "entrada visual, instrucción en lenguaje natural, respuesta decodificable", donde las respuestas cubren texto, imágenes y contenido mixto de texto e imágenes. El proceso de entrenamiento utiliza principalmente este corpus visual, complementado con datos multimodales auxiliares, para reducir la pérdida de capacidades de comprensión general y generación de imágenes durante el fortalecimiento de las capacidades visuales del modelo.
En cuanto al alcance de las tareas públicas, SenseNova-Vision actualmente cubre cuatro categorías principales de capacidades visuales. La comprensión visual estructurada incluye detección de objetos, localización referencial, reconocimiento de texto, localización de elementos de interfaz y predicción de puntos clave; la predicción geométrica densa incluye estimación de profundidad monocular y predicción de normales de superficie; la parte de segmentación abarca segmentación general, segmentación referencial, segmentación por razonamiento, segmentación interactiva y segmentación con descripción semántica; la geometría visual multivista incluye reconstrucción de mapas de puntos 3D y estimación de pose de cámara. Los resultados de referencia oficiales muestran que un solo modelo puede competir con algunos modelos especializados y modelos visuales generales en múltiples formatos de salida y tareas visuales, pero el rendimiento no es completamente consistente entre diferentes tareas.
Tras la apertura del modelo, los desarrolladores pueden ejecutar ejemplos predefinidos a través del código oficial, o especificar el tipo de tarea, las indicaciones de texto y la imagen de entrada para iniciar una inferencia única. El sitio oficial también proporciona un esquema de demostración web local basado en Gradio. Para una demostración completa, se recomienda usar una GPU con 80 GB de memoria; para ejecutar todas las evaluaciones de referencia, se recomienda configurar al menos un servidor con 8 GPUs de 80 GB cada una. Esto indica que, aunque SenseNova-Vision ya proporciona una entrada de inferencia completa, aún requiere recursos computacionales elevados para la implementación y evaluación de todas las tareas.
La licencia de apertura también tiene límites claros. Los pesos del modelo SenseNova-Vision utilizan la licencia CC BY-NC 4.0, principalmente para uso no comercial, y la página del conjunto de datos también indica la misma licencia; el código fuente en el GitHub oficial debe usarse por separado según la licencia indicada en el repositorio. Por lo tanto, esta "apertura completa del código fuente" significa principalmente que el modelo, el corpus de entrenamiento, el código de inferencia, el informe técnico y los métodos de evaluación se han hecho públicos para la comunidad de investigación, pero no implica que todo el contenido pueda usarse sin restricciones directamente en productos comerciales.
SenseTime también enumera las limitaciones actuales en la descripción del modelo. El modelo unificado no significa que supere a los sistemas especializados en cada tarea profesional; algunos modelos especializados aún pueden mantener ventajas en puntos de referencia específicos; la salida de texto aún requiere configurar programas de análisis según la tarea, y los resultados de imagen también deben decodificarse según el protocolo de entrenamiento. Los resultados de profundidad, normales de superficie, mapas de puntos 3D y pose de cámara, antes de ingresar a escenarios como robótica, conducción autónoma, inspección industrial u otros entornos de alta seguridad, aún deben ser verificados por sistemas independientes, y los resultados generados por el modelo no pueden usarse directamente como base de control final.
El principal cambio técnico logrado por SenseNova-Vision esta vez es reorganizar las tareas visuales clásicas previamente dispersas en tareas de generación que los modelos multimodales generales pueden procesar. La detección, segmentación, predicción de profundidad y geometría 3D ya no corresponden a sistemas aislados separados, sino que comparten instrucciones en lenguaje natural, entrada visual y espacio de generación de texto e imágenes, proporcionando un nuevo camino de implementación para integrar aún más la percepción visual, la comprensión del lenguaje, la generación de imágenes y el razonamiento espacial en un mismo modelo base.
