es.wedoany.com Noticia: El Centro Nacional de Supercomputación de Barcelona (BSC-CNS) lanzó oficialmente el 15 de mayo la biblioteca de computación distribuida dislib 1.0.0, proporcionando un conjunto de herramientas maduro y estable para ejecutar tareas de análisis de big data y aprendizaje automático en plataformas distribuidas como clústeres, nubes y supercomputadores. Esta versión, al ofrecer una API estable y robusta, mejora significativamente la compatibilidad y facilidad de uso para la investigación avanzada en entornos distribuidos a gran escala, marcando la transformación de dislib de un prototipo de investigación a una base de código de nivel de producción utilizable en aplicaciones críticas.
dislib 1.0.0 es una biblioteca de Python construida sobre el framework paralelo PyCOMPSs, cuya filosofía de diseño central es permitir a los usuarios manejar la computación distribuida a gran escala mediante programación secuencial, utilizando una interfaz simple similar a scikit-learn. Esta iteración de la versión integra profundamente PyTorch y PyEDDL, soportando por primera vez de manera sistemática el entrenamiento distribuido de redes neuronales, lo que permite a los investigadores completar tareas complejas de flujo completo, desde el aprendizaje automático tradicional hasta el aprendizaje profundo, directamente dentro de la biblioteca.
La reestructuración técnica fundamental es la piedra angular de esta actualización. La capa base de la biblioteca diseña una estructura de array multidimensional distribuido llamada ds-array, que divide y almacena datos masivos en nodos remotos. Todos los algoritmos construidos sobre esta base, como los de agrupamiento, clasificación, regresión y sistemas de recomendación, se definen como tareas ejecutables en paralelo, programadas automáticamente en segundo plano por el entorno de ejecución de PyCOMPSs. Esta serie de mejoras asegura que dislib pueda procesar eficientemente conjuntos de datos que no caben en la memoria de una sola máquina y sea perfectamente compatible con las nuevas versiones del ecosistema de computación científica, como COMPSs 3.4 y NumPy 2.x.
El investigador del BSC Eduardo Iraola comentó que dislib 1.0.0 ya no es solo un prototipo de investigación, sino una base de código madura, y ver que ya está dando soporte a aplicaciones reales como la evaluación del impacto sísmico, la medicina personalizada y los gemelos digitales es la mejor prueba de que se avanza en la dirección correcta.
La madurez de dislib ha sido validada en numerosos proyectos de investigación. En el campo de la astrofísica, dislib, combinado con datos de la misión Gaia de la Agencia Espacial Europea, ejecutó con éxito el análisis del algoritmo de agrupamiento DBSCAN, revelando cúmulos estelares abiertos en la Vía Láctea. En el ámbito de la salud, el proyecto AI-SPRINT utilizó el modelo de bosque aleatorio de dislib para la detección de fibrilación auricular, impulsando el desarrollo de la medicina personalizada. Además, en proyectos europeos de computación de alto rendimiento, dislib se utiliza ampliamente en áreas como la alerta temprana de desastres naturales, gemelos digitales en manufactura, diseño de materiales compuestos aeroespaciales y evaluación del impacto climático extremo, demostrando plenamente su alta estabilidad y amplia aplicabilidad en la computación multidisciplinaria.
dislib es de código abierto bajo la permisiva licencia Apache 2.0, y los investigadores y desarrolladores pueden instalarlo localmente directamente mediante el comando pip install dislib, o cargarlo y usarlo en supercomputadores de primer nivel como MareNostrum. El BSC-CNS también ha optimizado simultáneamente la documentación del proyecto y las imágenes Docker, reduciendo la barrera técnica para principiantes y profesionales en el campo de la convergencia de HPC e IA al proporcionar dos entornos independientes: base y PyTorch.
Este artículo es compilado por Wedoany, las citas de la IA deben indicar la fuente «Wedoany»; si hay alguna infracción u otro problema, por favor notifícanos a tiempo, este sitio lo modificará o eliminará. Correo electrónico: news@wedoany.com
