es.wedoany.com Noticia: El banco digital británico Monzo rediseñó su almacén de datos y, mediante un enfoque de "malla", redujo los costos del almacén en aproximadamente un 40% y aceleró la velocidad de entrega de datos en aproximadamente un 25%. El banco enfrentaba una situación compleja con más de 100 equipos gestionando más de 12 000 modelos dbt.
En el último año, Monzo reconstruyó su plataforma de datos en torno a capas de modelado definidas, declarando explícitamente modelos de interfaz para dependencias de datos entre equipos, y aplicando la validación de estructuras, nombres y patrones de acceso mediante integración continua (CI). Esta migración abarcó miles de modelos dbt e introdujo cientos de interfaces gestionadas, reduciendo consultas redundantes y cálculos duplicados, mejorando los tiempos de disponibilidad de datos y revirtiendo la tendencia de crecimiento de los costos del almacén. Cada equipo posee y mantiene sus propios modelos de datos, y Monzo respalda la propiedad distribuida mediante barreras de seguridad automatizadas y herramientas compartidas. Los ingenieros analíticos de Monzo, Antonia Badarau, Irina Mugford y Massimo Frangiamore, señalaron que, aunque la propiedad distribuida es poderosa, resulta difícil de implementar correctamente a escala, especialmente cuando la codificación asistida por IA se vuelve habitual, siendo un desafío garantizar que los resultados sigan siendo eficientes, consistentes y de alta calidad.
Los modelos dbt son consultas SQL que transforman datos sin procesar en conjuntos de datos estructurados, diseñados como componentes modulares y reutilizables para construir y mantener canalizaciones de datos. Monzo definió tres principios para su arquitectura de datos: aplicar estándares explícitos, normalizar el intercambio de datos mediante interfaces explícitas, y depender de la automatización y las comprobaciones de CI para garantizar la calidad, en lugar de revisiones manuales. El banco dividió los modelos de datos en cuatro capas: modelos de ingesta automatizada (aplanan eventos sin procesar), modelos de normalización generados (representan entidades con historial completo), modelos lógicos (combinan entidades con lógica de negocio) y modelos de presentación personalizados para usos downstream específicos.
Los equipos garantizan la coherencia mediante la herramienta de línea de comandos Modelgen (que genera modelos SQL y YAML a partir de definiciones de objetos) y mediante estándares de datos respaldados por CI (que validan estructuras, convenciones y mejores prácticas). Luke Briscoe, director de ingeniería de Monzo Bank, afirmó que escalar datos en cualquier organización de rápido crecimiento no es fácil, especialmente para un banco, y que, según su conocimiento, pocas empresas ejecutan herramientas similares. Mateusz Ulas, fundador de Expeditious Software, comentó que tratar las interfaces de datos como código de primera clase sigue siendo excepcionalmente raro; la mayoría de los lugares dependen de la documentación y esperan lo mejor, mientras que integrar los estándares en la CI es lo que permite lograr mejoras.
Las capas de datos claras, las interfaces estables entre conjuntos de datos y las comprobaciones automatizadas en la CI mantienen la coherencia del sistema, permitiendo que los equipos trabajen de forma independiente, al tiempo que reducen los costos del almacén y los tiempos de procesamiento. Monzo aplica la calidad y coherencia de los datos exigiendo que cada modelo defina una clave única, incluya pruebas de actualidad, se ejecute de forma incremental por defecto, declare el equipo propietario, proporcione documentación y siga convenciones estrictas de nomenclatura y metadatos validadas por CI.
Badarau, Mugford y Frangiamore añadieron que la migración a nivel de toda la empresa está en curso, completada en aproximadamente un 30%, y los resultados preliminares son alentadores, observando en ciertas áreas una reducción de costos de aproximadamente el 40% y tiempos de disponibilidad de datos aproximadamente un 25% más rápidos.
En otro artículo, el equipo de ingeniería de Monzo describió cómo utilizaron redes neuronales multitarea para aprender representaciones compartidas de patrones de fraude, mejorando así la detección de comportamientos raros y no vistos anteriormente, superando las capacidades de los modelos tradicionales. En la conferencia QCon de Londres de este año, Suhail Patel mostró cómo Monzo construyó una plataforma para desarrolladores capaz de enviar cientos de cambios a producción cada día.
Este artículo es compilado por Wedoany, las citas de la IA deben indicar la fuente «Wedoany»; si hay alguna infracción u otro problema, por favor notifícanos a tiempo, este sitio lo modificará o eliminará. Correo electrónico: news@wedoany.com
