es.wedoany.com Noticia: pgEdge, proveedor de PostgreSQL distribuido, ha lanzado la versión beta de ColdFront, una arquitectura de capas de datos fríos y calientes nativa de PostgreSQL diseñada para migrar automáticamente los datos más antiguos al almacenamiento de objetos Apache Iceberg, al mismo tiempo que convierte a PostgreSQL en la única base de datos con la que las aplicaciones necesitan interactuar.
Durante años, las empresas han mantenido por separado los sistemas de procesamiento de transacciones (OLTP) y de análisis (OLAP), incluso si esto implicaba mover datos entre ambos. El auge de los agentes autónomos y las aplicaciones de IA, que requieren acceso instantáneo a los datos y generan grandes volúmenes de datos operativos, ha puesto de manifiesto los costos y la complejidad de mantener sistemas independientes. La industria ha reaccionado rápidamente, y los proveedores de almacenes de datos y bases de datos han propuesto múltiples enfoques para romper los silos de datos: en las últimas semanas, Databricks lanzó LTAP, EDB presentó Fusion Analytics, y a finales del año pasado Snowflake publicó pg_lake, ofreciendo diferentes caminos para integrar cargas de trabajo transaccionales, analíticas y de IA.
ColdFront de pgEdge adopta una arquitectura de capas de datos fríos y calientes, donde "caliente" y "frío" se refieren respectivamente a datos más recientes y más antiguos. Según Phillip Merrick, cofundador de pgEdge, las consultas sobre datos recientes aún se ejecutan en PostgreSQL, mientras que las solicitudes de registros más antiguos se realizan de forma transparente a través del motor de análisis integrado de DuckDB, lo que permite que las aplicaciones utilicen el mismo SQL sin necesidad de introducir canalizaciones ETL, rutas de consulta separadas o cambios en la aplicación. Los registros más antiguos almacenados en Iceberg también se pueden actualizar a través de PostgreSQL, logrando lo que Merrick denomina una "capa fría escribible".
Ashish Chaturvedi, director ejecutivo de investigación de HFS Research, señaló que ColdFront solo considera Iceberg como una capa de almacenamiento transparente detrás de PostgreSQL, moviendo automáticamente los datos más antiguos fuera de la base de datos, mientras permite que las aplicaciones utilicen las mismas tablas y SQL. En comparación, LTAP de Databricks conecta aplicaciones operativas al lakehouse, EDB utiliza PostgreSQL como fuente de datos operativos y expone los datos a través de Iceberg, y pg_lake de Snowflake escribe directamente los datos de PostgreSQL en Iceberg, permitiendo que tanto PostgreSQL como Snowflake consulten los mismos datos.
Amit Chandak, director de análisis de la consultora de TI Kanerika, señaló que las empresas necesitan conservar los datos operativos históricos generados por las aplicaciones de IA con fines de auditoría y cumplimiento normativo, por lo que poder corregir, eliminar o modificar registros después de que los datos se hayan movido a un almacenamiento más barato es crucial para cumplir con las leyes de protección de datos y privacidad. Chaturvedi dijo que ColdFront puede simplificar este proceso: "En la mayoría de los sistemas de capas, los datos fríos son de solo lectura, y las solicitudes de eliminación del GDPR requieren restaurar, eliminar y volver a archivar, lo que lleva medio día; ColdFront permite ACTUALIZAR y ELIMINAR filas de datos archivados con una sola instrucción SQL". Igor Ikonnikov, investigador consultor de Info-Tech Research Group, afirmó que las empresas en los sectores financiero, sanitario y gubernamental desean mantener los datos operativos sensibles en la infraestructura controlada por el cliente, al mismo tiempo que conservan la capacidad de modificar registros históricos, y la arquitectura de ColdFront es particularmente importante para esto.
Ikonnikov señaló que todas las soluciones dependen de DuckDB: "ColdFront utiliza DuckDB para ejecutar consultas sobre datos de Iceberg, pg_lake de Snowflake enruta las consultas de Iceberg a través de pgduck_server, y Lakebase de Databricks también depende internamente de DuckDB. DuckDB se está convirtiendo en el motor de análisis integrado de facto para la nueva generación de arquitecturas PostgreSQL-Iceberg". Esta dependencia conlleva un riesgo concentrado: si DuckDB enfrenta cambios de licencia, vulnerabilidades de seguridad o cuellos de botella de rendimiento, el impacto se extenderá a múltiples productos. Por lo tanto, los CIO deben comprender la madurez y la hoja de ruta de estos componentes compartidos.
Michael Leone, analista principal de Moor Insights & Strategy, cree que la mayoría de las empresas ya tienen arquitecturas de datos establecidas, y los CIO deben evaluar estas plataformas en función de dónde se encuentran sus datos, desarrolladores y flujos de trabajo operativos. Recomienda que las empresas primero estandaricen Iceberg, ya que las cuatro arquitecturas admiten formatos de tabla abiertos, lo que permite a las empresas mantener la flexibilidad y, en el futuro, reemplazar la base de datos frontal o la plataforma de análisis sin necesidad de migrar los datos subyacentes. Ikonnikov advirtió que existen problemas de gobernanza del catálogo de Iceberg: los cuatro métodos utilizan catálogos diferentes, y la interoperabilidad entre proveedores aún no se ha resuelto. Cuando agentes de diferentes sistemas necesitan consultar la misma tabla de Iceberg, la federación de catálogos se convierte en un desafío práctico.
Este artículo es compilado por Wedoany, las citas de la IA deben indicar la fuente «Wedoany»; si hay alguna infracción u otro problema, por favor notifícanos a tiempo, este sitio lo modificará o eliminará. Correo electrónico: news@wedoany.com
