es.wedoany.com Noticia: Confluent ha lanzado oficialmente una actualización para Apache Kafka que traslada la ubicación de almacenamiento del ID de esquema de la carga útil del mensaje a los encabezados, con el objetivo de simplificar los procesos de gobernanza de datos.
En las implementaciones tradicionales de Kafka, el ID de esquema se incrusta directamente en la carga útil del mensaje. Aunque esto garantiza que los consumidores deserialicen correctamente los eventos, provoca un acoplamiento estrecho entre los metadatos del esquema y los datos en sí. Este diseño, en entornos donde múltiples equipos consumen el mismo flujo de eventos, aumenta la complejidad de la evolución del esquema y los costos de coordinación.
La nueva solución coloca el identificador del esquema en los encabezados del registro de Kafka, manteniendo la carga útil sin cambios. Los consumidores, en tiempo de ejecución, utilizan el ID del encabezado para obtener el esquema correspondiente desde el Confluent Schema Registry. Este método es compatible con múltiples formatos como Avro, Protobuf y JSON Schema, al tiempo que reduce la dependencia de formatos de línea estrechamente acoplados, haciendo que los flujos de eventos sean más flexibles y más fáciles de integrar en sistemas posteriores.
Patrick Neff, líder del equipo CSTA de Confluent (región CEMEA), indicó en una publicación en LinkedIn que la gobernanza de esquemas desempeña un papel clave en la promoción de la reutilización de datos entre sistemas de streaming y analíticos, siendo un factor importante para liberar todo el valor de los datos.
El método basado en encabezados admite una adopción incremental. Los equipos pueden introducir la gobernanza de esquemas sin necesidad de reescribir o coordinar a gran escala a todos los productores y consumidores. El ID de esquema se puede adjuntar a los flujos de eventos existentes, permitiendo que los equipos adopten gradualmente prácticas de gestión de esquemas más estrictas, manteniendo al mismo tiempo la compatibilidad hacia atrás.
Gunnar Morling, experto técnico de Confluent, señaló que al colocar el ID de esquema en los encabezados, la carga útil se vuelve independiente y autocontenida, lo que mejora significativamente la interoperabilidad con sistemas de almacenamiento y marcos de procesamiento posteriores, mejorando la experiencia de uso.
Separar los metadatos del esquema de la carga útil permite que los productores y consumidores evolucionen de forma independiente, concentrando la validación en el Schema Registry, reduciendo así los costos de coordinación y simplificando la evolución del esquema en entornos a gran escala. Esta medida también contribuye a la reutilización coherente de datos de eventos estructurados en diferentes canales, mejorando la interoperabilidad con herramientas como Apache Flink y sistemas analíticos o de aprendizaje automático.
David Araujo, director de gestión de productos de Confluent, explicó que esta función permite adjuntar esquemas a los datos existentes de Kafka sin modificar el formato de la carga útil, logrando un modo de adopción de cero tiempo de inactividad e independiente del cliente.
Algunos escenarios de migración pueden requerir la actualización de conectores de Kafka y herramientas posteriores que asumen que los metadatos del esquema están incrustados en la carga útil, por lo que ambos métodos podrían coexistir durante un tiempo. Actualmente, esta función ya está disponible en Confluent Cloud y se espera que esté disponible en Confluent Platform (con soporte para Schema Registry bajo el modelo de licencia existente).
Este artículo es compilado por Wedoany, las citas de la IA deben indicar la fuente «Wedoany»; si hay alguna infracción u otro problema, por favor notifícanos a tiempo, este sitio lo modificará o eliminará. Correo electrónico: news@wedoany.com
