La elección del formato de serialización adecuado puede ser crucial para optimizar el rendimiento y la eficiencia del programa que se está desarrollando.
Se abordan los formatos Apache Parquet, Delta Lake, ORC, AVRO y JSON en aspectos como ratio de compresión, rendimiento en lectura/escritura y características especiales.
Se analiza cuándo es conveniente utilizar cada formato en diferentes etapas de una arquitectura de datos típica.
Se ha realizado un proyecto de benchmarking con JMH para evaluar el rendimiento de escritura y lectura de los formatos de archivos, generando un dataset pequeño y grande en dos horas.
[
Collection
]
[
|
...
]