5.3.2 : Exemples de formats de données plats (WIP)
Voici quelques exemples de formats de données plats :
- Le format HDF5[44]Hierarchical Data Format, HDF5 existe depuis 2002 et est le successeur du HDF4 qui lui, admettait une taille de fichier maximale de $2$ Go. Le HDF5 peut être interfacé avec la bibliothèque de compression blosc par le biais de filtres[45]Hierarchical Data Format, filters, HDF5, ce qui permet de compresser les données très rapidement et/ou très efficacement.
- Le format Parquet[43]Apache parquet existe depuis mai 2015
 |
| Surtout si quelqu'un a quelque chose à dire sur Parquet qu'il ne se gène pas. Là, je dois dire que je n'ai pas grand chose à dire dessus car je ne m'en suis jamais servi. Je sais juste que LSST s'en sert pour traiter ses données. |
De nombreuses bibliothèques utilisent le format HDF5 comme base et permettent l'utilisation de ces tableaux de données (ou tables) comme des bases de données :
- Panda[188]PANDA
- AstroPy[189]Astropy