[gull] qqun ayant déjà du choisir entre netCDF et HDF5

Philippe Strauss philou at philou.ch
Fri Jul 30 12:15:00 CEST 2010


Hello Vicky,

c'est pour y stocker une expansion de vecteurs dans un cas de compromis 
mémoire/traitement cpu. ces vecteurs peuvent en fait etre placé dans une 
matrice à deux dimensions de ~300 lignes pour 50000 à 100000 colonnes. 
cela donnerait une matrice creuse en fait, et c'est là que je suis 
intéressé à soit un format de fichier optimisant les matrices creuses ou 
de la compression façon RLE, j'ai vu que c'est dispo même sous HDF4 
semble-t-il.

L'idée est que l'appli, à son premier lancement, calcule cette matrice 
une fois, l'écrive sur le disque, puis à une nouvelle utilisation, 
relise la matrice plutôt que de la recalculer à chaque utilisation.

L'aspect hiérarchique de HDF5 je n'en ai pas besoin pour l'instant, en 
même temps c'est séduisant pour un nouveau design, mais j'ai trouvé un 
binding caml pour HDF4 et je risque d'accéder à ces données depuis C et 
Caml, donc mon choix et fait (il n'y a pas de binding caml pour netCDF).

Merci tout de même !

Vicky wrote:
>> sur cette liste ?
>>
>> (ce sont deux format de fichier pour données numérique mais leur pro/con
>> respectif ?)
>
> La principale différence c'est que HDF5 est hierarchique et permets de
> la compression. NetCDF est plus simple à utiliser pour stocker des
> datas "simples" et y accèder par blocs de coordonnées. Tout dépend
> donc de ton problème. Tu dois faire quoi exactement? Coment est-ce que
> les données sont écrites et lues?

-- 
Ph. Strauss
http://www.philou.ch/



More information about the gull mailing list