Python et le format HDF5

Les groupes, comme leurs noms l'indiquent, permettent de regrouper des datasets et des attributs, ainsi que des sous-groupes. Il sont assimilables à des dossiers.

Un groupe est constitué :

• d'une liste d'attributs ;
• d'une liste d'objets HDF5 (les groupes étant eux-mêmes de objets HDF5).

Les datasets sont des tableaux multidimensionnels contenant des données d'un même type. Il sont assimilables à des fichiers.

Un dataset est composé :

• d'un datatype (le type de données stockées) ;
• d'un dataspace (nombre de dimensions du dataset) ;
• d'un format de stockage (linéaire, ou fractionné en morceaux de même dimension).

Les attributs, enfin, sont assimilables à des métadonnées pour les fichiers ou les dossiers. Fonctionnant sur le principe d'une valeur associée à un nom, ils permettent d'ajouter des descriptions complémentaires ou de stocker de très petites valeurs.

Ils sont constitués :

• d'une valeur ;
• d'un datatype.

Lorsque l'on charge un fichier HDF5, nous devons lui passer deux paramètres :

• le chemin d'accès au fichier ;
• le mode d'accès.

Les mode d'accès disponibles sont les suivants :

Ainsi, par exemple, pour ouvrir un fichier en lecture/écriture avec création si inexistant, nous ferons :

import h5py

mon_fichier = h5py.File('./mon_fichier.hdf5', 'a')

Un des défauts de cette librairie, ou peut-être est-ce du format, est que l'enregistrement des manipulations n'est pas systématiquement effectué dans le fichier.

De fait, vous pourrez constater l'enregistrement :

• directement après la manipulation ;
• à la fermeture du fichier ;
• si vous le demandez expressément.

Pour cette dernière solution, rien de plus simple, il suffit d'utiliser la méthode « flush ».

import h5py

mon_fichier = h5py.File('./mon_fichier.hdf5', 'a')
mon_fichier.flush()

Cette commande permet de demander l'exécution des actions encore non effectives.

Pour créer un groupe, il suffit d'appeler la fonction « create_group », puis de lui passer le chemin d'accès :

import h5py

mon_fichier = h5py.File('./mon_fichier.hdf5', 'a')
mon_groupe_01 = mon_fichier.create_group('groupe_01')
mon_fichier.close()

Il est également ensuite possible de créer un ou plusieurs sous-groupes, selon vos besoins :

import h5py

mon_fichier = h5py.File('./mon_fichier.hdf5', 'a')
mon_groupe_01 = mon_fichier.create_group('groupe_01')
mon_sous_groupe_01 = mon_fichier.create_group('/groupe_01/sous_groupe_01')
mon_fichier.close()

Notons enfin qu'il est possible de tout réaliser en une fois, en utilisant un chemin. Ainsi, les deux lignes précédentes auraient pu être remplacées par la ligne suivante :

import h5py

mon_fichier = h5py.File('./mon_fichier.hdf5', 'a')
mes_groupes_01 = mon_fichier.create_group('/groupe_01/sous_groupe_01')
mon_fichier.close()

Une liaison vers un groupe se fait très simplement de la façon suivante :

tmp_var = mon_fichier['/groupe_01/sous_groupe_01']

Bien entendu, vous pouvez également accéder à un attribut du groupe, de la même façon que vu précédemment avec le chemin d'accès.

De même, vous pouvez avoir aisément accès aux éléments disponibles dans le groupe :

import h5py

mon_fichier = h5py.File('./mon_fichier.hdf5', 'a')
for element in mon_fichier['/groupe_01'].items():
    print(element[0])
    print(element[1])
    print(element[1].name)
mon_fichier.close()

La suppression, elle aussi est très simple et se réalise de la façon suivante :

import h5py

mon_fichier = h5py.File('./mon_fichier.hdf5', 'a')
del mon_fichier['/groupe_01/sous_groupe_01']
mon_fichier.close()

Afin de connaître le chemin d'accès associé à un objet, il suffit d'accéder à l'attribut par défaut « name » :

import h5py

mon_fichier = h5py.File('./mon_fichier.hdf5', 'a')
mes_groupes_01 = mon_fichier.create_group('/groupe_01/sous_groupe_01')
print(mes_groupes_01.name)
mon_fichier.close()

Un dataset est assimilable à une matrice NumPy. Pour en créer un, il suffit de passer par la méthode « create_dataset » d'un groupe.

import h5py
import numpy as np

mon_fichier = h5py.File('./mon_fichier.hdf5', 'a')
groupe_01 = mon_fichier['/groupe_01']
ma_matrice = np.ones((100, 100))
mon_dataset = groupe_01.create_dataset(name='demo_dataset', data=ma_matrice, dtype="i8")
mon_fichier.close()

Par la suite, la syntaxe NumPy est de mise afin de faciliter la manipulation des données.

import h5py
import numpy as np

mon_fichier = h5py.File('./mon_fichier.hdf5', 'a')
groupe_01 = mon_fichier['/groupe_01']
ma_matrice = np.ones((100, 100))
mon_dataset = groupe_01['demo_dataset']
print(mon_dataset[0,0])
print(mon_dataset[0, 1:10])
print(mon_dataset[:,::2])
mon_fichier.close()

Et bien entendu, une mise à jour est extrêmement simple également :

import h5py
import numpy as np

mon_fichier = h5py.File('./mon_fichier.hdf5', 'a')
groupe_01 = mon_fichier['/groupe_01']
ma_matrice = np.ones((100, 100))
mon_dataset = groupe_01['demo_dataset']
mon_dataset[0, :] = 2
print(mon_dataset[0,0])
print(mon_dataset[0, 1:10])
print(mon_dataset[:,::2])
mon_fichier.close()

Accéder à un dataset est relativement simple. Il suffit tout d'abord d'avoir accès au fichier ou au groupe dans lequel se trouve le dataset. Ensuite on y accède comme avec un dictionnaire, où le nom du dataset est en réalité la clé.

mon_dataset = mon_fichier['demo_dataset']

Mais comment connaître la liste des datasets disponibles ? Cela est possible en deux étapes. Tout d'abord, établir la liste des éléments (groupes et datasets) disponibles, puis distinguer les deux types (l'exemple ci-après cherche les éléments à la racine du fichier).

import h5py

mon_fichier = h5py.File('./mon_fichier.hdf5', 'a')

list_elmts = [key for key in mon_fichier['/'].keys()]
for key in list_elmts:
    print(key)
    print(type(mon_fichier['/'][key]))
    print(mon_fichier['/'][key])
    print([key for key in mon_fichier['/'][key].keys()])
mon_fichier.close()

On peut voir ici que l'on retrouve un groupe et un dataset.

La suppression s'effectue comme avec un dictionnaire.

import h5py

mon_fichier = h5py.File('./mon_fichier.hdf5', 'a')

print([key for key in mon_fichier['/']['groupe_01'].keys()])
del mon_fichier['/groupe_01/sous_groupe_01']
print([key for key in mon_fichier['/']['groupe_01'].keys()])
mon_fichier.close()

L'ajout d'attributs utilise la méthode « create() ». Cependant attention, car si cette méthode permet de créer des attributs, dans le cas où l'attribut existe déjà, il sera écrasé. À utiliser avec précaution donc.

Cette méthode attend quatre paramètres :

Le paramètre « data » pourra être directement une valeur simple (12, 42.3, 'Hello'…) ou alors un tableau numpy de données (numpy.array(data)). Dans le premier cas, il vous faudra laisser le paramètre « shape » à « None ». Dans le second cas, il vous faudra renseigner correctement ce paramètre. La plupart du temps vous n'aurez même pas besoin de renseigner « shape » et « dtype ».

import h5py
import numpy as np

mon_fichier = h5py.File('./mon_fichier.hdf5', 'a')

mon_fichier['/groupe_01'].attrs.create("test_dvp1", 12)
mon_fichier['/groupe_01'].attrs.create("test_dvp2",np.array([[12], [12]]))

Veuillez noter qu'il est également tout à fait possible de passer par le dictionnaire « attrs » afin de se simplifier la vie. Il ne vous sera cependant possible que de créer des attributs avec des valeurs basiques, h5py se chargeant de définir automatiquement les paramètres « shape » et « dtype ».

mon_fichier['/groupe_01'].attrs['demo_dvp_01'] = 'Hello World !!!'

S'agissant d'attributs, cette dernière méthode est celle à privilégier, et que vous utiliserez le plus souvent, sauf cas spécifiques.

Côté modifications, elles sont quelque peu limitées. En effet, seule la valeur peut être modifiée, via la méthode « modify », ou via l'utilisation du dictionnaire « attrs ».

mon_fichier['/groupe_01'].modify('demo_dvp_01', 'Hello Breizh !!!')

mon_fichier['/groupe_01'].attrs['demo_dvp_01'] = 'Hello Breizh !!!'

Il existe deux principales façons d'avoir accès à un attribut.

La première méthode consiste à utiliser le dictionnaires « attrs » :

mon_fichier['/groupe_01'].attrs['demo_dvp_01']

La seconde, consiste à utiliser la méthode « get ». En effet, la première procédure, sous-entend que vous sachiez que l'attribut existe bien. Mais ce pourrait bien ne pas être le cas. La méthode « get » prendra une valeur par défaut qui vous sera renvoyée si l'attribut demandé n'existe pas.

Value = mon_fichier['/groupe_01'].get('demo_dvp', 'Cet attribut est inexistant.')

La suppression se fait de même que pour l'élément d'un dictionnaire standard :

import h5py

mon_fichier = h5py.File('./mon_fichier.hdf5', 'a')
del mon_fichier['/groupe_01'].attrs['demo_dvp_01']

En tant que dictionnaire, « attrs » vous autorise à connaître les clés disponibles, et donc à avoir accès à la liste d'attributs du groupe ou du dataset. Ainsi, il est aisé de faire :

import h5py

mon_fichier = h5py.File('./mon_fichier.hdf5', 'a')
liste_attributs = [key for key in mon_fichier['/groupe_01'].attrs.keys()]
print(liste_attributs)

liste_attributs = [key for key in mon_fichier['/groupe_01'].keys()]