11.3.6.2.2 : Retour d'expérience
L'optimisation et plus particulièrement la vectorisation de l'analyse de données de CTA a permis d'obtenir un facteur d'accélération final supérieur à $700$ par rapport aux analyses des expériences précédentes (voir~[54]Informatique Hautes Performances pour la détection de rayons gammas, 2018, Aubert, Pierre).
Ce facteur d'optimisation, inattendu, a réduit drastiquement les besoins en calcul pour l'analyse en temps réel de cette expérience. Si bien qu'initialement plusieurs centaines d'ordinateurs étaient prévus pour répondre à la demande en calcul, là où maintenant seules deux machines partagées avec l'acquisition de données suffisent pour analyser le flux de données en temps réel.
Cette analyse en temps réel n'aura pas non plus besoin d'être simplifiée à outrance, et fournira donc des résultats de physique plus pertinents qu'une analyse en temps réel classique.
De plus, l'utilisation d'un nombre réduit de machines implique une forte simplification de la gestion des fautes. En effet, l'utilisation de centaines de machine implique une surcouche logicielle adaptée pour garantir une tolérance aux fautes, ce qui complique énormément les programmes d'analyse. La réduction de cette couche logicielle simplifie grandement le développement de cette analyse noteUne analyse simple contiendra naturellement moins de bogues et sera plus facile à corriger et à améliorer sur le long terme, par un plus grand nombre de personnes..
Tous les cœurs de calcul économisés pourront servir à la réduction des données durant la journée. Des simulations par observation ont mêmes été envisagées. L'analyse, sur site mais non temps réel, pourra également utiliser plus de cœurs, ce qui améliorera l'échéance des résultats, avec une physique plus précise que celle de l'analyse en temps réel.
D'un point de vue plus technique, l'optimisation et la vectorisation de cette analyse ont été grandement facilitées par l'utilisation de générateurs de code, même si la version finale du programme d'analyse n'utilise plus ces générateurs. Ils nous ont permis d'explorer très efficacement la vectorisation par des fonctions intrinsèques, et ont aidé à déterminer quelle instruction de préchargement des données était la plus efficace pour nos calculs.
Des générateurs de format de données[69]Data format generator, Pierre Aubert ont également facilité l'exploration des propriétés indispensables d'un format de données HPC.