High performance computing
CONTEXTE
Les avancées récentes en informatique et en algorithmes parallèles très efficaces font de la Simulation aux Grandes Échelles (SGE) un outil efficace pour l'étude d'écoulements complexes. Les ressources informatiques actuelles permettent de prendre en compte des géométries complexes qui ne peuvent pas être mise en œuvre en laboratoire. En même temps, les études récentes sur les instabilités de combustion montrent la nécessité d'étendre les domaines de calcul pour capturer l'acoustique et les interactions entre brûleurs.
Une extension du domaine de calcul permet de prédire correctement les interactions entre l'acoustique et la combustion sans aucune hypothèse restrictive. Deux types de modes acoustiques différents peuvent se développer dans une chambre de combustion :
Modes longitudinaux. Les conditions aux limites sur l'écoulement (pression, vitesse, température) sont simples à mesurer expérimentalement et à imposer numériquement. Pour l'acoustique, il est pratiquement impossible de définir expérimentalement l'impédance à imposer aux calculs numériques. Il faut alors repousser les limites du domaine de calcul en amont et en aval à des régions où les conditions acoustiques sont bien définies.
Cette animation montre l'importance de l'impédance en sortie pour les prédictions des instabilités thermo acoustiques.
[Martin, 2006] C.E. Martin, L. Benoit, Y. Sommerer, F. Nicoud and T. Poinsot. Large-Eddy Simulation and Acoustic Analysis of a Swirled Staged Turbulent Combustor. AIAA Journal. Vol. 44, No 4, April 2006.
Modes azimutaux. L'hypothèse classique de périodicité est utilisée dans les chambres de combustion pour négliger les interactions entre flammes et le couplage entre la combustion et les modes azimutaux. La seule manière de prendre en compte ce phénomène consiste à résoudre la chambre de combustion dans son ensemble, en prenant en compte des dizaines de brûleurs.
[Staffelbach, 2005] G. Staffelbach, L.M.Y. Gicquel, and T. Poinsot. Highly parallel large eddy simulations of multiburner configurations in industrial gas turbines. In The Cyprus International Symposium on Complex Effects in Large Eddy Simulation, Limassol, Cyprus, 2005.
Un autre point important concerne les calculs non périodiques dans les brûleurs azimutaux. Dans l'exemple de la séquence d'allumage d'une turbine à gaz, il faut inclure dans le calcul tous les brûleurs, le mécanisme d'allumage et effectuer la SGE sur plusieurs dizaines de brûleurs en même temps.
[Boileau, 2005] M. Boileau, J.-B. Mossa, B. Cuenot, T. Poinsot, D. Bissiéres, and C. Bérat. Toward LES of an ignition sequence in a full helicopter combustor. In First Workwhop INCA 2005, SNECMA, Villaroche, France, 2005.
Finalement, il est bien sûr important de prendre en compte la modélisation physique comme l'injection de carburant liquide, les conditions aux limites de couplage thermique ou radiatif... Tous les exemples cités montrent l'importance de l'efficacité des codes de simulation afin de minimiser le temps de restitution des calculs.
L'EFFICACITÉ PARALLÈLE D'AVBP
Depuis le tout début de son développement, AVBP a été pensé comme un code pour calculateurs massivement parallèles utilisant la bibliothèque MPI. L'évolution récente des supercalculateurs permet de nouvelles simulations numériques comme expliqué dans le paragraphe précédent. Il est en plus nécessaire que l'efficacité parallèle des codes soit améliorée. Des tests ont été faits avec AVBP sur les supercalculateurs les plus puissants actuels :
IBM Thomas J. Watson Research Center, Blue Gene Solution - number 2 on the 26th top500 list - tests jusqu'à 5120 processeurs.
IBM Rochester BlueGene/L - number 8 in the 24th top500 list - tests jusqu'à 2048 processeurs. IBM Red Book (Chapter 8.4):
http://www.redbooks.ibm.com/abstracts/sg246686.html?Open
Commissariat à l'Energie Atomique (CEA) Bullter@10 - number 62 on the 26th top500 list, supercalculateur français le plus puissant - tests jusqu'à 1899 processeurs.
Barcelona Supercomputer Center MareNostrumIBM
JS20 - number 4 on the 24th top500 list, supercalculateur européen le plus puissant.
L'image suivante montre l'excellente scalabilité d'AVBP. Les configurations utilisées pour les démonstrations sont les plus grosses Simulations aux Grandes Echelles en compressible jamais faites (40 millions de cellules pour le cas gazeux et 18 millions de cellules pour le cas diphasique). Les tests sont conduits pour un même problème initial vraiment représentatif des besoins d'un utilisateur d'aujourd'hui : le but est de réduire le temps de restitution pour une taille de problème donnée.
De plus, la charge CPU et la mémoire sont continuellement optimisées en collaboration avec l'équipe Algorithmique Parallèle du CERFACS ou avec des constructeurs de supercalculateurs pour des architectures parallèles spécifiques (par exemple IBM pour les calculs sur machines BlueGene). Partitionner le domaine de calcul est l'approche utilisée pour minimiser la charge mémoire.
Par exemple, la configuration à 40 millions de cellules nécessite seulement 24 MB de mémoire par processeur en utilisant 4096 processeurs et avec une accélération de 4078.
=> L'EFFICACITÉ PARALLÈLE D'AVBP EST DE 99,5%.
EXEMPLES DE CALCULS
Séquence d'allumage d'une turbine à gaz d'hélicoptère.19 millions de cellules - 2048 processeurs d'IBM BlueGene et 128 processeurs des calculateurs du CINES. Collaboration entre le CERFACS - IBM - TURBOMECA (Safran group) et CINES.
Les processus contrôlant l'allumage de la flamme et sa propagation dans une chambre de combustion d'hélicoptère sont les phénomènes critiques qui pilotent les performances de ces systèmes : être capable d'allumer une chambre de combustion en haute altitude et à basse température est un point critique.
La prédiction de tels phénomènes a été pendant très longtemps inaccessible aux outils de CFD. En 2005, les capacités de la SGE combinées avec la puissance du calculateur IBM Blue Gene ont permis d'adresser ce problème. L'un des codes de SGE les plus avancé développé conjointement par le CERFACS et l'IFP a été porté sur une machine IBM Blue Gene et a utilisé un maillage extrêmement fin afin de capturer l'allumage et la propagation de la flamme dans une chambre d'hélicoptère de Turbomeca (Safran group).
Le maillage très fin construit est composé de 19 millions de tétraèdres : les 20 allumeurs sont calculés.
25 ms en temps physique ont été simulées avec 2048 processeurs d'IBM Blue Gene pour un temps de restitution de 30 heures environ.
La combustion débute vers les deux brûleurs diamétralement opposés dans la chambre. Ensuite, la flamme se propage de proche en proche aux autres brûleurs. La flamme se déplace puis se stabilise dans les zones à grande vitesse induites par l'injection d'air et les jets de dillution.
Calcul annulaire complet pour une turbine à gaz industrielle.
[Staffelbach, 2005] G. Staffelbach et al. Highly parallel large eddy simulations of multiburner configurations in industrial gas turbines. In The Cyprus International Symposium on Complex Effects in Large Eddy Simulation, Limassol, Cyprus, 2005.
Instabilités de combustion dans les chambres de combustion des turbines à gaz.
40 millions de cellules - 5120 processeurs d'IBM BlueGene.
Projet de recherche Européen DESIRE - Collaboration entre le CERFACS et IBM.
Les instabilités de combustion sont une menace au bon comportement des chambres de combustion et raccourcissent la durée de vie des chambres industrielles. L'un des cas les plus intéressant concerne les instabilités de combustion dans les chambres annulaires.
Les turbines à gaz avec chambres de combustion annulaires peuvent présenter des modes acoustiques azimutaux. Dans ce cas, les grandes longueurs d'onde de ces modes rendent les tests en laboratoire très difficiles, et même impossibles dans certains cas. Une solution consiste à étudier ces modes par simulation numérique en utilisant la SGE. La première étape est franchie ici en montrant la faisabilité du calcul sur une chambre annulaire complète avec la SGE.
Ce cas utilise un maillage avec 40 millions de cellules pour prendre en compte 24 brûleurs qui soufflent dans une chambre annulaire commune. C'est le cas le plus difficile traité en SGE par le CERFACS jusqu'à aujourd'hui et il permet de valider la chaîne de calcul complète depuis la génération du maillage (effectuée avec Centaursoft sur un seul brûleur et étendue à la configuration complète en utilisant l'outil HIP développé par J.-D. Muller pour le CERFACS) jusqu'à la visualisation des résultats.
Moteur à piston.
Les processus contrôlant l'allumage de la flamme et sa propagation dans une chambre de combustion d'hélicoptère sont les phénomènes critiques qui pilotent les performances de ces systèmes : être capable d'allumer une chambre de combustion en haute altitude et à basse température est un point critique.
La prédiction de tels phénomènes a été pendant très longtemps inaccessible aux outils de CFD. En 2005, les capacités de la SGE combinées avec la puissance du calculateur IBM Blue Gene ont permis d'adresser ce problème. L'un des codes de SGE les plus avancé développé conjointement par le CERFACS et l'IFP a été porté sur une machine IBM Blue Gene et a utilisé un maillage extrêmement fin afin de capturer l'allumage et la propagation de la flamme dans une chambre d'hélicoptère de Turbomeca (Safran group).
Le maillage très fin construit est composé de 19 millions de tétraèdres : les 20 allumeurs sont calculés.
25 ms en temps physique ont été simulées avec 2048 processeurs d'IBM
La combustion débute vers les deux brûleurs diamétralement opposés dans la chambre. Ensuite, la flamme se propage de proche en proche aux autres brûleurs. La flamme se déplace puis se stabilise dans les zones à grande vitesse induites par l'injection d'air et les jets de dillution.
Calcul annulaire complet pour une turbine à gaz industrielle.
[Staffelbach, 2005] G. Staffelbach et al. Highly parallel large eddy simulations of multiburner configurations in industrial gas turbines. In The Cyprus International Symposium on Complex Effects in Large Eddy Simulation, Limassol, Cyprus, 2005.
Instabilités de combustion dans les chambres de combustion des turbines à gaz.
40 millions de cellules - 5120 processeurs d'IBM BlueGene.
Projet de recherche Européen DESIRE - Collaboration entre le CERFACS et IBM.
Les instabilités de combustion sont une menace au bon comportement des chambres de combustion et raccourcissent la durée de vie des chambres industrielles. L'un des cas les plus intéressant concerne les instabilités de combustion dans les chambres annulaires.
Les turbines à gaz avec chambres de combustion annulaires peuvent présenter des modes acoustiques azimutaux. Dans ce cas, les grandes longueurs d'onde de ces modes rendent les tests en laboratoire très difficiles, et même impossibles dans certains cas. Une solution consiste à étudier ces modes par simulation numérique en utilisant la SGE. La première étape est franchie ici en montrant la faisabilité du calcul sur une chambre annulaire complète avec la SGE.
Ce cas utilise un maillage avec 40 millions de cellules pour prendre en compte 24 brûleurs qui soufflent dans une chambre annulaire commune. C'est le cas le plus difficile traité en SGE par le CERFACS jusqu'à aujourd'hui et il permet de valider la chaîne de calcul complète depuis la génération du maillage (effectuée avec Centaursoft sur un seul brûleur et étendue à la configuration complète en utilisant l'outil HIP développé par J.-D. Muller pour le CERFACS) jusqu'à la visualisation des résultats.
Moteur à piston.
10 millions de cellules - 1024 processeurs d'IBM BlueGene.
Collaboration entre CERFACS et IBM.
Les normes de plus en plus contraignantes sur les émissions polluantes ont conduit à développer de nouveaux concepts basés sur des moteurs diesels. Dans ce cas, l'aérodynamique joue un rôle clé et le dessin des pipes d'admission est crucial, nécessitant des optimisations basées sur la CFD. Pour de tels écoulements, les modèles de turbulence classiques manquent de précision : la révolution introduite par la SGE durant les 10 dernières années permet maintenant de calculer précisément l'écoulement mais la taille du problème rend impossible les simulations sur les calculateurs avec architecture classique.
Cette étude montre que le code de SGE AVBP a été porté avec succès sur une machine IBM Blue Gene et qu'une simulation sur un maillage très fin a pu être tournée pour calculer l'entrée d'un moteur diesel typique.
Le maillage est construit avec CentaurSoft (10 millions de tétraèdres) et est composé d'un plenum, de pipes, du cylindre et du dispositif silencieux.
Collaboration entre CERFACS et IBM.
Les normes de plus en plus contraignantes sur les émissions polluantes ont conduit à développer de nouveaux concepts basés sur des moteurs diesels. Dans ce cas, l'aérodynamique joue un rôle clé et le dessin des pipes d'admission est crucial, nécessitant des optimisations basées sur la CFD. Pour de tels écoulements, les modèles de turbulence classiques manquent de précision : la révolution introduite par la SGE durant les 10 dernières années permet maintenant de calculer précisément l'écoulement mais la taille du problème rend impossible les simulations sur les calculateurs avec architecture classique.
Cette étude montre que le code de SGE AVBP a été porté avec succès sur une machine IBM Blue Gene et qu'une simulation sur un maillage très fin a pu être tournée pour calculer l'entrée d'un moteur diesel typique.
Le maillage est construit avec CentaurSoft (10 millions de tétraèdres) et est composé d'un plenum, de pipes, du cylindre et du dispositif silencieux.
10 ms de temps physique ont été simulées sur 1024 processeurs d'IBM
Le champ de vitesse instantané montre les principales structures de l'écoulement et en particulier les jets autour des soupapes. Cette SGE a révélé des propriétés de l'écoulement qui n'avaient jamais été calculées auparavant.
La coupe (1) montre que l'écoulement dans une pipe est fortement détaché dans certains endroits, ce qui dépend de la forme de la pipe. De la coupe (2) à la coupe (3), les deux jets se joignent en un seul jet quasiment animé d'un mouvement de rotation solide avec un mouvement de précession.
