Ce travail porte sur l'analyse et la modélisation de la turbulence dans les écoulements de gaz denses (GD). L'intérêt pour ces gaz provient de l'industrie des machines à cycle organique de Rankine (COR), utilisant le cycle de William Rankine largement répandu dans le monde industriel. Le fluide de travail organique utilisé de préférence à l'eau est détendu après évaporation afin de produire de l'énergie mécanique puis de l'électricité. Au cours des 40 dernières années, les GD ont été largement utilisés par l'industrie des COR en raison de la flexibilité qu’ils apportent. Leur principal avantage est leur capacité à échanger des quantités importantes d'énergie à des températures modérées voire faibles pour la source chaude. Les GD sont des vapeurs monophasiques caractérisées par de longues chaînes d'atomes et par une masse molaire moyenne voire élevée. Leur comportement proche du point critique est très différent des gaz classiques. Nous étudierons ici une sous-famille des GD, également très répandue dans l'industrie, nommée gaz Bethe-Zel’dovich-Thompson (BZT). Ces gaz présentent une zone thermodynamique dite d'inversion où la dérivée fondamentale Γ de la dynamique des gaz est négative, autorisant les ondes de choc de détente. L'utilisation de ces gaz pose des problèmes de modélisation lors de la conception des turbines dans les COR du fait de la nature très compressible des écoulements turbulents produits et de leur différence avec les gaz parfaits (GP). Jusqu'à présent, bien que les propriétés thermodynamiques des GD soient très différentes de celles des GP, les modèles de fermeture de la turbulence développés pour les GP ont été utilisés pour les simulations RANS et les simulations des grandes échelles (SGE) d'écoulements de GD faute de modèles dédiés disponibles. Le comportement singulier de ces gaz, en particulier les gaz BZT, remet en question ce choix qui suppose implicitement que les structures turbulentes ne sont pas modifiées par les effets GD. Cette thèse s'intéresse au problème de la modélisation SGE pour ces gaz et comprend 3 étapes principales :1) l'analyse détaillée de simulations numériques directes (SND) de couches de mélange ; 2) l'évaluation a priori des termes de sous-maille en utilisant des SND filtrées (une SND de turbulence homogène isotrope est également utilisée) ; 3) la construction et la validation a posteriori d'une nouvelle modélisation de sous-maille en utilisant l'apprentissage automatique supervisé. Dans le chapitre 3, les SND de couche de mélange pour l'air considéré comme un gaz parfait sont validées par comparaison avec les résultats de la littérature pour trois valeurs du nombre de Mach convectif (Mc=0.1-1.1-2.2). Le chapitre 4 est consacré à l'étude des SND de GD. La comparaison avec les résultats GP montre des différences majeures pour le taux de croissance de l'épaisseur de quantité de mouvement à Mc=2.2 (deux fois plus grand pour GD). Cependant, ces différences ne sont pas dues aux régions thermodynamiques BZT et GD mais plutôt aux effets gaz réels transcritiques. Plusieurs facteurs sont responsables de la réduction des effets de compressibilité dans les couches de mélange GD : le découplage entre l'énergie cinétique et l'énergie interne ; les pertes par frottement sont réduites, modifiant la distribution de la masse volumique, ce qui favorise le taux de croissance de la couche de mélange. L'évaluation a priori met en évidence deux nouveaux termes de sous-maille qui doivent être modélisés pour les GD en plus des termes de sous-maille habituellement modélisés en GP : le terme associé au gradient de pression et celui associé au travail des forces de pression. Le chapitre 6 propose donc une méthodologie afin de modéliser le terme de sous-maille de pression en utilisant des réseaux de neurones. Les résultats montrent le succès de la validation a priori. La validation a posteriori est ensuite réalisée pour des couches de mélange à Mc=1.1 et Mc=2.2 pour plusieurs tailles de filtrage.