La demande croissante en efficacité spectrale, stimulée par les exigences strictes des réseaux 5G, a accéléré le développement de la technologie MIMO en ondes millimétriques, offrant des améliorations architecturales significatives grâce à des techniques de précodage avancées. Cette technologie présente des gains substantiels en termes d'efficacité spectrale et énergétique par rapport aux systèmes MIMO traditionnels. Cependant, le potentiel transformateur du MIMO en mmWave est entravé par les réalités complexes des environnements urbains réels et les propriétés physiques complexes inhérentes aux fréquences des ondes millimétriques.De manière cruciale, dans les communications massives MIMO en mmWave, le beamforming et le combining jouent des rôles essentiels : la large bande passante et la fréquence de fonctionnement élevée des systèmes à ondes millimétriques nécessitent un beamforming/combining dans le domaine analogique, rendant les approches entièrement digitales techniquement impossibles. Au cœur du MIMO massif en mmWave se trouve le problème d'Alignement des Faisceaux, exigeant l'identification des paires de faisceaux d'émission et de réception optimales qui maximisent le rapport signal/bruit, assurant ainsi une liaison initiale robuste.Les normes existantes, telles que WiGig, utilisent des méthodes exhaustives de sondage des faisceaux, testant chaque paire de faisceaux possible pour trouver celle qui maximise le SNR. Cependant, cela entraîne un surcoût important de signalisation de pilotes: le principal problème que nous cherchons à résoudre tout au long de cette thèse de doctorat. Notre recherche révolutionne l'Alignement des Faisceaux en intégrant des techniques de pointe en apprentissage automatique pour l'Alignement Partiel des Faisceaux, réduisant considérablement les surcharge de pilotes en ne sondant qu'un sous-ensemble de paires de faisceaux à l'aide de codebooks sous-échantillonnés. Ainsi, nous exploitons les énergies des signaux reçus à partir de ces sondages de paires de faisceaux, en utilisant des réseaux neuronaux peu profonds, la factorisation matricielle et leurs variantes pour résoudre avec précision des problèmes de régression non-linéaire et logistique, cruciaux pour déterminer la qualité des paires de faisceaux restantes.Un objectif fondamental de cette thèse est de déterminer la complexité de l'échantillonnage pour ces méthodes d'apprentissage automatique. Cette complexité dicte le nombre minimum d'échantillons d'entraînement nécessaires pour un apprentissage efficace et une transmission fiable. Nous examinons également les performances des modèles ML proposés sans estimation préalable du canal, introduisant le concept d'Alignement Aveugle des Faisceaux, ouvrant ainsi la voie à un changement radical de paradigme. De plus, notre recherche explore en profondeur les subtilités de la quantification, une contrainte pratique vitale. Nous explorons ensuite des compromis cruciaux : identifier la surcharge minimale correspondant au schéma de quantification optimal tout en investiguant le compromis classique entre précision et complexité.Grâce à une progression méthodologique systématique, allant des scénarios point-à-point basiques à bande étroite aux complexes architectures multi-utilisateurs à large bande, cette thèse de doctorat offre des insights et des solutions précieuses: les contributions proposées font progresser les domaines des communications en mmWave et les applications d'apprentissage automatique dans les systèmes sans fil, surpassant les benchmarks existants et affrontant les limites des approches conventionnelles.