La formation de voies est une méthode de traitement du signal utilisée dans les réseaux d'antennes, permettant de favoriser certaines directions d'émission ou de réception des signaux par commande des différents éléments.Dans les réseaux de téléphonie mobile, elle peut permettre notamment de réduire l'interférence au niveau d'une station de base.Son implémentation entièrement numérique se heurte à des limitations de consommation énergétique et de coût quand on augmente le nombre d'antennes.En réponse à ces problèmes, l'implémentation hybride analogique-numérique peut être utilisée afin de réduire le nombre de chaînes radio-fréquences (RF) et de convertisseurs analogique-numérique.Dans cette implémentation, l'étage analogique peut être réalisé en utilisant différents types de dispositifs (déphaseurs, amplificateur/atténuateurs, impédances variables) et avec une connectivité variable avec le réseau d'antennes.Toutefois, si on souhaite garder une circuiterie RF simple en utilisant des déphaseurs uniquement (phase-only) afin de régler les poids du formateur de voies analogique, le problème d'optimisation de ces poids devient non-convexe.Les travaux actuels sur les réseaux de petites cellules montrent que l'interférence entre stations de base est un des facteurs limitant la couverture et le débit.De plus, dans une implémentation entièrement numérique, la présence de forts bloqueurs mène à la saturation ou à une désensibilisation des convertisseurs analogique-numérique.L'objet de ces travaux de thèse portent sur l'étude de la formation de voies avec une implémentation hybride phase-only, ainsi que de proposer un algorithme de calcul des matrices de formation de voies, afin de réduire les interférences en réception au niveau d'une petite cellule.Après une description du contexte et de l'état de l'art, on a en préliminaire proposé une caractérisation de l'interférence en utilisant un angle algébrique entre vecteurs des signaux utiles, et vecteurs des signaux interférants, ce qui nous a permis d'obtenir une borne inférieure sur les performances du formateur de voies optimal en RSIB.On a proposé ensuite une solution sous-optimale de formation de voies hybride phase-only, qui dans un modèle à résolution numérique infinie, a de faible pertes par rapport à une solution avec des poids variable en module et phase.Dans un second lieu, on a introduit un modèle de convertisseur analogique numérique dans la chaîne de réception, ce qui nous a permis de mettre en évidence les limitations de la première approche ainsi que de l'implémentation entièrement numérique en présence de forts bloqueurs.On a ensuite proposé un algorithme d'optimisation de l'étage analogique, qui repose sur une méthode de relaxation semi-définie.Cet algorithme montre des performances en RSIB et en somme-capacité proches de celles du benchmark à deux degrés de liberté module et phase.En comparaison, les solutions testées de l'état de l'art qui utilisent des fonction coût non-convexe restent dépendantes de l'initialisation et donnent des performances inférieures.