Cette thèse porte principalement sur l'étude de modèles de fermions en interactions contenant un couplage spin-orbite. Ces modèles (i) peuvent décrire une classe de matériaux composés d'iridates sur le réseau en nid d'abeille ou (ii) pourraient être réalisés artificiellement dans des systèmes d’atomes froids. Nous avons étudié, dans un premier temps, le système à demi-remplissage avec l'interaction de Hubbard et un couplage spin-orbite anisotrope. Nous avons trouvé plusieurs phases: la phase isolant topologique pour de faibles corrélations, et deux phases avec des ordres magnétiques frustrés, l'ordre de Néel et l'ordre spiral, dans la limite de très fortes corrélations. La transition entre les régimes de faibles et de fortes corrélations est une transition de Mott dans laquelle les excitations électroniques se fractionnent en excitations de charge et de spin. Les charges sont localisées par l'interaction. Le secteur de spin présente de fortes fluctuations qui sont modélisées par un gaz d’instantons. Nous avons ensuite exploré la physique d'un système régi au demi-remplissage par le modèle de Kitaev-Heisenberg, qui présente une phase magnétique de type zig-zag. En dopant le système, autour du quart remplissage, la structure de bande présente de nouveaux centres de symétrie en plus de la symétrie d'inversion. Le couplage de spin de Kitaev-Heisenberg favorise alors la formation de paires de Cooper dans un état triplet autour de ces centres de symétrie. La condensation de ces paires de Cooper autour de ces vecteurs d'onde non triviaux se manifeste par une modulation spatiale du paramètre d'ordre supraconducteur, comme dans la supraconductivité de Fulde–Ferrell–Larkin–Ovchinnikov (FFLO). La dernière partie de la thèse propose et étudie une implémentation des phases topologiques dite de Haldane et de Kane-Mele dans un système avec deux espèces de fermions sur le réseau en nid d'abeille, stabilisée grâce à l’interaction RKKY médiée par l’espèce rapide et qui agit sur l’espèce lente.