La frustration – c'est-à-dire la présence d'interactions de nature compétitive – donne lieu à des effets de grande complexité en physique. La glace – aussi bien la phase bien connue de l'eau, que ses analogues magnétiques, dites « glaces de spin » – en offre un exemple remarquable. Pour des interactions à courte portée et des degrés de liberté classiques, son état fondamental est infiniment dégénéré, et comporte en outre des corrélations à longue portée induites par une contrainte locale, caractéristiques de la phase dite de Coulomb. Ses excitations élémentaires correspondent au retournement d'un dipôle qui se « fractionnalise » en deux monopôles. Dans cette thèse nous nous intéressons à la stabilité de cette phase de Coulomb dans la glace bidimensionnelle – réalisée aussi bien comme glace de protons dans des composés organiques, que comme glace de spin dans des systèmes nanomagnétiques. Dans le cas classique, les interactions dipolaires – présentes dans les systèmes expérimentaux – déstabilisent la phase de Coulomb dans son état fondamental. Cependant, une déformation de la simple géométrie planaire permet de récupérer cette phase dans un régime où différents états ordonnés entrent en compétition. Dans le cas quantique, les fluctuations dues à un champ magnétique transverse induisent une brisure de symétrie dans l'état fondamental qui, à basse température, cède la place à une phase de Coulomb quantique, réalisant un liquide de spin quantique avec excitations fractionnalisées. Nos résultats sont obtenus à l'aide de méthodes analytiques (analyse harmonique classique et quantique et théorie de perturbations) aussi bien que numériques (Monte Carlo) fondées sur des algorithmes originaux.