Le réseau kagome, avec son arrangement bidimensionnel de triangles à sommets partagés, est un exemple classique où la frustration joue un rôle central dans l'émergence de phases magnétiques originales. En particulier, le hamiltonien antiferromagnétique de Heisenberg pour des spins S=1/2 sur un réseau kagome parfait conduit à la stabilisation d'états quantiques exotiques, y compris les très recherchés liquides de spin, qui ne présentent aucune brisure de symétrie même au zero absolu (T = 0 K). La quête de matériaux capables de réaliser de tels états quantiques a récemment conduit à la découverte d'une nouvelle famille de composés kagome. Ces composés résultent de la substitution des ions Zn²⁺ par Y³⁺ dans le candidat liquide de spin archétype herbertsmithite ZnCu(OH)₆Cl₂. Le but initial était de doper en charge un liquide quantique de spin sans gap. Bien que le dopage ne fonctionne pas, les nouveaux matériaux isolants obtenus, YCu3(OH)₆₊ₓX₃₋ₓ (X=Cl, Br et x= 0 ou 1/3), appelés Y-kapellasite, sont des composés frustrés intéressants avec des couches kagome bien isolées et aucune dilution significative du réseau magnétique. Dans ce travail expérimental, nous présentons une étude détaillée des composés x=1/3, chlorés (Y₃Cu₉(OH)₁₉Cl₈) et bromés (Y₃Cu₉(OH)₁₉Br₈). Ils matérialisent un réseau kagome anisotrope original avec trois interactions premier-voisins différentes. Le modèle théorique correspondant présente un diagramme de phase classique riche englobant une phase liquide de spin exotique et des ordres à longue portée. Après une introduction générale à la physique de la frustration magnétique et aux techniques utilisées, cette thèse comprend deux parties expérimentales. La première partie porte sur l'étude de monocristaux purs de (Y₃Cu₉(OH)₁₉Cl₈), obtenus par une méthode de croissance hydrothermale à gradient externe, par des techniques locales μSR et RMN, ainsi que des mesures thermodynamiques et de diffusion de neutrons. Contrairement aux études précédentes sur des échantillons en poudre, cette étude de monocristaux donne des preuves d'instabilités structurales subtiles à 33 K et 13 K qui préservent la symétrie globale du système, donc le modèle magnétique, et que nous avons attribuées à la localisation de l'un des hydrogènes. De plus, nos résultats mettent en évidence une transition magnétique à 2.1 K en bon accord avec la prédiction théorique d'un ordre à longue portée (1/3,1/3). Cependant, notre analyse des excitations d’ondes de spin donne des interactions magnétiques qui situe le composé très près de la phase liquide classique. Probablement en raison de fortes fluctuations quantiques à cette limite, le moment ordonné des Cu²⁺est fortement réduit, non détecté par diffraction de neutrons, mais révélé par μSR et RMN. Dans la deuxième partie, nous nous intéressons à la variante au brome (Br) du système, introduisant ainsi une pression chimique en substituant un atome plus grand dans le but d'explorer le diagramme de phase magnétique. En utilisant, comme pour le cas du chlore, des techniques thermodynamiques et locales sur une collection de petits monocristaux alignés selon l’axe c, nous avons identifié une transition structurale à environ 15 K tandis qu'une transition magnétique autour de 9 K a été attribuée à une phase d'impureté. Le système présente un gel de spin inhomogène surprenant, correspondant à un état fondamental partiellement ordonné en dessous de 2.5 K. Le gel partiel rappelle l'absence d'ordre magnétique dans les échantillons en poudre de la variante au chlore, contrairement aux monocristaux, et met en évidence la fragilité de l'état fondamental vis-à-vis du désordre probablement en raison de sa proximité avec une phase de liquide de spin.