Cette thèse est dédiée à l’étude expérimentale de nouveaux matériaux quantiques frustrés à base de terre rare de spin effectif S=1/2, par mesures d’aimantation et de susceptibilité magnétique, ainsi que par spectrocopies de neutrons et de muons. Le dénominateur commun de l’ensemble de ce travail expérimental est la compréhension de l’effet d’un désordre aléatoire sur les états quantiques exotiques présents dans ces composés frustrés à base de terre rare. Motivés par la récente découverte du nouveau composé triangulaire YbMgGaO₄ – qui montrent des signatures expérimentales d’un état de liquide de spin quantique en présence d’un désordre chimique important - nous étudions d’abord le composé iso-structural ErMgGaO₄ afin de mettre à jour les effets du désordre sur les propriétés magnétiques dans cette famille de composés. Nous confirmons l’anisotropie de l’ion magnétique Er³⁺ (1) rapportée par des mesures précédentes sur monocristal et mettons en évidence l’existence d’un ordre de spin modulé de type « stripe » en dessous de T = 2.5 K d’après les mesures de diffusion élastique de neutrons. De plus, les spectroscopies de neutrons et de muons démontrent l’existence de fluctuations de spins qui persistent jusqu’à 25 mK, d’après la présence d’un continuum (intensité quasi-élastique) en diffusion de neutrons et d’un taux de relaxation constant en spectroscopie de muons. Ce comportement de liquide de spin est peut-être dû à la superposition de tous les états dégénérés des ordres modulés de spin, séparés par une faible qui peut alors être franchie grâce aux fluctuations thermiques ou bien par effet tunnel. Cette hypothèse pourrait permettre de mieux comprendre les fluctuations de spins quasi-omniprésentes dans les composés frustrés à base de terre-rare en présence d’un désordre important. Dans une approche alternative, nous avons également étudié de nouveaux composés quantiques triangulaires à base d’ytterbium, qui présentent un réseau triangulaire régulier et sans la présence de désordre détectée, afin de rechercher de nouveaux candidats expérimentaux à l’état de liquide de spin quantique. Enfin, nous avons sondé les propriétés d’une nouvelle famille de pyrochlore, Yb₂(Ti₍₁₋ₓ₎Zrₓ)₂O₇, dans laquelle la substitution du Zr sur le site du Ti induit une pression chimique qui déstabilise l’ordre magnétique observé dans le composé parent x=0 et avons suivi l’évolution de la dynamique de spin par diffusion inélastique de neutrons pour différentes valeurs x, en champ magnétique nul et appliqué. La compréhension fine de nos résultats expérimentaux de spectroscopie neutronique pourrait permettre de mieux comprendre le mécanisme responsable de la transition d’un état ordonné ferromagnétique (x=0) vers un état de type liquide de spin, par exemple à cause de la diffusion des magnons causée par un désordre aléatoire. Nos résultats fournissent une base solide pour de futurs modèles théoriques dédiés à la compréhension de l’origine d’un continuum d’excitations dans les composés frustrés désordonnés à base de terre rare.