Les ondes de spin ou magnons sont les excitations élémentaires de l'ordre ferromagnétique. Leur caractère ondulatoire, leurs propriétés de propagation anisotropes et ajustables, leurs gammes de fréquence (du GHz au THz) et de longueur d'onde (du µm au nm), l'absence de courant de charge associé au transport de spin, sont autant d'atouts pour les nouveaux paradigmes « beyond CMOS » de traitement de l'information et du signal dans le domaine micro-onde qui sont en train d'émerger.Les propriétés fortement non-linéaires des ondes de spin, qui découlent de l'équation de la dynamique de l'aimantation, conduisent également à de nombreux phénomènes physiques intéressants. Ils se manifestent, entre autres, par l'apparition de dynamique bistable, de solitons, d'instabilités d'ondes de spin, d'auto-oscillations et de chaos. Le type de dynamique non-linéaire dépend d'une part du spectre d'ondes de spin de l'échantillon, que ses propriétés magnétiques, sa géométrie, et le champ appliqué déterminent, et d'autre part de l'excitation. Le développement récent de couches ultra-minces de grenats magnétiques, connus pour leur qualité dynamique inégalée, ouvre des opportunités pour contrôler ces effets non-linéaires. Premièrement, elles peuvent être nanostructurées de façon standard. La nanostructuration induit une quantification du spectre d'excitation, ce qui limite les interactions non-linéaires entre modes. Ensuite, il est possible d'ajuster par dopage leur anisotropie effective, responsable de la dépendance non-linéaire de la fréquence de précession. Enfin, elles peuvent être mises hors équilibre par des courants de spin à leur interface avec un métal à fort couplage spin-orbite. L'objectif de cette thèse est d'étudier la dynamique fortement hors équilibre induite par un champ magnétique micro-onde dans des nano-disques de grenat d'yttrium fer (YIG) dopé au bismuth (Bi). Le dopage est choisi de façon à ce que l'anisotropie perpendiculaire de la couche magnétique compense quasiment son anisotropie de forme, ce qui annule la dépendance non-linéaire de la fréquence de résonance. Les diamètres des disques étudiés, inférieurs au micron, permettent de confiner fortement les ondes de spin et d'obtenir un spectre discret. Le champ excitateur est appliqué grâce à une antenne micro-onde intégrée, et la dynamique résultante dans les nano-disques de BiYIG est détectée par un microscope de force par résonance magnétique (MRFM). La spectroscopie détaillée du régime linéaire, à faible amplitude d'excitation, met en évidence que le process de nanofabrication réduit l'anisotropie à la périphérie des disques, et que les disques situés directement sous l'antenne micro-onde ont un amortissement accru. Cela n'empêche cependant pas d'atteindre des régimes fortement hors équilibre lorsque l'amplitude de l'excitation est augmentée. En particulier, la raie de résonance du mode principal dans la configuration hors du plan des disques de diamètre supérieur à 500 nm se fractionne et sature rapidement quand l'excitation augmente. Des simulations micromagnétiques reproduisent bien ce comportement inattendu, et permettent de l'attribuer à l'apparition d'une instabilité dynamique. Celle-ci correspond à une auto-modulation du profil de précession qui se localise très fortement et brièvement au centre du disque, de façon quasi-périodique ou chaotique, en fonction du réglage fin des paramètres de contrôle. Afin de sonder expérimentalement cette dynamique complexe, une spectroscopie à deux tons est mise en œuvre. Cette dernière révèle des spectres de modulation en fréquence reflétant la richesse des variations temporelles de la dynamique de l'aimantation au-delà du seuil d'instabilité. Des expériences et simulations complémentaires permettent d'attribuer ce comportement à des effets de taille finie et d'équilibre entre les différents termes d'anisotropie, et d'ébaucher un diagramme de phase sur le type de dynamique attendue en fonction des paramètres pertinents.