La recherche en optique non linéaire s'est graduellement développée durant ces trois dernières décennies avec, en particulier, la découverte d'une multitude de phénomènes non linéaires dans les fibres optiques soumises à de fortes excitations lumineuses. Ce champ de recherche s'est récemment amplifié suite à l'avènement de nouvelles fibres optiques qui présentent un arrangement périodique de plusieurs centaines de canaux d'air parallèles le long de la fibre. Ces fibres, dénommées « fibre à cristal photonique » ont permis de convertir un faisceau laser monochromatique en un continuum de lumière blanche sur plus de 2 octaves en fréquence (c.-à-d., un laser arc en ciel allant de l'ultraviolet à l'infrarouge). De part leur propriété de brillance unique, ces nouvelles sources laser révolutionnent actuellement les applications en métrologie, en rendant possible des mesures absolues de fréquences optiques avec une précision sans précédent, mais aussi en optique biomédicale et en microscopie. Le cadre général dans lequel s'insère ce travail de thèse est celui de l'étude des phénomènes non linéaires et la génération de supercontinuum (SC) dans les fibres optiques hautement non linéaires et microstructurées. Dans un premier temps, nous démontrons analytiquement, et par le biais de validations numériques et expérimentales, que le phénomène d'instabilité modulationnelle présente une brisure de symétrie spectrale au voisinage de la longueur d'onde de dispersion nulle, due principalement à l'émission d'ondes dispersives induite par la fission de solitons instables. Puis nous décrivons une nouvelle méthode de mesure des coefficients de dispersion d'une fibre optique, jusqu'à l'ordre quatre, à partir de l'étude de ces deux processus. Nous étudions également des processus multiples de mélanges à quatre ondes à partir d'une onde pompe incohérente. Puis à partir de l'étude de ces phénomènes, nous développons une source SC entièrement fibrée, dont le spectre s'étend sur plus de 1000 nm autour de 1.5 μm, à l'aide d'une fibre optique hautement non linéaire et d'un laser à impulsions nanosecondes. Enfin, nous étudierons expérimentalement la génération de SC dans une fibre microstructurée présentant deux zéros de dispersion, en utilisant respectivement une excitation à une puis deux pompes. Nous montrons en particulier la génération de bandes doubles d'instabilité modulationnelle au voisinage du second zéro de dispersion, en accord avec nos prédictions analytiques, ainsi qu'une cascade Raman anti-Stokes, puis la génération de SC de 1400 nm à 1700 nm. Enfin, nous réalisons un double pompage de la fibre optique par doublage de la fréquence du laser nanoseconde, afin d'accroître la bande du SC vers le domaine visible de 550 nm a 1950 nm.