Les instabilités hydrauliques et mécaniques dans les géomatériaux font référence à une variété de phénomènes non-linéaires qui peuvent être déclenchés par les hétérogénéités inhérentes à ces matériaux. Alors que les instabilités hydrauliques se manifester comme invasion hétérogène d’un fluide ‘par digitation', les instabilités mécaniques représentent des localisations de déformation et/ou des fractures. Ces instabilités potentiellement couplées constituent un obstacle majeur pour les applications impliquant des géomatériaux tels que la séquestration du dioxyde de carbone (CO2) et l'écoulement des contaminants dans les eaux souterraines. Les modèles classiques existants manquent des ingrédients nécessaires de modéliser la formation d’une microstructure dans leur formulation et sont donc stables contre toute perturbation. L'essence de cette thèse est de proposer et d'étudier des techniques de modélisation qui permettent de décrire ces instabilités. L'approche en loi de comportement adoptée est celle des milieux continus à micro-structure, en particulier celle des milieux continus équipés de lois de comportement dépendant du gradient de variables de type champ de phase.Dans la première partie de ce travail, un front fluide-fluide a été décrit comme une interface diffusée en interprétant la présence de deux fluides dans l'espace poreux comme un seul fluide non-uniforme et le degré de saturation de l'un des fluides comme le champ de phase. Alors que la relation classique bijective entre la pression capillaire et le degré de saturation décrit les propriétés de rétention du réseau poreux, une relation enrichie est obtenue en prescrivant un potentiel chimique dans l'esprit de la modélisation de type Cahn-Hilliard de fluides multiphasiques. Cette relation enrichie, associé à une contribution énergétique non-locale, fournit les ingrédients nécessaires à la description des instabilités hydrauliques. Dans un cadre unidimensionnel, le modèle proposé reproduit les profils de saturation non-monotones observés expérimentalement pendant l'infiltration. De plus, il a été démontré qu'une légère non-convexité introduite dans la fonction de perméabilité relative permet de modéliser les fronts de drainage, en plus de l'imbibition, sans employer de complexités supplémentaires. Une analyse de stabilité linéaire (ASL) révélant la croissance dans le temps de perturbations arbitraires a été réalisée, complétée par des simulations 2D montrant la capacité du modèle proposé à décrire digitation et la ségrégation des fluides.Dans la deuxième partie, le déclenchement d'une fissure dans un milieu poreux en cours de séchage a été étudié. Un paradigme de modélisation prédominant, impliquant la modélisation à gradient d'endommagement, a d'abord été testé pour sa capacité à reproduire la formation périodique de fissures telle qu'observée dans des expériences représentatives. De plus, un nouveau paradigme a été proposée en interprétant la présence d'une fissure comme une perte des propriétés capillaires, permettant ainsi le passage d'un fluide non-mouillant sous une pression capillaire évanescente. Ceci est applicable aux sols à grains fins sans cohésion et non-consolidés, où la résistance à traction est négligeable. En partant des principes de l'approche variationnelle, il a été montré que une dessiccation suffisamment forte peut amorcer l'endommagement de manière homogène sur la face de séchage tout en progressant dans le domaine dans le temps. L'apparition éventuelle de bifurcations de cette solution de base, représentant l'initiation de fissures périodiques, a été analysée toujours dans le cadre de l’ASL.Ce travail ouvre la voie à l'étude du couplage entre les instabilités mentionnées ci-dessus et l'investigation expérimentale des caractéristiques d'écoulement instables, telles que le pincement et la coalescence de la phase de mouillage. L'initiation d'endommagement induits par l'évolution du doigt de drainage présente également un intérêt particulier.