L'apprentissage statistique utilise le formalisme des probabilités et des statistiques pour créer des algorithmes qui "s'adaptent" automatiquement en fonction des données qui leurs sont fournies. Les outils les plus performants aujourd'hui (Support Vector Machine, boosting, régression logistique pénalisée et réseaux de neurones) font partie d'une classe générale d'algorithmes de type "discriminatif". Cependant, dans le cas de données structurées (e.g. les séries temporelles et les images numériques) ou en présence d'une forte information a priori, ces méthodes ne permettent pas de modéliser facilement le problème et nécessitent une véritable expertise pour pouvoir être appliquées. A l'opposé, l'approche générative permet de modéliser toutes les variables d'un problème sous la forme d'une distribution de probabilité incluant les informations sur la structure des données grâce à tous les outils de modélisation non-supervisés. Dans cette thèse, nous montrons que cette approche, longtemps considérée comme sous-optimale, permet de résoudre des problèmes complexes de manière cohérente. L'approche générative est définie dans un cadre de classification supervisée et de régression et propose plusieurs outils novateurs pour l'apprentissage statistique supervisé. Un critère de sélection de modèle adapté à ce type d'approche est développé. Les deux principales manières d'estimer les paramètres - générative et discriminative - sont introduites et analysées en classification et en régression, conduisant à la définition d'un nouveau type d'estimateur intermédiaire appelé Generative-Discriminative Tradeoff (GDT). Des exemples d'approches génératives utilisant le formalisme des modèles graphiques sont étudiées pour la catégorisation d'objets dans des images numériques et pour calculer une probabilité de défaillance en fiabilité industrielle. Enfin, un exemple de méthode discriminative utilisant un estimateur à noyau est proposé pour estimer la frontière d'un ensemble de points.