Cette thèse a pour principal objectif d'introduire des bases probabilistes tirées de la théorie de la concentration de la mesure pour l'étude d'algorithmes de machine learning. Le phénomène de concentration de la mesure mis en évidence il y a un demi siècle semble en effet concerner les distributions de données typiquement étudiés par les méthodes d'apprentissage moderne. Nous développons donc toute une gamme d'outils qui permettent d’inférer des propriétés de concentration sur les performances et autres quantités caractéristiques de ces algorithmes. Cette approche s'adapte parfaitement à la théorie des matrices aléatoires qui seule permet d'obtenir une estimation precise des différentes quantités statistiques quand la dimension des données est du même ordre que le nombre des données. Après avoir fourni les bases suffisantes pour l'application pratiques de ces deux théories, nous employons nos outils pour prévoir les performances de la regression de Ridge, de l'estimation robuste des matrices de scatter ainsi que des algorithmes de minimisation de risque convexe avec régularisation.