Pendant ma th ese, j'ai eu la chance d'apprendre et de travailler sous la supervision de mon directeur de th ese R emi, et ce dans deux domaines qui me sont particuli erement chers. Je veux parler de la Th eorie des Bandits et du Compressed Sensing. Je les vois comme intimement li es non par les m ethodes mais par leur objectif commun: l' echantillonnage optimal de l'espace. Tous deux sont centr es sur les mani eres d' echantillonner l'espace e cacement : la Th eorie des Bandits en petite dimension et le Compressed Sensing en grande dimension. Dans cette dissertation, je pr esente la plupart des travaux que mes co-auteurs et moi-m^eme avons ecrit durant les trois ann ees qu'a dur e ma th ese.