Cette thèse a pour objet l'analyse en composantes principales (APC) tensorielle. L'introduction constate l'intérêt grandissant pour les outils tensoriels dans le domaine de l'Intelligence Artificielle (IA). Trouver de nouvelles méthodes et algorithmes en IA qui soient moins opaques et qui nécessitent moins de données que l'apprentissage profond est crucial pour faciliter l'adoption de l'IA dans de nouveaux domaines d'application. Le deuxième chapitre souligne l'importance plus générale de l'étude de l'APC tensorielle en mettant en lumière sa position clé à l'intersection de sujets de recherche très actifs de trois disciplines différentes, les mathématique appliquées, la physique des systèmes désordonnés, et l'informatique théorique. La contribution de cette thèse se divise en deux parties. La première consiste en un nouveau cadre théorique adapté aux tenseurs, inspiré par des travaux de recherche récents en physique des hautes énergies. Ce cadre permet d'améliorer les résultats sur des données synthétiques ainsi que dans certaines applications concrètes. Il permet aussi de donner des nouvelles garanties théoriques pour des situations plus générales, comme un tenseur aux dimensions non égales. La deuxième contribution introduit une nouvelle méthode basée sur une approche plus empirique. Elle fournit de nouvelles intuitions qui nous poussent à questionner certaines conjectures telles que celles qui portent sur le comportement et la performance de la méthode de la puissance itérée tensorielle. Ces résultats pourraient apporter de nouveaux éléments essentiels à l'étude de l'écart théorique-algorithmique et le comportement de la descente de gradient dans l'apprentissage profond.