Un système mécanique non linéaire est dit non régulier lorsque ses champs de vitesses ou d’accélérations présentent des discontinuités. Tout système mécanique dont des composants subissent des frottements ou des impacts appartient à cette catégorie. Ces systèmes sont très présents dans des domaines industriels clés tels que la production d'énergie et les transports. Leur conception pose un défi particulier aux ingénieurs en raison d'un verrou scientifique majeur : il n'existe pas de cadre théorique unifié permettant de caractériser la réponse vibratoire de ces systèmes. Par conséquent, les configurations visant à éviter les phénomènes non linéaires ont longtemps été privilégiées, souvent au détriment de la performance ou de l'empreinte environnementale. Dans plusieurs domaines, ces compromis ne sont désormais plus acceptables et soulèvent de nouveaux enjeux de conception. Ce contexte a motivé ces dernières années la mise en place de stratégies numériques visant à prédire au mieux les phénomènes de résonance de systèmes mécaniques non réguliers. Ces stratégies sont aujourd'hui utilisées pour discriminer différentes configurations en fonction de leur réponse vibratoire non linéaire. Cette discrimination est effectuée a posteriori, en fin de cycle de conception, ce qui implique nécessairement un allongement de celui-ci. Cette thèse est consacrée au développement de nouveaux outils pour prendre en compte des phénomènes vibratoires non linéaires en amont dans le cycle de conception. Un cycle de conception repose généralement sur une procédure d'optimisation itérative. L'intégration des stratégies prédictives dans cette procédure requiert, d'une part, des algorithmes d'optimisation adaptés à des simulations prédictives coûteuses, dont les quantités d'intérêts sont potentiellement discontinues, et d'autre part, des critères de conception relatifs aux phénomènes non linéaires. D'un point de vue mathématique, les dérivées des quantités d'intérêt issues des stratégies numériques prédictives sont généralement inaccessibles. Ces stratégies sont ainsi modélisées par des boîtes noires, c'est-à-dire des processus dont seules les entrées et sorties sont accessibles. Le cadre mathématique considéré est celui des méthodes d'optimisation sans dérivées et de boîtes noires. D'un point de vue industriel, compte tenu de la variété de systèmes mécaniques non réguliers, la détermination de critères de conception requiert de cibler une application spécifique. L'interface de contact aube/carter dans les compresseurs de turbomachines est considérée. Le cadre industriel choisi est celui de la reconception d'aubes afin d'améliorer leur robustesse aux interactions de contact. Le projet doctoral revêt un caractère multidisciplinaire et comporte quatre contributions. La première contribution, en mathématiques appliquées, est un algorithme d'optimisation de boîtes noires générique permettant de trouver des solutions éloignées des discontinuités des quantités d'intérêt. Pour certains systèmes non réguliers, ces discontinuités peuvent en effet révéler des zones de résonances non linéaires critiques d'un point de vue de la conception. Les autres contributions, en génie mécanique, sont relatives au processus de reconception d'aubes proposé dans cette thèse, qui repose sur une procédure d'optimisation itérative. La deuxième contribution est un outil de modélisation d'aubes industrielles haute-fidélité, requis en entrée de la procédure d'optimisation. La troisième contribution est la reconception de trois géométries d'aubes ouvertes de la NASA, issues des rotors 37, 35 et 67. Une quantité substitut de la robustesse au contact d'une aube, moins coûteuse qu'une stratégie numérique prédictive, est utilisée dans la procédure d'optimisation~: la consommation de jeu. Les aubes optimisées obtenues présentent des gains significatifs en matière de réponse aux interactions de contact. Enfin, la quatrième contribution est la détermination de critères de conception relatifs aux interactions aube/carter. D'une part, une prise de recul sur la pertinence de la consommation de jeu comme substitut est proposée, en fonction du type d'aube et de la richesse du comportement dynamique. D'autre part, des tendances géométriques sont dégagées à partir des aubes optimisées obtenues. Les aubes de compresseur présentant la meilleure robustesse aux interactions de contact présentent généralement une forte flèche axiale arrière et une inclinaison tangentielle avant.