From Support Vector Machines to Hybrid System Identification
Machines à Vecteurs de Support et Identification de Systèmes Hybrides
Résumé
The thesis focuses on three nonlinear modeling problems: classification (or pattern recognition), regression (or function approximation) and hybrid system identification. Amongst existing approaches, Support Vector Machines (SVMs) offer a general framework for both nonlinear classification and regression. These recent methods, based on statistical learning theory, rely on convex optimization to train black-box models with good generalization performances. The study first focuses on the evolution of these models towards grey-box models, which can benefit at the same time from the universal approximation capacity of black-box models and from prior knowledge. In particular, the thesis proposes a general framework for the incorporation of a wide variety of prior knowledge in SVMs for regression, which leads to a learning algorithm written as a convex optimization program. The last part of the thesis proposes to extend SVMs to the identification of hybrid systems, that switch between different dynamics. In this context, the classification and regression problems are intrinsically mixed together and cannot be considered separately. A method based on non-convex optimization is proposed to solve these problems simultaneously. The resulting algorithm is able to deal with hybrid systems switching between arbitrary and unknown dynamics.
La thèse s'intéresse à trois problèmes de modélisation non-linéaire : la classification (ou reconnaissance de formes), la régression (ou approximation de fonctions) et l'identification de systèmes hybrides. Parmi les approches existantes dans la littérature, les machines à vecteurs de support (Support Vector Machines, SVMs) fournissent un cadre général pour la classification et la régression non-linéaires. Ces méthodes récentes, issues de la théorie de l'apprentissage statistique, permettent d'obtenir des modèles boîtes noires, conduisant à de bonnes performances en généralisation, par optimisation convexe. L'étude se concentre dans un premier temps sur l'évolution de ces modèles vers des modèles de type boîte grise, permettant de bénéficier à la fois de la capacité d'approximation universelle des modèles boîtes noires et de connaissances disponibles a priori. Dans ce cadre, la thèse propose une approche générale, permettant d'inclure un grand nombre de connaissances diverses dans l'apprentissage SVM pour la régression, tout en conservant un apprentissage par optimisation convexe. La dernière partie de la thèse propose ensuite d'étendre les SVMs à l'identification de systèmes hybrides (systèmes commutant entre plusieurs modes de fonctionnement). Dans ce contexte, les problèmes de classification et de régression sont liés de manière indissociable. Une méthode basée sur l'optimisation non-convexe est proposée pour résoudre simultanément ces problèmes. Celle-ci permet notamment d'identifier des systèmes hybrides possédant des non-linéarités arbitraires et inconnues.