Thèse Année : 2019

Mobility aid for the disabled using unknown input observers and reinforcement learning

Aide à la mobilité des PMR : une approche basée sur les observateurs à entrée inconnue et l'apprentissage par renforcement

Résumé

In aging societies, improving the mobility of disabled persons is a key challenge for this century. With an elderly population estimated at over 2 billion in 2050 (OMS 2012), the heterogeneity of disabilities is becoming more important to address. In addition, assistive devices remain quite expensive and some disabled persons are not able to purchase such devices. In this context, we propose an innovative idea using model-based automatic control approaches and model-free reinforcement learning for a Power-Assisted wheelchair (PAW) design. The proposed idea aims to provide a personalized assistance to different user without using expensive sensors, such as torque sensors. In order to evaluate the feasibility of such ideas in practice, we carry out two preliminary designs.The first one is a model-based design, where we need to exploit as much as possible the prior knowledge on the human-wheelchair system to not use torque sensors. Via an observer and a mechanical model of the wheelchair, human pushing frequencies and direction are reconstructed from the available velocity measurements provided by incremental encoders. Based on the reconstructed pushing frequencies and direction, we estimate the human intention and a robust observer-based assistive control is designed. Both simulation and experimental results are presented to show the performance of the proposed model-based assistive algorithm. The objective of this first design is to illustrate that the need of expensive torque sensors can be removed for a PAW design.A second design developed in this work is to see the capabilities of learning techniques to adapt to the high heterogeneity of human behaviours. This design results in a proof-of-concept study that aims to adapt heterogeneous human behaviours using a model-free algorithm. The case study is based on trying to provide the assistance according to the user’s state-of-fatigue. To confirm this proof-of-concept, simulation results and experimental result are performed.Finally, we propose perspectives to these two designs and especially propose a framework to combine automatic control and reinforcement learning for the PAW application.

Dans les sociétés vieillissantes, l’amélioration de la mobilité des personnes handicapées est un défi majeur pour ce siècle. Avec une population âgée estimée à plus de 2 milliard d’habitants en 2050 (OMS 2012), l’hétérogénéité des handicaps devient de plus en plus importante. En outre, les appareils fonctionnels restent assez coûteux et certaines personnes handicapées ne sont pas en mesure de les acheter. Dans ce contexte, nous proposons une innovante utilisant des approches de contrôle automatique basées sur un modèle et des approches d’apprentissage par renforcement sans modèle pour notre conception de fauteuil roulant assisté. L’idée proposée vise à fournir une assistance personnalisée à un utilisateur particulier sans utiliser de capteurs coûteux, tels que des capteurs de couple. Afin de pré-évaluer la faisabilité de telles idées dans la pratique, nous effectuons deux études préliminaires.Le premier concerne une conception basée sur modèle, où nous devons exploiter au maximum les connaissances préalables du système de fauteuil roulant humain. Via un observateur et un modèle mécanique du fauteuil roulant, les fréquences et la direction de poussée humane sont reconstruites à partir des mesures de vitesse disponibles fournies par les encodeurs incrémentaux. Sur la base fréquences et de la direction de poussée reconstituées, nous estimons l’intention de l’homme et un contrôle assisté robuste basé sur un observateur a été conçu la simulation et les résultats expérimentaux sont présentés pour montrer les performances de l’algorithme d’assistance proposé basé sur un modèle. L’objectif de la première conception est d’illustrer que le besoin de capteurs de couple coûteux peut être supprimé pour une conception PAW.Une deuxième idée développée dans ce travail est de voir les capacités des techniques d’apprentissage à s’adapter à la grande hétérogénéité des comportements humains. Il en résulte une étude de validation de concept visant à adapter les comportements humain hétérogènes à l’aide d’un algorithme sans modèle. Le cas d’étude est basé sur l’essai de fournir une assistance en fonction de l’état de fatigue de l’utilisateur. Les preuves de convergence de tels algorithmes d’assistances sont également des questions importantes abordées dans cette thèse. Pour confirmer cette validation de concept, des résultats de simulation et des résultats expérimentaux sont effectués.Enfin, nous proposons des perspectives pour ces travaux et, en particulier, un cadre combinant contrôle automatique et apprentissage pour l’application PAW.

Fichier principal
Vignette du fichier
FENG_Guoxi2.pdf (6.99 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)
Licence

Dates et versions

tel-03165117 , version 1 (10-03-2021)

Licence

Identifiants

  • HAL Id : tel-03165117 , version 1

Citer

Guoxi Feng. Mobility aid for the disabled using unknown input observers and reinforcement learning. Modeling and Simulation. Université Polytechnique Hauts-de-France, 2019. English. ⟨NNT : 2019UPHF0013⟩. ⟨tel-03165117⟩
195 Consultations
149 Téléchargements

Partager

  • More