Shape tracking and servoing of deformable objects
Suivi de forme et asservissement d'objets déformables
Résumé
In the past few decades, robotics research has gained momentum due to robots' ability to perform dangerous or monotonous tasks that are difficult for humans. The majority of the research in this field has focused on manipulating rigid objects that maintain their shape during the manipulation process. However, there are numerous objects that undergo significant deformation during manipulation, known as deformable objects (DOs). Our surroundings contain various types of DOs, including human tissue, clothing, cables, metal sheets, and vegetables. This abundance of DOs presents enormous potential for developing new robotic applications that could greatly improve our daily lives. However, the manipulation of DOs presents a considerable number of challenges due to their highly complex and dynamic nature. To tackle these challenges, two general directions of research have been introduced and developed: shape tracking and shape servoing of DOs. Shape tracking involves inferring the current shape of DOs at each instant. Shape servoing is concerned with controlling DOs' shape to a desired shape or trajectory.Over the past few years, researchers have suggested several approaches for tracking and servoing DOs. However, these methods have significant drawbacks, such as being limited to a single form of the object, requiring precise mechanical parameters of the object, being imprecise due to the use of many simplifications, computationally intensive, and not real-time. Additionally, these methods can be susceptible to sensor noise and occlusions.This thesis introduces several new approaches to address the existing challenges of tracking and servoing DOs. Our proposed approaches cover a wide range of object forms (linear, thin-shell, volumetric) and geometries, and work with both 2D or 3D sensors. Firstly, we present two approaches for handling shape tracking and servoing thin-shell objects. The proposed shape tracking method is based on monocular 2D vision and is wide-baseline, real-time (up to 30 fps), robust against occlusions and video cuts. The proposed shape servoing approach is based on a geometrical model called As-Rigid-As-Possible (ARAP), and does not require knowledge of the object's mechanical characteristics. It is fast and avoids using a Jacobian from data collected while the robots are in motion that is susceptible to noise. Next, we introduce a novel unified shape tracking-servoing approach based on 3D vision. In this approach, we form a lattice around the object and bind the lattice to the object using geometrical constraints. We track and servo the lattice instead of the object. This decouples the runtime complexity from the object's geometric complexity, which makes the whole tracking-servoing process much faster without requiring any specialized hardware. Using a lattice enables our approach to generalize to objects of any geometry and form, including linear, thin-shell, and volumetric objects. The proposed approach incorporates ARAP, and thus does not require knowledge of the object's mechanical properties. We validate the efficiency of the proposed approaches through various experiments with various objects.
Ces dernières décennies, la recherche en robotique a gagné en importance grâce à la capacité des robots à effectuer des tâches dangereuses ou monotones pour les humains. La plupart des recherches dans ce domaine se sont concentrées sur la manipulation d'objets rigides qui conservent leur forme pendant le processus de manipulation. Cependant, il existe de nombreux objets qui subissent une déformation significative lors de leur manipulation. Ces objets sont appelés objets déformables (OD). Notre environnement contient divers types de OD, tels que les organes humains, les vêtements, les câbles, les feuilles métalliques et les légumes. Cette abondance de OD présente un énorme potentiel pour développer de nouvelles applications robotiques qui pourraient grandement améliorer notre vie quotidienne. Cependant, la manipulation de OD présente un nombre considérable de défis en raison de leur nature hautement complexe et dynamique. Le suivi de la forme implique de comprendre la forme courante des ODs à chaque instant. La commande de la forme concerne l'asservissement de la forme des OD vers une forme ou une trajectoire souhaitée.Au cours des dernières années, les chercheurs ont proposé plusieurs approches pour relever les défis de suivi et de commande de la forme des OD. Cependant, ces méthodes présentent des inconvénients importants, tels que la limitation à une seule forme de l'objet, la nécessité de connaître les paramètres mécaniques précis de l'objet, l'imprécision due à l'utilisation de nombreuses simplifications, le coût calculatoire et la lenteur qui ne permet pas un traitement en temps réel. De plus, ces méthodes sont sensibles aux bruits des capteurs et aux occultation.Dans cette thèse, nous présentons plusieurs nouvelles approches pour relever les défis liés au contrôle et au suivi des objets déformables (ODs). Nos approches proposées couvrent une large gamme de formes d'objets (linéaires, à coques minces, volumétriques) et utilisent à la fois des données issues de capteurs 2D et 3D en entrée. Tout d'abord, nous présentons deux solutions pour la gestion du suivi et du contrôle de la forme des objets à coque mince. Le suivi de forme est basé sur une vision monoculaire à large entraxe, en temps réel (jusqu'à 30 ips), laquelle est robuste contre les occultations et les coupures de vidéo, et laquelle est facile à utiliser. Notre approche de contrôle de la forme est basée sur un modèle géométrique appelé « As-rigid-as-possible » (ARAP), qui ne nécessite pas de connaissance préalable des caractéristiques mécaniques de l'objet. Elle est rapide et évite d'utiliser une jacobienne qui est vulnérable aux bruits provenant des données collectées sur une fenêtre temporelle durant laquelle les robots sont en mouvement. Nous introduisons ensuite une approche de suivi et de contrôle de la forme basée sur une vision 3D. Dans cette approche, nous formons une grille autour de l'objet et nous les contraignions à l'aide de contraintes géométriques. Nous suivons et contrôlons la grille au lieu de l'objet. Cela découple la complexité d'exécution de la complexité géométrique de l'objet, ce qui rend l'ensemble du processus de suivi et de contrôle beaucoup plus rapide sans nécessiter l'utilisation de matériel spécialisé. L'utilisation d'une grille rend également notre approche capable de généralisation à des objets de toute forme et géométrie, y compris les objets linéaires, à coque mince et volumétriques. Cette approche intègre ARAP, et ne nécessite donc pas de connaissance des propriétés mécaniques de l'objet. Nous validons l'efficacité de nos méthodes par le biais de diverses expériences en simulé et en réel avec différents objets.
Origine | Version validée par le jury (STAR) |
---|