La détermination de la masse nucléaire permet d'accéder à l'énergie de liaison donc au bilan de toutes les forces agissant dans le noyau. L'exploration de la structure nucléaire requiert la mesure des masses loin de la stabilité. Néanmoins la production des ions radioactifs est peu sélective et l'ion d'intérêt est souvent noyé dans un fond de contaminants isobariques. Ces dernières années, l'utilisation des pièges à ions linéaires et du refroidissement par gaz tampon a été fortement développée permettant la mesure de masse des noyaux exotiques avec une grande précision. Cette thèse porte sur le développement innovant d'un piège de Paul circulaire, "le cirque d'ions". Sa géométrie lui permet de confiner les ions sur un grand nombre de tours. Ainsi, ils peuvent être refroidis avec une pression de gaz tampon de l'ordre de 10-4 mbar. Par ailleurs, il est capable de trier en masse les ions piégés et refroidis avec un pouvoir de résolution suffisant pour séparer des isobares. Nous avons réalisé et testé le premier prototype de ce spectromètre à Orsay. Cette thèse étudie également les prédictions des masses par les différents modèles théoriques, en les comparant avec l'approche microscopique HFB-17. Actuellement, la masse des noyaux très exotiques peut seulement être prédite. L'étude de l'énergie de séparation de deux neutrons avec HFB-17 met en évidence des zones d'instabilité numérique. Afin de l'améliorer, nous avons apporté une correction aux énergies de déformation calculées par ce modèle, en utilisant comme référence les masses des chaînes isotopiques 143-146Xe et 223-229Rn que nous avons mesurées avec le spectromètre ISOLTRAP au CERN.