Cette thèse propose une réflexion autour de l'étude des marchés financiers sous le prisme des systèmes complexes.Tout d'abord une description mathématique est proposée pour représenter le processus de prises de décision des agents dès lors où celui-ci bien que représentant les intérêts individuels d'un agent, est également influencé par l'émergence d'un comportement collectif. La méthode est particulièrement applicable lorsque le système étudié est caractérisé par une dynamique non-linéaire. Une application du modèle est proposée au travers de l'implémentation d'un marché artificiel boursier avec une approche système multi-agents. Dans cette application la dynamique du marché est décrite à la fois aux niveaux microscopiques (comportement des agents) et macroscopique (formation du prix). Le processus de décision des agents est défini à partir d'un ensemble de règles comportementales reposant sur des principes de logique floue. La dynamique de la formation du prix repose sur une description déterministe à partir des règles d'appariement d'un carnet d'ordres central tel que sur NYSE-Euronext-Paris. Il est montré que le marché artificiel boursier tel qu'implémenté est capable de répliquer plusieurs faits stylisés des marchés financiers : queue de distribution des rendements plus épaisse que celle d'une loi normale et existence de grappes de volatilité (ou volatility clustering).Par la suite, à partir de simulations numériques il est proposé d'étudier trois grandes propriétés du système : sa capacité d'auto-organisation, de résilience et sa robustesse. Dans un premier temps une méthode est introduite pour qualifier le niveau d'auto-organisation du marché. Nous verrons que la capacité d'auto-organisation du système est maximisée quand les comportements des agents sont diversifiés. Ensuite, il est proposé d'étudier la réponse du système quand celui-ci est stressé via la simulation de chocs de marché. Dans les deux analyses, afin de mettre en évidence comment la dynamique globale du système émerge à partir des interactions et des comportements des agents des résultats numériques sont systématiquement apportés puis discutés.Nos résultats montrent notamment qu'un comportement collectif grégaire apparait à la suite d'un choc, et, entraîne une incapacité temporaire du système à s'auto-organiser. Finalement, au travers des simulations numériques il peut être également remarqué que le marché artificiel boursier implémenté est plus sensible à de faibles répétitions répétées qu'à un choc plus important mais unique.