Ce mémoire est un recueil et une synthèse de plusieurs études en analyse en moyenne d'algorithmes et en bioinformatique. Il y est présenté des travaux allant de l'étude de problèmes sur les séquences à l'étude de systèmes biologiques, en gardant un fil conducteur fort: quelles que soient les applications, l'objet d'étude central est une source probabiliste qui produit des mots. Ces travaux trouvent des applications en bioinformatique qui se concrétisent par la mise au point d'algorithmes dédiés de recherche de motifs et la définition de tests statistiques et en biologie des systèmes biologiques avec des développements qui ont été appliqués, en collaboration étroite avec des équipes de biologistes, à des modèles biologiques réels.