Le réseau ferroviaire français dispose d’une infrastructure de grande ampleur qui se compose de nombreux ouvrages d’art. Ces derniers subissent les dégradations du temps et du trafic et font donc l’objet d’une surveillance périodique pour détecter l’apparition de défauts. Aujourd’hui, cette inspection se fait en grande partie, visuellement par des opérateurs experts. Plusieurs entreprises testent de nouveaux vecteurs d’acquisition photo comme le drone, destinés à la surveillance des ouvrages de génie civil. Dans cette thèse, l’objectif principal est de développer un système capable de détecter, localiser et enregistrer d’éventuels défauts de l’ouvrage. Un grand défi est de détecter des défauts sous-pixels comme les fissures en temps réel pour améliorer l’acquisition. Pour cela, une analyse par seuillage local a été conçue pour traiter de grandes images. Cette analyse permet d’extraire des points d’intérêts (Points FLASH: Fast Local Analysis by threSHolding) où une ligne droite peut se faufiler. La mise en relation intelligente de ces points permet de détecter et localiser les fissures fines. Les résultats de détection de fissures de surfaces altérées issues d'images d'ouvrages d'art démontrent de meilleures performances en temps de calcul et robustesse que les algorithmes existants. En amont de l'étape de détection, il est nécessaire de s’assurer que les images acquises soient de bonne qualité pour réaliser le traitement. Une mauvaise mise au point ou un flou de bougé sont à bannir. Nous avons développé une méthode réutilisant les calculs de la détection en extrayant des mesures de Local Binary Patterns (LBP) afin de vérifier la qualité en temps réel. Enfin, pour réaliser une acquisition permettant une reconstruction photogrammétrique, les images doivent avoir un recouvrement suffisant. Notre algorithme, réutilisant les points d’intérêts de la détection, permet un appariement simple entre deux images sans passer par des algorithmes de type RANSAC. Notre méthode est invariante en rotation, translation et à une certaine plage de changements d’échelle. Après l’acquisition, sur les images de qualité optimale, il est possible d'employer des méthodes plus coûteuses en temps comme les réseaux de neurones à convolution. Ces derniers bien qu'incapables d’assurer une détection de fissures en temps réel peuvent être utilisés pour détecter certains types d’avaries. Cependant, le manque de données impose la constitution de notre propre jeu de données. A l'aide d'approches de classification indépendante (classifieurs SVM one-class), nous avons développé un système flexible capable d’évoluer dans le temps, de détecter puis de classifier les différents types de défauts. Aucun système de ce type n’apparaît dans la littérature. Les travaux réalisés sur l’extraction de caractéristiques sur des images pour la détection de défauts pourront être utiles dans d’autres applications telles que la navigation de véhicules intelligents ou le word-spotting.