La nature temporelle de l'audiovisuel impose de passer par le biais de la description pour enrichir les documents et donc les exploiter. Nous soutenons qu'une représentation de la structure et du contenu des documents est nécessaire. Par structure, nous entendons la structure documentaire c'est-à-dire l'organisation méréologique des éléments qui composent le document, tandis que le contenu est une structure conceptuelle, c'est-à-dire une catégorisation de ces éléments. Après une revue des propositions actuelles de modélisation des documents audiovisuels, issues de l'ingénierie documentaire et de l'ingénierie des connaissances, nous montrons qu'aucun des langages étudiés ne permet de traiter ces deux aspects de manière satisfaisante. Nous proposons alors une architecture générale permettant la représentation formelle de la structure et du contenu des documents audiovisuels, qui engendrera une base de connaissances sur laquelle il est possible d'effectuer des raisonnements. Cette architecture se compose d'une ontologie de l'audiovisuel, dont on traduit une partie dans un langage documentaire pour contrôler la structure logique des documents, et d'une ontologie de domaine pour décrire formellement leur contenu. Nous avons développé l'outil DOE (Differential Ontology Editor), qui implémente la méthodologie de construction d'ontologies utilisée. Nous montrons finalement la pertinence de l'approche à l'aide de deux expérimentations utilisant un corpus de vidéos annoté, illustrant ainsi les types d'inférences possibles.