Agglomerative 2-3 Hierarchical Classification: Theoretical and Applicative Study - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2007

Agglomerative 2-3 Hierarchical Classification: Theoretical and Applicative Study

Classification Ascendante 2-3 Hiérarchique : étude théorique et applicative

Résumé

Classification is one of the many fields in Data Mining which aims at extracting information from large data volumes by using different computational techniques from machine learning, statistics and pattern recognition. One of the two common approaches in the unsupervised classification (or clustering) is the hierarchical clustering. Its purpose is to produce a tree in which the nodes represent clusters of the initial analyzed data. One of the main drawbacks of the most known and used hierarchical agglomerative method, the Agglomerative Hierarchical Classification (AHC), is the fact that it cannot highlight groups of objects with characteristics from two or more classes, property found for example in overlapping clusters.

This thesis deals with a recent extension of the Agglomerative Hierarchical Classification, the Agglomerative 2-3 Hierarchical Classification (2-3 AHC), proposed by P. Bertrand in 2002, with a focus on its application to the Data Mining fields.
The three major contributions of this thesis are: the theoretical study of the 2-3 hierarchies (also called paired hierarchies), the new 2-3 AHC algorithm and its implementation, and the first applicative study of this method in two Data Mining fields.

Our theoretical study includes the discovery of four new theoretical properties of the 2-3 hierarchies and the definition of the aggregation links between clusters for this type of structure. This allowed us to highlight a special case of clusters merging and to introduce an intermediate step in the 2-3 hierarchies' construction. The systematic and exhaustive study of possible cases, lead us to formulate the best choices in term of linkage and structure indexing, in order to improve the quality of the 2-3 hierarchies.

Next, based on our theoretical study and contributions, we proposed a new general Agglomerative 2-3 Hierarchical Classification algorithm. This represents the result of our precedent study: a powerful algorithm exploring the multiple possibilities of the 2-3 hierarchical model. A theoretical complexity analysis of our 2-3 AHC algorithm, showed a reduced complexity from O(n3) in the initial algorithm, to O(n2 log n) for our algorithm. The tests on different datasets (real and generated) confirmed our theoretical complexity study. Very satisfying results were obtained by analyzing the "quality" of the 2-3 hierarchies compared with the traditional hierarchies: up to 50% more created clusters and a maximal gain of 84% using the Stress index.

We also proposed an object-oriented model of our algorithm that was integrated in the ``Hierarchical Clustering Toolbox'' (HCT), a toolbox that we developed for the visualization of the agglomerative hierarchical classification methods. We also integrated this model as a method of case indexing in the Case Based Reasoning platform, CBR*Tools, developed at INRIA Sophia Antipolis, and used it to design recommender systems.

Our last contribution lies in the first study of the applicability of the 2-3 AHC on real data from two Data Mining fields: Web Mining and XML Document Clustering. This study lead to interesting results and was based on the comparison of the 2-3 hierarchical clustering of INRIA's research teams using either the users' behavior on their Web sites, or their XML annual reports, with the existent structure of the research themes organization.

Finally, to conclude, we show that this subject is far from being exhausted and we propose several research perspectives related to the Agglomerative 2-3 Hierarchical Classification and to our HCT toolbox, developed during this thesis.
La classification est un des nombreux domaines de la Fouille de Données qui vise à extraire l'information à partir de grands volumes de données en utilisant différentes techniques computationnelles de l'apprentissage, des statistiques et de la reconnaissance des formes. Une des deux approches fondamentales de la classification non supervisé (ou clustering) est la classification hiérarchique. Son but est de produire un arbre dans lequel les nœuds représentent des classes des objets analysés. Un des inconvénients principaux de la méthode ascendante hiérarchique la plus connue et la plus utilisée, la Classification Ascendante Hiérarchique (CAH), est le fait qu'on ne peut pas mettre en évidence des classes d'objets ayant des caractéristiques communes. Cette propriété se trouve par exemple dans les classes qui se recouvrent et qui ont été introduites et étudies dans les extensions de la CAH.

Cette thèse porte sur une extension récente de la Classification Ascendante Hiérarchique, appelée Classification Ascendante 2-3 Hiérarchique et proposé par P. Bertrand en 2002, avec en vue son application au domaine de la Fouille de Données.
Les trois contributions majeures de cette thèse résident dans l'étude théorique des 2-3 hiérarchies (appelées aussi paired hierarchies), dans le nouvel algorithme de 2-3 CAH avec son implémentation et dans la première étude applicative de cette méthode dans deux domaines de la Fouille de Données.

Notre étude théorique inclut la découverte de quatre nouvelles propriétés théoriques des 2-3 hiérarchies et les définitions des liens d'agrégation entre les classes pour ce type de structure. Ceci nous a aussi permis de mettre en évidence un cas spécial de fusion des classes et d'introduire une étape intermédiaire dans la construction des 2-3 hiérarchies. L'étude exhaustive et systématique des cas possibles nous a permis de formuler les meilleurs choix concernant le lien d'agrégation et l'indexation de la structure, avec en vue l'amélioration de la qualité des 2-3 hiérarchies.

Dans un deuxième temps, basé sur notre étude et contributions théoriques, nous proposons un nouvel algorithme général de Classification Ascendante 2-3 Hiérarchique. Ceci représente la concrétisation de notre travail précédent, aboutissant à un algorithme performant, qui explore plusieurs possibilités du modèle 2-3 hiérarchique. Une analyse théorique de la complexité de notre algorithme a montré que la complexité a été réduite de O(n3) dans l'algorithme initial de 2-3 CAH à O(n2 log n) pour notre algorithme. Les comparaisons des 2-3 hiérarchies avec les hiérarchies classiques obtenues sur différents ensembles de données (réels et simulés), ont validé l'analyse de complexité par les temps d'exécution. En plus, des résultats très satisfaisants ont été obtenus en analysant la "qualité" des 2-3 hiérarchies comparées aux hiérarchies classiques : jusqu'au 50% de classes en plus et un gain maximum de 84% en utilisant l'indice de Stress.
Nous avons ensuite proposé un modèle orienté-objet de notre algorithme de 2-3 CAH, qui a été intégré dans une boite à outils ``Hierarchical Clustering Toolbox'' (HCT) que nous avons développée pour la visualisation des méthodes ascendantes hiérarchiques de classification. Ce modèle a été également intégré comme méthode d'indexation des cas dans la plateforme de Raisonnement à Partir de Cas (RàPC), CBR*Tools, développé à l'INRIA Sophia Antipolis, et utilisé pour la conception des systèmes de recommandations.

Notre dernière contribution concerne une toute première étude de l'utilisation de notre algorithme de 2-3 CAH sur des données réelles relevant de deux domaines de la Fouille des Données : le Web Mining et la Classification de Documents XML. Celle-ci a donné lieu à des résultats intéressants et portait sur la comparaison de la classification 2-3 hiérarchique des équipes de recherche de l'INRIA en utilisant soit le comportement des utilisateurs sur leur sites Web, soit leur rapport annuel d'activité écrit en XML, par rapport à la structure organisationnelle existante en thèmes de recherche.

Pour conclure, nous montrons que ce sujet est loin d'être épuisé et nous proposons plusieurs pistes de recherche future relatives à la Classification Ascendante 2-3 Hiérarchique ainsi qu'à notre boite à outils HCT, développée pendant cette thèse.
Fichier principal
Vignette du fichier
ChelceaThese_Final.pdf (3.94 Mo) Télécharger le fichier
Loading...

Dates et versions

tel-00156809 , version 1 (22-06-2007)

Identifiants

  • HAL Id : tel-00156809 , version 1

Citer

Sergiu Theodor Chelcea. Agglomerative 2-3 Hierarchical Classification: Theoretical and Applicative Study. Human-Computer Interaction [cs.HC]. Université Nice Sophia Antipolis, 2007. English. ⟨NNT : ⟩. ⟨tel-00156809⟩

Collections

INRIA INRIA2
1214 Consultations
1106 Téléchargements

Partager

Gmail Facebook X LinkedIn More