New Partition-based and Density-based approaches for improving clustering
Nouvelles approches basées sur la partition et la densité pour l’amélioration du clustering
Résumé
Clustering is a branch of machine learning consisting in dividing a dataset into several groups, called clusters. Each cluster contains data with similar characteristics. Several clustering approaches exist that differ in complexity and efficiency due to the multitude of clustering applications. In this thesis, we are mainly interested in centroid-based methods, more specifically k-means and density-based methods. In each approach, we have made contributions that address different problems.Due to the growth of the amount of data produced by different sources (sensors,social networks, information systems...), it is necessary to design fast algorithms to manage this growth. One of the best-known problems in clustering is the k-means problem. It is considered NP-hard in the number of points and clusters. Lloyd’sheuristic has approximated the solution to this problem. This is one of the ten most used methods in data mining because of its algorithmic simplicity. Nevertheless, this iterative heuristic does not propose an optimization strategy that avoids repetitive calculations. Versions based on geometric reasoning have partially addressed this problem. In this manuscript, we proposed a strategy to reduce unnecessary compu-tations in Lloyd’s version and the versions based on geometric reasoning. It consists mainly in identifying, by estimation, the stable points, i.e., they no longer contribute to improving the solution during the iterative process of k-means. Thus, calculations related to stable points are avoided.K-means requires a priori, from users, the value of the number of K clusters. It is necessary for K to be the closest to the ground truth. Otherwise, the result of partitioning is of low quality or even unusable. We proposed Kd-means, an algorithm based on a hierarchical approach. It consists in hierarchizing data in a Kd-tree data structure and then merging sub-groups of points recursively in the bottom-up direction using new inter-group merging criteria that we have developed. These criteria guide the merging process to estimate K closest to real and produce clusters with a more complex shape than sphericity. Through experimentation, Kd-means has clearly shown its superiority over its competitors in execution time, clustering quality and K estimation. The density-based approach’s challenges are the high dimensionality of the points,the difficulty to separate low-density clusters from groups of outliers, and the sep-aration of close clusters of the same density. To address these challenges, we have developed DECWA, a method based on a probabilistic approach. In DECWA, we proposed 1) a strategy of dividing a dataset into sub-groups where each of them follows its probability law; 2) followed by another strategy that merges subgroups, similar in probability law, into final clusters. Experimentally, DECWA, in high-dimensional spaces, produces a good quality clustering compared to its competitors
Le clustering est une branche de l’apprentissage automatique consistant à diviser un ensemble de données en plusieurs groupes appelés clusters. Chacun des clusterscontient des données avec des caractéristiques similaires. Plusieurs approches de clus-tering existent qui diffèrent en complexité et en efficacité, en raison de la multitude d’applications du clustering.Dans cette thèse, nous nous intéressons essentiellement aux méthodes basées sur les centroïdes plus spécifiquement les k-moyennes et aux méthodes basées sur la densité.Dans chaque approche, nous avons apporté des contributions qui répondent à des problèmes différents.En raison de la croissance de la quantité de données produite par différentes sources(capteurs, réseaux sociaux, systèmes d’information. . . ), il est nécessaire de concevoir des algorithmes rapides pour gérer cette croissance. L’un des problèmes les plus connus en clustering est celui des k-moyennes. Il est considéré NP-difficile en nombre de points et de clusters. La solution de ce problème a été approximée par l’heuristique de Lloyd.Celle-ci est l’une des dix méthodes les plus utilisées en fouille de données en raison de sa simplicité algorithmique. Néanmoins, cette heuristique itérative ne propose pas de stratégie d’optimisation qui évite des calculs répétitifs. Des versions basées sur le raisonnement géométrique ont répondu en partie à ce problème. Dans ce manuscrit,nous avons proposé une stratégie visant à réduire les calculs inutiles dans la version de Lloyd ainsi que dans les versions basées sur le raisonnement géométrique. Elle consiste principalement à identifier, par estimation, les points qui sont stables, c’est-à-dire, qui ne contribuent plus à l’amélioration de la solution lors du processus itératif de k-moyennes. Ainsi, les calculs liés aux points stables sont évités.K-moyennes requiert a priori, de la part des utilisateurs, la valeur du nombre de clusters K. Il est nécessaire que K soit la plus proche de la vérité-terrain, sinon le résultat de partitionnement est de mauvaise qualité voire inutilisable. Nous avons proposé Kd-means, un algorithme basé sur une approche hiérarchique. Elle consiste à hiérarchiser les données dans une structure de données du type Kd-tree puis à fusionner des sous-groupes de points récursivement dans le sens bas-haut via de nouveaux critères de fusion inter-groupes que nous avons développé. Ces critères guident le processus de fusion à estimer K le plus proche du réel et de produire des clusters ayant une forme plus complexe que la sphéricité. À travers les expérimentations, Kd-means a nettement montré sa supériorité, face à ses concurrents, en temps d’exécution, en qualité de clustering et en estimation de K.Les défis de l’approche des méthodes basées sur la densité sont la grande dimen-sionnalité des points, la difficulté à séparer les clusters de faible densité des groupes de points aberrants ainsi que la séparation des clusters proches de même densité. Pour y répondre, nous avons développé DECWA, une méthode basée sur une approche probabiliste. Dans DECWA, nous avons proposé 1) une stratégie de division d’un ensemble de données en sous-groupes où chacun d’eux suit sa loi de probabilité ; 2) suivie d’une autre stratégie qui fusionne des sous-groupes, similaires en loi de probabilité, en clus-ters finaux. Expérimentalement, DECWA, dans des espaces de grandes dimensions,produit un clustering de qualité par rapport à ses concurrents.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|