Incremental Online Learning on Data Streams
Apprentissage incrémental en-ligne sur flux de données
Résumé
Statistical learning provides numerous algorithms to build predictive models on past observations. These techniques proved their ability to deal with large scale realistic problems. However, new domains generate more and more data which are only visible once and need to be processed sequentially. These volatile data, known as data streams, come from telecommunication network management, social network, web mining. The challenge is to build new algorithms able to learn under these constraints. We proposed to build new summaries for supervised classi cation. Our summaries are based on two levels. The first level is an online incremental summary which uses low processing and address the precision/memory tradeo . The second level uses the first layer summary to build the fi nal summary with an e fficient offline method. Building these summaries is a pre-processing stage to develop new classifi ers for data streams. We propose new versions for the naive-Bayes and decision trees classi ers using our summaries. As data streams might contain concept drifts, we also propose a new technique to detect these drifts and up date classifi ers accordingly.
L'apprentissage statistique propose un vaste ensemble de techniques capables de construire des modèles prédictifs à partir d'observations passées. Ces techniques ont montré leurs capacités à traiter des volumétries importantes de données sur des problèmes réels. Cependant, de nouvelles applications génèrent de plus en plus de données qui sont seulement visibles sous la forme d'un flux et doivent être traitées séquentiellement. Parmi ces applications on citera : la gestion de réseaux de télécommunications, la modélisation des utilisateurs au sein d'un réseau social, le web mining. L'un des défit s techniques est de concevoir des algorithmes permettant l'apprentissage avec les nouvelles contraintes imposées par les fl ux de données. Nous proposons d'aborder ce problème en proposant de nouvelles techniques de résumé de flux de données dans le cadre de l'apprentissage supervisé. Notre méthode est constituée de deux niveaux. Le premier niveau utilise des techniques incrémentales de résumé en-ligne pour les fl ux qui prennent en compte les ressources mémoire et processeur et possèdent des garanties en termes d'erreur. Le second niveau utilise les résumés de faible taille, issus du premier niveau, pour construire le résumé fi nal à l'aide d'une méthode supervisée performante hors-ligne. Ces résumés constituent un prétraitement qui nous permet de proposer de nouvelles versions du classi fieur bayésien naïf et des arbres de décision fonctionnant en-ligne sur flux de données. Les flux de données peuvent ne pas être stationnaires mais comporter des changements de concept. Nous proposons aussi une nouvelle technique pour détecter ces changements et mettre à jour nos classfi eurs.