Noyaux de mots et d’arbres : efficacité et unification - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2018

نوى الكلمات و الأشجار : فعالية وتوحيد

String and Tree Kernels : Efficiency and Unification

Noyaux de mots et d’arbres : efficacité et unification

Résumé

إن التعلم الآلي يستدعي طرقا ذكية لتحليل البيانات من أجل الإستخراج الآلي للمعلومات الهامة من مجموعات البيانات الضخمة. لكن الطرق التقليدية للتعلم الآلي هي عبارة عن طرق خطية غالبا ما تكون مهيأة لمستندات مسطحة. إلا أنه عمليا، نجد أن العديد من التطبيقات لديها بيانات يمكن تمثيلها طبيعيا على شكل مركب (سلاسل، أشجار، مخططات ...). إن طرق النواة تشكل مقاربات فعالة تستند الى أسس نظرية صلبة لدعم هذا النوع من البيانات. ان هاته الطرق استعملت على نطاق واسع من أجل التعلم الآلي من خلال البيانات المركبة. إن هدفنا في هاته الرسالة ذو شقين. بادئ بدء، ركزنا على جانب الفعالية الذي يعتبر خاصية أساسية لطرق النواة. من هذا المنظور قمنا باستهداف نواة السلاسل الجزئية للكلمات (string subsequence kernel, SSK) المستعمل بنجاح في عديد من مهام تعلم الآلة. إن الفكرة الأساسية لمقاربتنا تتمثل في تحويل حساب نواة السلاسل الجزئية للكلمات الى مشكل هندسي. على وجه التحديد، قد استخدمنا شجرة مجالات ذات طبقات (layered range tree, LRT) أين طبقنا خوارزميات الهندسة الحسابية المتعلقة بها. وبهدف تحسين مقاربتنا، قمنا بتوسيع بنية المعطيات، شجرة مجالات ذات طبقات (LRT) الى شجرة مجالات جمع ذات طبقات (layered range sum tree, LRST) مزودة بعمليات التجميع. وبالاضافة الى ذلك، قدمنا تقييمات تجريبية للمقاربة الموسعة سواء على البيانات التركيبية أو بيانات حقيقية مستمدة من المواد الاخبارية. وقد أظهرت النتائج فعالية المقاربة المقترحة بالنسبة للأبجديات الكبيرة باستثناء الكلمات القصيرة جدا. الهدف الثاني للرسالة يتمثل في المساهمة في تطوير نظرية موحدة للتعلم الآلي. في السنوات الأخيرة كرس جهد كبير لنوى السلاسل حيث تم التركيز على المسائل الفردية، مما أدى الى مجموعة متنوعة من المقاربات. في هذا السياق، اقترحنا اطارا عاما للتعامل مع تقييم نوى السلاسل. في الواقع، إنه بمكن تمثيل كلمة s في فضاء الخصائص ذو الأبعاد الكبيرة بواسطة السلاسل الصورية التي يمكن أن تنجز بواسطة الآلي المرجح As الذي يمثل كل السلاسل الجزئية للكلمة s. وعليه فإن حساب نواة كل السلاسل الجزئية K(s,t) بين كلمتين s و t هو سلوك الآلي المرجح As = As,t تقاطع At. من أجل تقييم فعال لنواة كل السلاسل الجزئية اقترحنا تقنية جديدة لتقاطع الآليات تعتمد على البحث المسبق الى الأمام. كشفت نتائج التجارب أن تقييم نواة كل السلاسل الجزئية باستعمال تقنيتنا المقترحة هو أسرع منه باستخدام التقاطع القياسي. علاوة على ذلك، قد تمكنا من تعميم نموذج الآليات المرجحة من أجل انشاء نواة جديدة لمعالجة مجموعة من السلاسل التي يمكن اعتبارهاك كذلك نواة شجرية.
Machine learning requires data analysis intelligent methods for automatic extraction of meaningful information from massive data collection. However, the traditional methods of machine learning are linear. They are often well adapted to flat documents. In practice, many applications have data that can be represented naturally in a structured way (sequences, trees, graphs, . . . ). Kernel methods are effective approaches with a solid theoretical foundation to support this type of data. They have been widely used for learning from structured data. The goal of our work is twofold. First, we focused on the efficiency aspect, which is a key property of kernel methods. In this perspective we have targeted the string subsequence kernel (SSK), which is used successfully in several tasks of machine learning. The basic idea of our approach is to reduce the SSK computation problem to a geometric one. More precisely, we have used a layered range tree (LRT) and applied the corresponding computational geometry algorithms. In order to improve our approach, we extended the LRT data structure to a layered Range Sum Tree (LRST), a range-aggregation data structure. Moreover, we presented empirical evaluations of the extended approach, on both synthetic data and newswire article data. The results showed the efficiency of the proposed approach for large alphabets except for very short strings. The second objective of the thesis is to contribute in developing a unified theory of machine learning. In recent years, a significant effort has been devoted to sequence kernels focusing on individual problems, and so leading to a variety of approaches. In this context, we have proposed a general framework to deal with sequence kernel evaluation. In fact, the mapping of a string s to a high dimensional feature space can be modeled by a formal power series that can be realized by a weighted automaton (WA) As representing all subsequences of s. The computation of the all subsequence kernel K(s, t) between two strings s and t is the behavior of the WA As,t = As intesect At. For an efficient kernel evaluation, we proposed a forward lookup automata intersection technique. The results of the experiments revealed that the evaluation of the all-subsequence kernel using our proposed technique is faster than that using the standard intersection. Moreover, we are able to generalize our weighted automaton model to create a new sequence-set kernel that can be seen as a tree kernel.
L’apprentissage automatique fait appel à des méthodes intelligentes d’analyse de données qui consistent à extraire automatiquement de l’information significative à partir des collections de données massives. Cependant, les méthodes classiques de l’apprentissage automatique sont des méthodes linéaires. Elles sont souvent très bien adaptées à des documents plats. Dans la pratique, de nombreuses applications disposent de données qui peuvent être représentées naturellement sous une forme structurée (séquences, arbres, graphes, . . . ). Les méthodes à noyaux constituent des approches efficaces disposant d’un fondement théorique solide pour prendre en charge ce type de données. Elles ont été largement utilisées pour l’apprentissage automatique à partir des données structurées. L’objectif de notre travail est double. En premier lieu, nous nous sommes focalisés sur l’aspect efficacité, qui est une propriété clé des méthodes à noyaux. Dans cette perspective nous avons ciblé le noyau sous-séquences de mots (string subsequence kernel, SSK), qui est utilisé avec succès dans plusieurs tâches de l’apprentissage automatique. L’idée de base de notre approche consiste à réduire le calcul du noyau SSK à un problème géométrique. Plus précisément, nous avons fait appel à un arbre d’intervalles en couches (layered range tree, LRT) pour lequel nous avons appliqué les algorithmes de géométrie calculatoire correspondants. Dans une perspective d’améliorer notre approche, nous avons étendu la structure de données arbre d’intervalles en couches (LRT) à un arbre d’intervalles de somme en couches (layered Range Sum Tree, LRST) doté des opérations d’agrégation. De même, nous avons présenté des évaluations empiriques de l’approche étendue, à la fois sur des données synthétiques et des données réelles extraites des articles de presse. les résultats ont montré l’efficacité de notre approche pour des alphabets de grande taille, à l’exception des mots trop courts. Le second objectif de la thèse consiste à contribuer au développement d’une théorie d’unification des méthodes liées à l’apprentissage automatique. En fait, dans les dernières années, un effort important a été consacré aux noyaux de séquences en se concentrant sur des problèmes spécifiques conduisant, ainsi, à une variété d’approches. Dans ce contexte, nous avons proposé une plateforme générale qui s’occupe de l’évaluation des noyaux de séquences. En effet, la projection d’un mot s dans un espace de redescription de haute dimension peut être modélisée par une série formelle réalisée par un automate pondéré (weighted automaton,WA) As représentant toutes les sous-séquences de s. Le calcul du noyau toutes sous-séquences K(s, t) entre deux mots s et t est le comportement de l’automate pondéré As,t = As intersection At. Pour une évaluation efficace d’un tel noyau, nous avons proposé une nouvelle technique d’intersection d’automates (intersection par anticipation). les résultats des expérimentations ont révélé que l’évaluation du noyau toutes sous-séquences utilisant notre technique est plus rapide que celle utilisant l’intersection standard. De plus, nous avons pu généraliser notre modèle à base d’automates pondérés pour créer un nouveau noyau d’ensembles de séquences qui peut être vu comme un noyau d’arbre.
Fichier principal
Vignette du fichier
these_slimane_bellaouar_dr_science_info_2018.pdf (1.77 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

tel-01832502 , version 1 (07-07-2018)

Identifiants

  • HAL Id : tel-01832502 , version 1

Citer

Slimane Bellaouar. Noyaux de mots et d’arbres : efficacité et unification. Informatique [cs]. UNIVERSITÉ AMAR TELIDJI-LAGHOUAT, ALGÉRIE, 2018. Français. ⟨NNT : ⟩. ⟨tel-01832502⟩
167 Consultations
218 Téléchargements

Partager

Gmail Facebook X LinkedIn More