Probabilistic analysis for caching
Analyse probabiliste pour le caching
Résumé
Caches are small memories that speed up data retrieval. Caching policies may aim to choose cache content to minimize latency in responding to item requests. A more general problem permits an item's request to be approximately answered by a similar cached item. This concept, referred to as "similarity caching," proves valuable for content-based image retrieval and recommendation systems. The objective is to further minimize latency while delivering satisfactory answers.Theoretical understanding of cache memory management algorithms under specific assumptions on the requests provides guidelines for choosing a suitable algorithm. The Least-Frequently-Used (LFU) and the Least-Recently-Used (LRU) are popular caching eviction policies. LFU is efficient when the requests process is stationary, while LRU adapts to changes in the patterns of the requests. Online learning algorithms, such as the randomized Follow-the-Perturbed Leader (FPL) algorithm, applied for caching, enjoy worst-case guarantees. Both LFU and FPL rely on items' request count. However, counting is challenging in memory-constrained scenarios. To overcome this problem, caching policies operate with approximate counting schemes, such as the Count-Min Sketch with Conservative Updates (CMS-CU), to balance counts' accuracy and memory usage. In the similarity caching setting, RND-LRU is a modified LRU where a request is probabilistically answered by the most similar cached item. Unfortunately, a theoretical analysis of an LFU cache utilizing CMS-CU, an FPL cache with an approximate counting algorithm, and RND-LRU remains difficult.This thesis investigates three randomized algorithms: CMS-CU, FPL with noisy items' request counts estimations (NFPL), and RND-LRU. For CMS-CU, we propose a novel approach to derive new upper bounds on the expected value and the complementary cumulative distribution function of the estimation error under a renewal request process. Additionally, we prove that NFPL behaves as well as the optimal omniscient static caching policy for any request sequence under specific conditions on the noisy counts. Finally, we introduce a new analytically tractable similarity caching policy and show that it can approximate RND-LRU.
Les caches sont de petites mémoires qui accélèrent la récupération des données. L'un des objectifs des politiques de mise en cache est de sélectionner le contenu du cache afin de minimiser le temps de réponse aux requêtes d'objets. Un problème plus général permet de répondre approximativement à la requête d'un objet par un objet similaire mis en cache. Ce concept, appelé "mise en cache par similarité", s'avère utile pour les systèmes de recommandation. L'objectif est de minimiser le temps de latence tout en fournissant des réponses satisfaisantes. La compréhension théorique des algorithmes de gestion de la mémoire cache, sous des hypothèses spécifiques sur les requêtes, aide à choisir un algorithme approprié. Les politiques d'éviction du cache les plus répandues sont celles de l'utilisation la moins fréquente (LFU) et de l'utilisation la moins récente (LRU). LFU est efficace lorsque le processus requêtes est stationnaire, et LRU s'adapte aux changements dans les processus de requêtes. Les algorithmes d'apprentissage séquentiel, tels que l'algorithme aléatoire Follow-the-Perturbed Leader (FPL), appliqués à la mise en cache, bénéficient de garanties théoriques même dans le pire des cas.LFU et FPL s'appuient sur le nombre de requêtes d'objets. Cependant, le comptage est un défi dans les scénarios à mémoire limitée. Pour y remédier, les politiques de mise en cache utilisent des schémas de comptage approximatifs, tels que la structure de données Count-Min Sketch avec mises à jour conservatrices (CMS-CU), afin d'équilibrer la précision des comptages et l'utilisation de la mémoire. Dans le cadre de la mise en cache par similarité, RND-LRU est une stratégie LRU modifiée. Malheureusement, il reste difficile de quantifier théoriquement à la fois la performance d'un cache LFU utilisant CMS-CU, celle d'un cache FPL avec un algorithme de comptage approximatif, ainsi que celle de RND-LRU.Cette thèse explore trois algorithmes probabilistes : CMS-CU, FPL avec des estimations bruitées des nombres de requêtes d'objets (NFPL) et RND-LRU. Pour CMS-CU, nous proposons une approche novatrice pour trouver de nouvelles bornes supérieures sur l'espérance et le complémentaire de la fonction de répartition de l'erreur d'estimation sous un processus de requêtes i.i.d. De plus, nous démontrons que NFPL se comporte aussi bien que la politique de mise en cache statique, optimale et omnisciente, quelle que soit la séquence de requêtes (sous certaines conditions sur les comptages bruités). Enfin, nous introduisons une nouvelle politique de mise en cache qui est analytiquement résoluble. Nous montrons alors que cette politique approxime RND-LRU.
| Origine | Version validée par le jury (STAR) |
|---|