
Le fractionnement défini par le contenu est une méthode courante dans de nombreuses applications telles que la déduplication et la synchronisation des données. Ces dernières années, de nouveaux algorithmes CDC utilisant des méthodes sans hachage ont été développés et des résultats positifs ont été obtenus. Cependant, la plupart des algorithmes sont développés pour le calcul mono-thread sur microprocesseurs. Après avoir analysé certains algorithmes CDC populaires, nous avons observé que les algorithmes utilisant le protocole de fenêtre glissante de base sont plus faciles à traiter en parallèle. Dans ce travail, nous avons proposé une nouvelle méthode de segmentation parallèle qui vise la mise en œuvre matérielle. De plus, nous avons utilisé l'algorithme PCI, qui n'inclut pas de fonctions de hachage, pour implémenter un système de segmentation multi-thread sur les périphériques FPGA. En exploitant la force des FPGA, notre conception proposée atteint non seulement une vitesse de calcul élevée, mais également une grande évolutivité.
La fragmentación definida por contenido es un método común en muchas aplicaciones, como la deduplicación de datos y la sincronización de datos. En los últimos años, se han desarrollado nuevos algoritmos CDC que utilizan métodos sin hash y se han obtenido resultados positivos. Sin embargo, la mayoría de los algoritmos se desarrollan para el cálculo de un solo hilo en microprocesadores. Después de analizar algunos algoritmos populares de CDC, observamos que los algoritmos que utilizan el protocolo básico de ventana deslizante son más factibles de procesar en paralelo. En este trabajo, propusimos un nuevo método de fragmentación en paralelo que apunta a la implementación de hardware. Además, utilizamos el algoritmo PCI, que no incluye funciones hash, para implementar un sistema de fragmentación de subprocesos múltiples en dispositivos FPGA. Al explotar la fuerza de los FPGA, nuestro diseño propuesto logra no solo una alta velocidad computacional sino también una gran escalabilidad.
Content-defined chunking is a common method in many applications such as data deduplication and data synchronization. In recent years, new CDC algorithms using non-hashing methods have been developed, and positive results have been obtained. However, most of the algorithms are developed for single-thread computation on microprocessors. After analyzing some popular CDC algorithms, we observed that the algorithms using the basic sliding window protocol are more feasible to process in parallel. In this work, we proposed a new parallel chunking method that aims for hardware implementation. Additionally, we used the PCI algorithm, which does not include hash functions, to implement a multi-thread chunking system on FPGA devices. By exploiting the strength of the FPGAs, our proposed design achieves not only high computational speed but also great scalability.
يعد التقسيم المحدد للمحتوى طريقة شائعة في العديد من التطبيقات مثل إلغاء تكرار البيانات ومزامنة البيانات. في السنوات الأخيرة، تم تطوير خوارزميات جديدة لمراكز السيطرة على الأمراض والوقاية منها باستخدام طرق عدم التجفيف، وتم الحصول على نتائج إيجابية. ومع ذلك، يتم تطوير معظم الخوارزميات لحساب سلسلة واحدة على المعالجات الدقيقة. بعد تحليل بعض خوارزميات CDC الشائعة، لاحظنا أن الخوارزميات التي تستخدم بروتوكول النافذة المنزلقة الأساسي أكثر جدوى للمعالجة بالتوازي. في هذا العمل، اقترحنا طريقة تقطيع متوازية جديدة تهدف إلى تنفيذ الأجهزة. بالإضافة إلى ذلك، استخدمنا خوارزمية PCI، التي لا تتضمن وظائف التجزئة، لتنفيذ نظام تقطيع متعدد الخيوط على أجهزة FPGA. من خلال استغلال قوة FPGAs، لا يحقق تصميمنا المقترح سرعة حسابية عالية فحسب، بل أيضًا قابلية كبيرة للتوسع.
Parallel computing, Artificial intelligence, Edge Caching, Scalable Peer-to-Peer Network Architectures, non-hashing method, Computer Networks and Communications, Sliding window protocol, Caching, content-defined chunking, Speedup, Parallel Computing, Content Distribution, Data deduplication, Computer security, PCI algorithm, Distributed Storage, FPGA, Content-Centric Networking for Information Delivery, Window (computing), Scalability, Computer hardware, Computer science, TK1-9971, Field-programmable gate array, Algorithm, Operating system, hardware design, Distributed Storage Systems and Network Coding, Computer Science, Physical Sciences, Hash function, Computation, Electrical engineering. Electronics. Nuclear engineering, Chunking (psychology)
Parallel computing, Artificial intelligence, Edge Caching, Scalable Peer-to-Peer Network Architectures, non-hashing method, Computer Networks and Communications, Sliding window protocol, Caching, content-defined chunking, Speedup, Parallel Computing, Content Distribution, Data deduplication, Computer security, PCI algorithm, Distributed Storage, FPGA, Content-Centric Networking for Information Delivery, Window (computing), Scalability, Computer hardware, Computer science, TK1-9971, Field-programmable gate array, Algorithm, Operating system, hardware design, Distributed Storage Systems and Network Coding, Computer Science, Physical Sciences, Hash function, Computation, Electrical engineering. Electronics. Nuclear engineering, Chunking (psychology)
| selected citations These citations are derived from selected sources. This is an alternative to the "Influence" indicator, which also reflects the overall/total impact of an article in the research community at large, based on the underlying citation network (diachronically). | 1 | |
| popularity This indicator reflects the "current" impact/attention (the "hype") of an article in the research community at large, based on the underlying citation network. | Average | |
| influence This indicator reflects the overall/total impact of an article in the research community at large, based on the underlying citation network (diachronically). | Average | |
| impulse This indicator reflects the initial momentum of an article directly after its publication, based on the underlying citation network. | Average |
