La plupart des mots ASL (American Sign Language) disponibles partagent des caractéristiques similaires. Ces caractéristiques sont généralement au cours de la trajectoire du signe, ce qui donne des problèmes de similitude et entrave l'application omniprésente. Cependant, la reconnaissance de mots ASL similaires a confondu les algorithmes de traduction, ce qui a conduit à une classification erronée. Dans cet article, basé sur le vecteur pêcheur rapide (FFV) et la méthode de mémoire bidirectionnelle à long terme et à court terme (Bi-LSTM), une grande base de données d'algorithme de reconnaissance de mots de signe dynamique appelée vecteur pêcheur bidirectionnel à long terme et à mémoire rapide (FFV-Bi-LSTM) est conçue. Cet algorithme est conçu pour entraîner les informations squelettiques 3D de la main sur les caractéristiques de mouvement et d'angle d'orientation apprises à partir du contrôleur de mouvement LEAP (LMC). Chaque caractéristique en vrac dans l'image vidéo 3D est concaténée ensemble et représentée comme un vecteur de grande dimension à l'aide d'un codage FFV. Les résultats de l'évaluation démontrent que l'algorithme FFV-Bi-LSTM est approprié pour reconnaître avec précision les mots ASL dynamiques sur la base d'indices prosodiques et angulaires. En outre, les résultats de la comparaison démontrent que FFV-Bi-LSTM peut fournir une meilleure précision de reconnaissance de 98,6 % et 91,002 % pour le dictionnaire ASL sélectionné au hasard et 10 paires de mots ASL similaires, dans la validation croisée leave-one-subject-out sur l'ensemble de données construit. La performance de notre FFV-Bi-LSTM est en outre évaluée sur l'ensemble de données ASL, l'ensemble de données sur les gestes de la main dynamiques en mouvement sautant (LMDHG) et les gestes de la main sémaphoriques contenus dans l'ensemble de données du concours de récupération de forme (SHREC). Nous améliorons la précision des ensembles de données ASL, LMDHG et SHREC de 2 %, 2 % et 3,19 % respectivement.

La mayoría de las palabras disponibles del lenguaje de señas americano (ASL) comparten características similares. Estas características suelen ser durante la trayectoria del signo, lo que produce problemas de similitud y dificulta la aplicación ubicua. Sin embargo, el reconocimiento de palabras ASL similares confundió los algoritmos de traducción, lo que llevó a una clasificación errónea. En este documento, basado en el método de vector de pesca rápida (FFV) y memoria bidireccional a largo y corto plazo (Bi-LSTM), se diseña una gran base de datos de algoritmo de reconocimiento dinámico de palabras de señas llamada vector de pesca bidireccional a largo y corto plazo (FFV-Bi-LSTM). Este algoritmo está diseñado para entrenar la información 3D del esqueleto de la mano de las características de movimiento y ángulo de orientación aprendidas del controlador de movimiento de salto (LMC). Cada característica masiva en el fotograma de vídeo 3D se concatena y se representa como un vector de alta dimensión utilizando la codificación FFV. Los resultados de la evaluación demuestran que el algoritmo FFV-Bi-LSTM es adecuado para reconocer con precisión palabras ASL dinámicas sobre la base de señales prosódicas y angulares. Además, los resultados de la comparación demuestran que FFV-Bi-LSTM puede proporcionar una mejor precisión de reconocimiento de 98.6% y 91.002% para el diccionario ASL seleccionado aleatoriamente y 10 pares de palabras ASL similares, en la validación cruzada de dejar un sujeto en el conjunto de datos construido. El rendimiento de nuestro FFV-Bi-LSTM se evalúa adicionalmente en el conjunto de datos de ASL, el conjunto de datos de gestos dinámicos de manos de movimiento de salto (LMDHG) y los gestos de manos semafóricos contenidos en el conjunto de datos del Concurso de recuperación de formas (SHREC). Mejoramos la precisión del conjunto de datos ASL, LMDHG y SHREC en un 2%, 2% y 3,19%, respectivamente.

Most of the available American Sign Language (ASL) words share similar characteristics. These characteristics are usually during sign trajectory which yields similarity issues and hinders ubiquitous application. However, recognition of similar ASL words confused translation algorithms, which lead to misclassification. In this paper, based on fast fisher vector (FFV) and bi-directional Long-Short Term memory (Bi-LSTM) method, a large database of dynamic sign words recognition algorithm called bidirectional long-short term memory-fast fisher vector (FFV-Bi-LSTM) is designed. This algorithm is designed to train 3D hand skeletal information of motion and orientation angle features learned from the leap motion controller (LMC). Each bulk features in the 3D video frame is concatenated together and represented as an high-dimensional vector using FFV encoding. Evaluation results demonstrate that the FFV-Bi-LSTM algorithm is suitable for accurately recognizing dynamic ASL words on basis of prosodic and angle cues. Furthermore, comparison results demonstrate that FFV-Bi-LSTM can provide better recognition accuracy of 98.6% and 91.002% for randomly selected ASL dictionary and 10 pairs of similar ASL words, in leave-one-subject-out cross-validation on the constructed dataset. The performance of our FFV-Bi-LSTM is further evaluated on ASL data set, leap motion dynamic hand gestures data set (LMDHG), and Semaphoric hand gestures contained in the Shape Retrieval Contest (SHREC) dataset. We improve the accuracy of the ASL data set, LMDHG, and SHREC data sets by 2%, 2%, and 3.19% respectively.

تشترك معظم كلمات لغة الإشارة الأمريكية (ASL) المتاحة في خصائص مماثلة. عادة ما تكون هذه الخصائص أثناء مسار الإشارة الذي ينتج عنه مشكلات في التشابه ويعيق التطبيق في كل مكان. ومع ذلك، فإن التعرف على كلمات ASL مماثلة يخلط بين خوارزميات الترجمة، مما يؤدي إلى سوء التصنيف. في هذه الورقة، استنادًا إلى متجه FISHER السريع (FFV) وطريقة الذاكرة طويلة الأجل ثنائية الاتجاه (Bi - LSTM)، تم تصميم قاعدة بيانات كبيرة من خوارزمية التعرف على كلمات الإشارة الديناميكية تسمى متجه FISHER ثنائي الاتجاه طويل الأجل سريع الذاكرة (FFV - Bi - LSTM). تم تصميم هذه الخوارزمية لتدريب المعلومات الهيكلية ثلاثية الأبعاد لليد على ميزات زاوية الحركة والاتجاه التي تم تعلمها من جهاز التحكم في الحركة LEAP (LMC). يتم توصيل كل ميزات مجمعة في إطار الفيديو ثلاثي الأبعاد معًا ويتم تمثيلها كمتجه عالي الأبعاد باستخدام ترميز FFV. تُظهر نتائج التقييم أن خوارزمية FFV - Bi - LSTM مناسبة للتعرف بدقة على كلمات ASL الديناميكية على أساس الإشارات العرضية والزاوية. علاوة على ذلك، تظهر نتائج المقارنة أن FFV - Bi - LTM يمكن أن يوفر دقة أفضل للتعرف بنسبة 98.6 ٪ و 91.002 ٪ لقاموس ASL المختار عشوائيًا و 10 أزواج من كلمات ASL المماثلة، في التحقق المتبادل من ترك موضوع واحد على مجموعة البيانات التي تم إنشاؤها. يتم تقييم أداء FFV - Bi - LSTM الخاص بنا بشكل أكبر على مجموعة بيانات ASL، ومجموعة بيانات إيماءات اليد الديناميكية LEAP MOTION (LMDHG)، وإيماءات اليد Semaphoric الواردة في مجموعة بيانات مسابقة استرجاع الشكل (SHREC). نقوم بتحسين دقة مجموعة بيانات ASL و LMDHG و SHREC بنسبة 2 ٪ و 2 ٪ و 3.19 ٪ على التوالي.