
handle: 10810/79152
[ES] La comunicación mediante lengua de signos es fundamental para personas con discapacidad auditiva, pero aún existen barreras significativas para la comunicación fluida entre hablantes de lenguas orales y personas signantes. Las tecnologías basadas en aprendizaje profundo ofrecen una oportunidad para reducir estas barreras, desarrollando sistemas de reconocimiento de lengua de signos que faciliten la traducción automática. Este proyecto se centra en el entrenamiento de un modelo de clasificación de secuencias utilizando redes neuronales, diseñado para reconocer signos a partir de características extraídas de fotogramas individuales de vídeos. A través de un enfoque basado en procesamiento de imágenes, se extraen características de cada fotograma en los vídeos, que posteriormente son procesadas por el modelo de clasificación para identificar el signo correspondiente. Para el desarrollo y evaluación del modelo se ha empleado el conjunto de datos WLASL, que contiene vídeos de lengua de signos americana (ASL) con más de dos mil variaciones de signos individuales. Aunque el proyecto se ha desarrollado como parte de un Trabajo de Fin de Grado y el modelo aún presenta un acierto relativamente bajo, los resultados reflejan los desafíos y limitaciones actuales de este enfoque, sugiriendo futuras mejoras en el procesamiento y aprendizaje de los modelos de reconocimiento de lengua de signos.
[EU] Zeinu-hizkuntzaren bidezko komunikazioa funtsezkoa da entzumen-desgaitasuna duten pertsonentzat, baina oraindik ere oztopo esanguratsuak daude ahozko hizkuntzetako hiztunen eta sinatzaileen arteko komunikazio arinerako. Ikaskuntza sakonean oinarritutako teknologiek aukera ematen dute oztopo horiek murrizteko, itzulpen automatikoa erraztuko duten zeinu-mintzaira ezagutzeko sistemak garatuz. Proiektu honen ardatza sare neuronalak erabiliz sekuentziak sailkatzeko eredu bat entrenatzea da, bideoen fotograma indibidualetatik ateratako ezaugarrietatik abiatuta zeinuak ezagutzeko diseinatua. Irudien prozesamenduan oinarritutako ikuspegi baten bidez, fotograma bakoitzaren ezaugarriak ateratzen dira bideoetan, eta, ondoren, sailkapen ereduak prozesatzen ditu, dagokion zeinua identifikatzeko. Eredua garatzeko eta ebaluatzeko, WLASL datu-multzoa erabili da. Datu-multzo horrek amerikar zeinu-hizkuntzako (ASL) bideoak ditu, eta bi mila zeinu-aldaketa indibidual baino gehiago. Proiektua Gradu Amaierako Lan baten barruan garatu da, eta ereduak oraindik ere nahiko ondo funtzionatzen ez duen arren, emaitzek ikuspegi horren gaur egungo erronkak eta mugak islatzen dituzte, eta etorkizunean zeinu-hizkuntza ezagutzeko ereduen prozesamenduan eta ikaskuntzan hobekuntzak egitea iradokitzen dute.
[EN] Communication through sign language is essential for people with hearing disabilities, but there are still significant barriers to fluent communication between oral language speakers and signers. Technologies based on deep learning offer an opportunity to reduce these barriers, developing sign language recognition systems that facilitate automatic translation. This project focuses on training a sequence classification model using neural networks, designed to recognize signs from features extracted from individual video frames. Through an approach based on image processing, features are extracted from each frame in the videos, which are subsequently processed by the classification model to identify the corresponding sign. For the development and evaluation of the model, the WLASL data set was used, which contains videos of American Sign Language (ASL) with more than two thousand variations of individual signs. Although the project has been developed as part of a Final Degree Project and the model still presents a relatively low accuracy, the results reflect the current challenges and limitations of this approach, suggesting future improvements in the processing and learning of recognition models. of sign language.
| selected citations These citations are derived from selected sources. This is an alternative to the "Influence" indicator, which also reflects the overall/total impact of an article in the research community at large, based on the underlying citation network (diachronically). | 0 | |
| popularity This indicator reflects the "current" impact/attention (the "hype") of an article in the research community at large, based on the underlying citation network. | Average | |
| influence This indicator reflects the overall/total impact of an article in the research community at large, based on the underlying citation network (diachronically). | Average | |
| impulse This indicator reflects the initial momentum of an article directly after its publication, based on the underlying citation network. | Average |
