La reconnaissance des émotions est une stratégie pour les robots sociaux utilisée pour mettre en œuvre une meilleure interaction homme-robot et modéliser leur comportement social. Étant donné que les émotions humaines peuvent être exprimées de différentes manières (par exemple, visage, geste, voix), les approches multimodales sont utiles pour soutenir le processus de reconnaissance. Cependant, bien qu'il existe des études traitant de la reconnaissance multimodale des émotions pour les robots sociaux, elles présentent toujours des limites dans le processus de fusion, diminuant leurs performances si une ou plusieurs modalités ne sont pas présentes ou si les modalités ont des qualités différentes. C'est une situation courante en robotique sociale, en raison de la grande variété des capacités sensorielles des robots ; par conséquent, des modèles multimodaux plus flexibles sont nécessaires. Dans ce contexte, nous proposons une architecture de reconnaissance des émotions adaptative et flexible capable de travailler avec de multiples sources et modalités d'information et de gérer différents niveaux de qualité des données et des données manquantes, pour amener les robots à mieux comprendre l'humeur des personnes dans un environnement donné et à adapter en conséquence leur comportement. Chaque modalité est analysée indépendamment pour ensuite agréger les résultats partiels avec une méthode de fusion proposée antérieurement, appelée EmbraceNet+, qui est adaptée et intégrée à notre cadre proposé. Nous présentons également un examen approfondi des études de pointe traitant des méthodes de fusion pour les approches multimodales de reconnaissance des émotions. Nous évaluons la performance de notre architecture proposée en effectuant différents tests dans lesquels plusieurs modalités sont combinées pour classer les émotions en utilisant quatre catégories (c.-à-d. bonheur, neutre, tristesse et colère). Les résultats révèlent que notre approche est capable de s'adapter à la qualité et à la présence des modalités. En outre, les résultats obtenus sont validés et comparés à d'autres propositions similaires, ce qui permet d'obtenir des performances compétitives avec des modèles à la pointe de la technologie.

El reconocimiento de emociones es una estrategia para robots sociales utilizada para implementar una mejor interacción humano-robot y modelar su comportamiento social. Dado que las emociones humanas se pueden expresar de diferentes maneras (por ejemplo, cara, gesto, voz), los enfoques multimodales son útiles para apoyar el proceso de reconocimiento. Sin embargo, aunque existen estudios que tratan sobre el reconocimiento de emociones multimodales para robots sociales, aún presentan limitaciones en el proceso de fusión, disminuyendo su rendimiento si no están presentes una o más modalidades o si las modalidades tienen diferentes cualidades. Esta es una situación común en la robótica social, debido a la alta variedad de las capacidades sensoriales de los robots; por lo tanto, se necesitan modelos multimodales más flexibles. En este contexto, proponemos una arquitectura de reconocimiento de emociones adaptable y flexible capaz de trabajar con múltiples fuentes y modalidades de información y gestionar diferentes niveles de calidad de datos y datos faltantes, para llevar a los robots a comprender mejor el estado de ánimo de las personas en un entorno determinado y, en consecuencia, adaptar su comportamiento. Cada modalidad se analiza de forma independiente para luego agregar los resultados parciales con un método de fusión propuesto previamente, llamadoEmbraceNet +, que se adapta e integra a nuestro marco propuesto. También presentamos una extensa revisión de estudios de vanguardia que tratan sobre métodos de fusión para enfoques de reconocimiento de emociones multimodales. Evaluamos el rendimiento de nuestra arquitectura propuesta mediante la realización de diferentes pruebas en las que se combinan varias modalidades para clasificar las emociones utilizando cuatro categorías (es decir, felicidad, neutral, tristeza e ira). Los resultados revelan que nuestro enfoque es capaz de adaptarse a la calidad y presencia de las modalidades. Además, los resultados obtenidos se validan y comparan con otras propuestas similares, obteniendo un rendimiento competitivo con modelos de última generación.

Emotion recognition is a strategy for social robots used to implement better Human-Robot Interaction and model their social behaviour. Since human emotions can be expressed in different ways (e.g., face, gesture, voice), multimodal approaches are useful to support the recognition process. However, although there exist studies dealing with multimodal emotion recognition for social robots, they still present limitations in the fusion process, dropping their performance if one or more modalities are not present or if modalities have different qualities. This is a common situation in social robotics, due to the high variety of the sensory capacities of robots; hence, more flexible multimodal models are needed. In this context, we propose an adaptive and flexible emotion recognition architecture able to work with multiple sources and modalities of information and manage different levels of data quality and missing data, to lead robots to better understand the mood of people in a given environment and accordingly adapt their behaviour. Each modality is analyzed independently to then aggregate the partial results with a previous proposed fusion method, called EmbraceNet+, which is adapted and integrated to our proposed framework. We also present an extensive review of state-of-the-art studies dealing with fusion methods for multimodal emotion recognition approaches. We evaluate the performance of our proposed architecture by performing different tests in which several modalities are combined to classify emotions using four categories (i.e., happiness, neutral, sadness, and anger). Results reveal that our approach is able to adapt to the quality and presence of modalities. Furthermore, results obtained are validated and compared with other similar proposals, obtaining competitive performance with state-of-the-art models.

التعرف على المشاعر هو استراتيجية للروبوتات الاجتماعية تستخدم لتنفيذ تفاعل أفضل بين الإنسان والروبوت ونمذجة سلوكهم الاجتماعي. نظرًا لأنه يمكن التعبير عن المشاعر البشرية بطرق مختلفة (على سبيل المثال، الوجه والإيماءة والصوت)، فإن الأساليب متعددة الوسائط مفيدة لدعم عملية التعرف. ومع ذلك، على الرغم من وجود دراسات تتناول التعرف على المشاعر متعددة الوسائط للروبوتات الاجتماعية، إلا أنها لا تزال تفرض قيودًا في عملية الاندماج، مما يؤدي إلى انخفاض أدائها إذا لم تكن هناك طريقة واحدة أو أكثر أو إذا كانت للطرائق صفات مختلفة. هذا وضع شائع في الروبوتات الاجتماعية، بسبب التنوع الكبير في القدرات الحسية للروبوتات ؛ وبالتالي، هناك حاجة إلى نماذج متعددة الوسائط أكثر مرونة. في هذا السياق، نقترح بنية للتعرف على المشاعر تكيفية ومرنة قادرة على العمل مع مصادر وطرائق متعددة للمعلومات وإدارة مستويات مختلفة من جودة البيانات والبيانات المفقودة، لقيادة الروبوتات لفهم مزاج الأشخاص في بيئة معينة بشكل أفضل وتكييف سلوكهم وفقًا لذلك. يتم تحليل كل طريقة بشكل مستقل لتجميع النتائج الجزئية باستخدام طريقة دمج مقترحة سابقة، تسمى EmbraceNet+، والتي يتم تكييفها وتكاملها مع إطارنا المقترح. نقدم أيضًا مراجعة شاملة لأحدث الدراسات التي تتناول طرق الاندماج لمناهج التعرف على المشاعر متعددة الوسائط. نقوم بتقييم أداء بنيتنا المقترحة من خلال إجراء اختبارات مختلفة يتم فيها الجمع بين عدة طرق لتصنيف العواطف باستخدام أربع فئات (أي السعادة والحياد والحزن والغضب). تكشف النتائج أن نهجنا قادر على التكيف مع جودة الطرائق ووجودها. علاوة على ذلك، يتم التحقق من صحة النتائج التي تم الحصول عليها ومقارنتها بمقترحات أخرى مماثلة، والحصول على أداء تنافسي مع أحدث النماذج.