Les technologies de l'Internet des objets (IdO) telles que l'interconnexion et l'informatique de pointe aident la reconnaissance des émotions à être appliquée dans les soins de santé, l'éducation intelligente, etc. Cependant, les processus d'acquisition et de transmission peuvent avoir certaines situations, telles que des signaux perdus et un bruit d'interférence grave causé par le mouvement, qui affectent la qualité des données reçues et limitent les performances de la détection des émotions IoT. Nous les appelons collectivement des données invalides. Un système en profondeur à plusieurs étapes (MSD) est proposé pour détecter de manière fiable les émotions multimodales par les enregistrements collectés contenant des données invalides. La compatibilité sémantique et la continuité sont utilisées pour filtrer les données invalides. La caractéristique des données modales invalides est remplacée par la méthode d'imputation pour compenser l'impact des données invalides sur la détection des émotions. De cette manière, le système proposé peut traiter automatiquement les données invalides et améliorer les performances de reconnaissance. En outre, compte tenu des informations spatio-temporelles, les caractéristiques des signaux vidéo et physiologiques sont extraites par des réseaux neuronaux profonds spécifiques dans le système MSD. Les expériences de simulation sont menées sur une base de données publique multimodale, et la performance du système MSD mesurée par le rappel moyen non pondéré est meilleure que celle du système traditionnel. Les résultats prometteurs observés dans les expériences vérifient l'influence potentielle du système proposé dans les applications pratiques de l'IdO.

Las tecnologías de Internet de las cosas (IoT), como la interconexión y la informática de vanguardia, ayudan a que el reconocimiento de emociones se aplique en la atención médica, la educación inteligente, etc. Sin embargo, los procesos de adquisición y transmisión pueden tener algunas situaciones, como la pérdida de señales y el ruido de interferencia grave causado por el movimiento, que afectan la calidad de los datos recibidos y limitan el rendimiento de la detección de emociones de IoT. En conjunto, nos referimos a estos como datos no válidos. Se propone un sistema profundo de múltiples pasos (MSD) para detectar de manera confiable la emoción multimodal mediante los registros recopilados que contienen datos no válidos. La compatibilidad semántica y la continuidad se utilizan para filtrar los datos no válidos. La función de datos modales no válidos se reemplaza a través del método de imputación para compensar el impacto de los datos no válidos en la detección de emociones. De esta manera, el sistema propuesto puede procesar automáticamente datos no válidos y mejorar el rendimiento del reconocimiento. Además, considerando la información espaciotemporal, las características de las señales de video y fisiológicas son extraídas por redes neuronales profundas específicas en el sistema MSD. Los experimentos de simulación se realizan en una base de datos multimodal pública, y el rendimiento del sistema MSD medido por el retiro promedio no ponderado es mejor que el del sistema tradicional. Los resultados prometedores observados en los experimentos verifican la influencia potencial del sistema propuesto en aplicaciones prácticas de IoT.

The Internet of Things (IoT) technologies such as interconnection and edge computing help emotion recognition to be applied in healthcare, smart education, etc. However, the acquisition and transmission processes may have some situations, such as lost signals and serious interference noise caused by motion, which affect the quality of the received data and limit the performance of IoT emotion detection. We collectively refer to these as invalid data. A multi-step deep (MSD) system is proposed to reliably detect multimodal emotion by the collected records containing invalid data. Semantic compatibility and continuity are utilized to filter out the invalid data. The feature from invalid modal data is replaced through the imputation method to compensate for the impact of invalid data on emotion detection. In this way, the proposed system can automatically process invalid data and improve the recognition performance. Furthermore, considering the spatiotemporal information, the features of video and physiological signals are extracted by specific deep neural networks in the MSD system. The simulation experiments are conducted on a public multimodal database, and the performance of the MSD system measured by the unweighted average recall is better than that of the traditional system. The promising results observed in the experiments verify the potential influence of the proposed system in practical IoT applications.

تساعد تقنيات إنترنت الأشياء (IoT) مثل الربط البيني والحوسبة الطرفية على التعرف على المشاعر ليتم تطبيقها في الرعاية الصحية والتعليم الذكي وما إلى ذلك. ومع ذلك، قد يكون لعمليات الاستحواذ والنقل بعض المواقف، مثل الإشارات المفقودة وضوضاء التداخل الخطيرة الناجمة عن الحركة، والتي تؤثر على جودة البيانات المستلمة وتحد من أداء الكشف عن مشاعر إنترنت الأشياء. نشير بشكل جماعي إلى هذه البيانات على أنها بيانات غير صالحة. يُقترح نظام عميق متعدد الخطوات (MSD) للكشف بشكل موثوق عن المشاعر متعددة الوسائط من خلال السجلات التي تم جمعها والتي تحتوي على بيانات غير صالحة. يتم استخدام التوافق الدلالي والاستمرارية لتصفية البيانات غير الصالحة. يتم استبدال الميزة من البيانات الشكلية غير الصالحة من خلال طريقة الإسناد للتعويض عن تأثير البيانات غير الصالحة على اكتشاف العاطفة. وبهذه الطريقة، يمكن للنظام المقترح معالجة البيانات غير الصالحة تلقائيًا وتحسين أداء التعرف. علاوة على ذلك، بالنظر إلى المعلومات الزمانية المكانية، يتم استخراج ميزات الفيديو والإشارات الفسيولوجية بواسطة شبكات عصبية عميقة محددة في نظام الاضطراب العضلي الهيكلي. يتم إجراء تجارب المحاكاة على قاعدة بيانات عامة متعددة الوسائط، وأداء نظام الاضطراب العضلي الهيكلي المقاس بالمتوسط غير المرجح للاستدعاء أفضل من أداء النظام التقليدي. تتحقق النتائج الواعدة التي لوحظت في التجارب من التأثير المحتمل للنظام المقترح في تطبيقات إنترنت الأشياء العملية.