As expressões faciais são há muito reconhecidas como uma componente crucial na comunicação não-verbal, tornando-as um aspeto fundamental para a expressar emoções humanas. Dada a eficácia de expressões na comunicação de emoções, algumas pessoas podem tentar controlar as suas expressões faciais de forma a ocultar ou disfarçar os seus sentimentos genuínos. No entanto, é importante referir que emoções genuínas são difíceis de ocultar de forma perfeita, pois existem movimentos subtis que o ser humano não consegue controlar, que revelam as verdadeiras emoções. Isto enfatiza a importância da deteção desses movimentos faciais para revelar as verdadeiras emoções. O objetivo desta dissertação passa por explorar movimentos musculares faciais subtis usando pontos de referência faciais para descrever micro-expressões. Estas micro-expressões são combinações de movimentos individuais dos músculos com curta duração. Para alcançar este objetivo foi realizada uma exploração abrangente de soluções estado-da-arte para a deteção de pontos faciais, e foram feitas comparações de forma a identificar a opção mais adequada para a deteção de micro-expressões. Com um detetor de pontos de referência eficaz em funcionamento e através da seleção cuidadosa de pontos de referência faciais, extraímos atributos das expressões usando métodos geométricos. Essa informação permitiu identificar padrões e associá-los a emoções humanas específicas, como felicidade, tristeza, raiva, surpresa, medo e repugnância. Como resultado, desenvolvemos uma prova de conceito funcional de processamento de vídeo para deteção de micro-expressões. Este sistema integra a extração de unidades de ação facial (UAF) a partir de vídeos e um módulo de classificação de emoções utilizando modelos de classificação (por exemplo, SVM e random forest) para identificar emoções. Os resultados indicam que o trabalho futuro deve ser focado em melhorar a classificação de certas emoções, como felicidade, repressão e repugnância.

Facial expressions have long been recognized as a crucial element of non-verbal communication, making them a fundamental aspect to express human emotions. Given their effectiveness at conveying emotions, some individuals may attempt to conceal or mask their genuine feelings by controlling their facial expressions. Nonetheless, it is important to note that genuine emotions cannot be concealed seamlessly, they consistently manifest through subtle muscle movements. This emphasizes the importance of spotting these facial cues to unveil authentic emotions. This dissertation aims to explore subtle facial muscle movements using facial landmarks to describe micro-expressions These micro-expressions are brief combinations of individual muscle movements. To accomplish this, we conducted a comprehensive exploration and comparison of state-of-the-art solutions for landmark detection to identify the most suitable option for micro-expression detection. With an effective landmark detector in place and careful selection of facial landmarks, we extracted features from facial expressions using geometric methods. These extracted features allowed us to discern patterns associated with specific human emotions such as happiness, sadness, anger, surprise, fear, and disgust. As a result, we developed a fully functional proofof-concept processing pipeline for micro-expression spotting. This pipeline integrates facial action unit (FAU) extraction from video and emotions classification module. The classification module explored standard machine learning models (e.g. SVM and random forest) to identify emotions from FAU. The results indicate that future work is needed to enhance emotion classification, especially for happiness, repression, and disgust expressions.

Mestrado em Engenharia Informática