Actualmente las interacciones que ocurren entre las personas no solo se producen físicamente, es decir cara a cara, sino también a través de nuevas formas de comunicación, en especial de las redes sociales en internet. Estas interacciones sociales digitales, al igual que ocurre con las no digitales, se llevan a cabo por distintos medios paralelos de comunicación expresando información complementaria que en conjunto completan un mensaje. La importancia de obtener toda la información posible del mensaje, se traduce posteriormente en un mayor conocimiento del tema que se trata en el mismo y del contexto, por lo que es importante tender hacia soluciones multimodales. Actualmente la mayoría de aplicaciones están basadas en texto, dejando sin explotar otros medios de comunicación que los usuarios emiten voluntaria o involuntariamente y perdiendo de esta manera, valiosa información. En este trabajo, se indaga en una solución para introducir el uso de imágenes dentro de aplicaciones multimodales, permitiendo hacer uso de ellas junto al texto como fuente de conocimiento del usuario. Para ello se van a usar los colores de las imágenes como elemento determinista que permita la clasificación y la inferencia de categorías de una taxonomía. Como temática de clasificación se eligió los eventos sociales, realizando además una clasificación útil para los eventos sociales que se encuentran en internet. Para validar la investigación realizada y probar su utilidad en una situación real, se realiza una prueba de concepto mediante un robot “bot” de Telegram que permite automatizar la respuesta a eventos en las conversaciones establecidas, almacenando además la información para enriquecer su funcionamiento. En ella se aúnan como solución multimodal el análisis predictivo de colores y de texto para la clasificación de eventos sociales. Con estas técnicas se consigue tanto clasificar la información masiva de internet referente a eventos sociales, como la extracción de perfiles de usuario que determinen sus gustos dentro del ámbito de los eventos sociales. Finalmente, el objetivo de la prueba de concepto se orientó hacia la recomendación de eventos a partir de la inferencia de gustos de usuarios. Los resultados obtenidos demuestran con buenos porcentajes de acierto en las predicciones, que es posible la clasificación de eventos sociales usando colores de imágenes y texto, así como el hecho de poder establecer perfiles de gustos de usuarios a partir de sus interacciones, en una aplicación con soporte de mensajería social, usando estos mismos principios.

Currently the interactions that occur among people face to face not only physically produced, that is, but also through new forms of communication, especially social networking sites. These digital social interactions, as occurs with non-digital, are held by different parallel media expressing additional information together complete a message. The importance of obtaining all possible information message is subsequently translated into a greater knowledge of the subject is the same and the context, so it is important to move towards multi-modal solutions. Today, most applications are based on text, leaving untapped other media that users emit voluntarily or involuntarily and thus losing valuable information. In this paper, it is investigated in a solution to introduce the use of images within multimodal applications, allowing to use them next to the text as a source of knowledge of the user. For this will use the colors of images as deterministic element that allows the classification and the inference of categories of a taxonomy. Classification as a theme was chosen social events, in addition to performing a useful social events that are in classification internet. To validate the investigation and prove useful in a real situation, a concept test is performed by a robot "bot" Telegram to automate the response to events in the established conversations also storing information to enhance their performance. It multimodal solution will combine as predictive analytics and text colors for the classification of social events. With these techniques is achieved both classify the massive internet information concerning social events, such as removing user profiles to determine their tastes within the scope of social events. Finally, the objective of the proof of concept was oriented towards events recommendation from the inference tastes of users. The results show with good percentages of success in predictions, it is possible to classify social events using color images and text, as well as being able to establish profiles tastes of users from their interactions, in an application support social messaging, using the same principles.

Máster Universitario en Ingeniería Informática y Máster Universitario en Investigación e Innovación en Inteligencia Computacional y Sistemas Interactivos