Les modèles de sous-titrage visuel supervisé nécessitent généralement une grande échelle d'images ou de vidéos associées à des descriptions dans une langue spécifique (c'est-à-dire les paires vision-titrage) pour la formation. Cependant, la collecte et l'étiquetage d'ensembles de données à grande échelle prennent du temps et sont coûteux pour de nombreux scénarios et langues. Par conséquent, un nombre suffisant de paires étiquetées n'est généralement pas disponible. Pour faire face au problème de pénurie d'étiquettes, nous présentons une approche MultiCapCLIP simple mais efficace qui peut générer des légendes visuelles pour différents scénarios et langues sans paires de données en aval étiquetées vision-caption. Dans la phase de formation, MultiCapCLIP nécessite uniquement des données textuelles pour la saisie. Ensuite, il effectue deux étapes principales : 1) la récupération des invites de concept qui préservent la connaissance du domaine correspondant aux nouveaux scénarios ; 2) l'auto-encodage des invites pour apprendre les styles d'écriture afin de produire des légendes dans une langue souhaitée. À l'étape de test, MultiCapCLIP prend plutôt les données visuelles en entrée directement pour récupérer les invites de concept afin de générer les descriptions visuelles finales. Les nombreuses expériences sur le sous-titrage d'images et de vidéos dans quatre repères et quatre langues (anglais, chinois, allemand et français) confirment l'efficacité de notre approche. Par rapport aux méthodes zero-shot et faiblement supervisées à la pointe de la technologie, notre méthode permet d'obtenir des améliorations absolues de 4,8 % et 21,5 % en termes de métriques BLEU@4 et CIDEr. Notre code est disponible sur https://github.com/yangbang18/MultiCapCLIP.

Los modelos de subtítulos visuales supervisados generalmente requieren una gran cantidad de imágenes o videos combinados con descripciones en un idioma específico (es decir, los pares de subtítulos visuales) para la capacitación. Sin embargo, recopilar y etiquetar conjuntos de datos a gran escala lleva mucho tiempo y es costoso para muchos escenarios e idiomas. Por lo tanto, generalmente no hay suficientes pares etiquetados disponibles. Para hacer frente al problema de la escasez de etiquetas, presentamos un enfoque simple pero efectivo de disparo cero MultiCapCLIP que puede generar subtítulos visuales para diferentes escenarios e idiomas sin ningún par de subtítulos de visión etiquetados de conjuntos de datos posteriores. En la etapa de capacitación, MultiCapCLIP solo requiere datos de texto para la entrada. Luego lleva a cabo dos pasos principales: 1) recuperar indicaciones conceptuales que conserven el conocimiento del dominio correspondiente de nuevos escenarios; 2) codificar automáticamente las indicaciones para aprender estilos de escritura para generar subtítulos en el idioma deseado. En la etapa de prueba, MultiCapCLIP toma datos visuales como entrada directamente para recuperar las indicaciones conceptuales para generar las descripciones visuales finales. Los extensos experimentos sobre subtítulos de imágenes y videos en cuatro puntos de referencia y cuatro idiomas (es decir, inglés, chino, alemán y francés) confirman la efectividad de nuestro enfoque. En comparación con los métodos de última generación de disparo cero y débilmente supervisados, nuestro método logra mejoras absolutas de 4.8% y 21.5% en términos de métricas BLEU@4 y CIDEr. Nuestro código está disponible en https://github.com/yangbang18/MultiCapCLIP.

Supervised visual captioning models typically require a large scale of images or videos paired with descriptions in a specific language (i.e., the vision-caption pairs) for training. However, collecting and labeling large-scale datasets is time-consuming and expensive for many scenarios and languages. Therefore, sufficient labeled pairs are usually not available. To deal with the label shortage problem, we present a simple yet effective zero-shot approach MultiCapCLIP that can generate visual captions for different scenarios and languages without any labeled vision-caption pairs of downstream datasets. In the training stage, MultiCapCLIP only requires text data for input. Then it conducts two main steps: 1) retrieving concept prompts that preserve the corresponding domain knowledge of new scenarios; 2) auto-encoding the prompts to learn writing styles to output captions in a desired language. In the testing stage, MultiCapCLIP instead takes visual data as input directly to retrieve the concept prompts to generate the final visual descriptions. The extensive experiments on image and video captioning across four benchmarks and four languages (i.e., English, Chinese, German, and French) confirm the effectiveness of our approach. Compared with state-of-the-art zero-shot and weakly-supervised methods, our method achieves 4.8% and 21.5% absolute improvements in terms of BLEU@4 and CIDEr metrics. Our code is available at https://github.com/yangbang18/MultiCapCLIP.

تتطلب نماذج التسمية التوضيحية المرئية الخاضعة للإشراف عادةً نطاقًا كبيرًا من الصور أو مقاطع الفيديو المقترنة بأوصاف بلغة معينة (أي أزواج التسمية التوضيحية للرؤية) للتدريب. ومع ذلك، فإن جمع مجموعات البيانات واسعة النطاق وتصنيفها يستغرق وقتًا طويلاً ومكلفًا للعديد من السيناريوهات واللغات. لذلك، عادة ما تكون الأزواج المسماة غير متوفرة. للتعامل مع مشكلة نقص الملصقات، نقدم نهجًا بسيطًا وفعالًا بدون طلقة MultiCapCLIP يمكنه إنشاء تسميات توضيحية مرئية لسيناريوهات ولغات مختلفة دون أي أزواج تسمية توضيحية للرؤية لمجموعات البيانات النهائية. في مرحلة التدريب، يتطلب MultiCapCLIP فقط بيانات نصية للإدخال. ثم يقوم بإجراء خطوتين رئيسيتين: 1) استرجاع مطالبات المفهوم التي تحافظ على معرفة المجال المقابلة للسيناريوهات الجديدة ؛ 2) الترميز التلقائي للمطالبات لتعلم أساليب الكتابة لإخراج التسميات التوضيحية بلغة مرغوبة. في مرحلة الاختبار، يأخذ MultiCapCLIP بدلاً من ذلك البيانات المرئية كمدخلات مباشرة لاسترداد مطالبات المفهوم لإنشاء الأوصاف المرئية النهائية. تؤكد التجارب المكثفة على عرض الصور والفيديو عبر أربعة معايير وأربع لغات (أي الإنجليزية والصينية والألمانية والفرنسية) فعالية نهجنا. بالمقارنة مع أحدث الأساليب الخالية من اللقطات والأساليب ضعيفة الإشراف، تحقق طريقتنا تحسينات مطلقة بنسبة 4.8 ٪ و 21.5 ٪ من حيث مقاييس BLEU@4 و CIDEr. رمزنا متاح على https://github.com/yangbang18/MultiCapCLIP.