
La conversation à la recherche d'informations, qui vise à aider les utilisateurs à recueillir des informations par la conversation, a réalisé de grands progrès ces dernières années. Cependant, la recherche est toujours entravée par la rareté des données de formation. Pour pallier ce problème, nous proposons AutoConv pour la génération de conversations synthétiques, qui tire parti de la capacité d'apprentissage et de la capacité de génération des grands modèles linguistiques (LLM). Plus précisément, nous formulons le problème de génération de conversation comme une tâche de modélisation du langage, puis nous affinons un LLM avec quelques conversations humaines pour capturer les caractéristiques du processus de recherche d'informations et l'utiliser pour générer des conversations synthétiques de haute qualité. Les résultats expérimentaux sur deux ensembles de données fréquemment utilisés vérifient que AutoConv présente des améliorations substantielles par rapport à des bases de référence solides et atténue la dépendance à l'annotation humaine. En outre, nous fournissons également plusieurs études d'analyse pour promouvoir les recherches futures.
La conversación de búsqueda de información, que tiene como objetivo ayudar a los usuarios a recopilar información a través de la conversación, ha logrado un gran progreso en los últimos años. Sin embargo, la investigación aún se ve obstaculizada por la escasez de datos de capacitación. Para aliviar este problema, proponemos AutoConv para la generación de conversaciones sintéticas, que aprovecha la capacidad de aprendizaje de pocos disparos y la capacidad de generación de modelos de lenguaje grandes (LLM). Específicamente, formulamos el problema de generación de conversación como una tarea de modelado de lenguaje, luego finalizamos un LLM con algunas conversaciones humanas para capturar las características del proceso de búsqueda de información y lo usamos para generar conversaciones sintéticas con alta calidad. Los resultados experimentales en dos conjuntos de datos de uso frecuente verifican que AutoConv tiene mejoras sustanciales con respecto a las líneas de base sólidas y alivia la dependencia de la anotación humana. Además, también proporcionamos varios estudios de análisis para promover futuras investigaciones.
Information-seeking conversation, which aims to help users gather information through conversation, has achieved great progress in recent years. However, the research is still stymied by the scarcity of training data. To alleviate this problem, we propose AutoConv for synthetic conversation generation, which takes advantage of the few-shot learning ability and generation capacity of large language models (LLM). Specifically, we formulate the conversation generation problem as a language modeling task, then finetune an LLM with a few human conversations to capture the characteristics of the information-seeking process and use it for generating synthetic conversations with high quality. Experimental results on two frequently-used datasets verify that AutoConv has substantial improvements over strong baselines and alleviates the dependence on human annotation. In addition, we also provide several analysis studies to promote future research.
حققت محادثة البحث عن المعلومات، التي تهدف إلى مساعدة المستخدمين على جمع المعلومات من خلال المحادثة، تقدمًا كبيرًا في السنوات الأخيرة. ومع ذلك، لا يزال البحث محبطًا بسبب ندرة بيانات التدريب. للتخفيف من هذه المشكلة، نقترح AutoConv لتوليد المحادثة الاصطناعية، والتي تستفيد من قدرة التعلم القليلة والقدرة التوليدية لنماذج اللغة الكبيرة (LLM). على وجه التحديد، نقوم بصياغة مشكلة توليد المحادثة كمهمة نمذجة لغوية، ثم نقوم بصقل ماجستير في القانون مع عدد قليل من المحادثات البشرية لالتقاط خصائص عملية البحث عن المعلومات واستخدامها لتوليد محادثات اصطناعية بجودة عالية. تؤكد النتائج التجريبية على مجموعتين من البيانات المستخدمة بشكل متكرر أن AutoConv لديه تحسينات كبيرة على خطوط الأساس القوية ويخفف من الاعتماد على التعليقات التوضيحية البشرية. بالإضافة إلى ذلك، نقدم أيضًا العديد من الدراسات التحليلية لتعزيز البحث المستقبلي.
FOS: Computer and information sciences, Syntax-based Translation Models, Artificial intelligence, Economics, Annotation, Epistemology, Visual Question Answering in Images and Videos, Systems engineering, Task (project management), Machine Translation, Engineering, Artificial Intelligence, Conversation, Microeconomics, Information retrieval, Natural Language Processing, Computer Science - Computation and Language, Scarcity, Topic Modeling, Natural language processing, Word Representation, Linguistics, Statistical Machine Translation and Natural Language Processing, Computer science, Language model, Language Modeling, Process (computing), FOS: Philosophy, ethics and religion, Philosophy, Operating system, Computer Science, Physical Sciences, Quality (philosophy), FOS: Languages and literature, Information seeking, Computer Vision and Pattern Recognition, Computation and Language (cs.CL)
FOS: Computer and information sciences, Syntax-based Translation Models, Artificial intelligence, Economics, Annotation, Epistemology, Visual Question Answering in Images and Videos, Systems engineering, Task (project management), Machine Translation, Engineering, Artificial Intelligence, Conversation, Microeconomics, Information retrieval, Natural Language Processing, Computer Science - Computation and Language, Scarcity, Topic Modeling, Natural language processing, Word Representation, Linguistics, Statistical Machine Translation and Natural Language Processing, Computer science, Language model, Language Modeling, Process (computing), FOS: Philosophy, ethics and religion, Philosophy, Operating system, Computer Science, Physical Sciences, Quality (philosophy), FOS: Languages and literature, Information seeking, Computer Vision and Pattern Recognition, Computation and Language (cs.CL)
| selected citations These citations are derived from selected sources. This is an alternative to the "Influence" indicator, which also reflects the overall/total impact of an article in the research community at large, based on the underlying citation network (diachronically). | 5 | |
| popularity This indicator reflects the "current" impact/attention (the "hype") of an article in the research community at large, based on the underlying citation network. | Top 10% | |
| influence This indicator reflects the overall/total impact of an article in the research community at large, based on the underlying citation network (diachronically). | Average | |
| impulse This indicator reflects the initial momentum of an article directly after its publication, based on the underlying citation network. | Top 10% |
