
doi: 10.36930/40350214
Проаналізовано вплив параметрів текстових документів на ефективність мовної мультимодальної моделі GPT-4 Vision, яку активно застосовують для цифровізації документів зі складною структурою. Досліджено залежність точності роботи моделі від таких факторів, як розмір шрифту, фізичний розмір документа (кількість сторінок формату А4) та загальний обсяг тексту (кількість символів). Особливу увагу приділено проблемі генерування моделлю некоректної інформації ("галюцинацій"), яка залишається істотним недоліком цього підходу до цифровізації текстів. Розроблено п'ять експериментальних наборів PDF-документів із варіативними параметрами шрифту, обсягу тексту та кількості сторінок, що дало змогу оцінити вплив кожного з факторів окремо й у їхніх комбінаціях. Для кількісного оцінювання частоти появи галюцинацій застосовано метрику точності ROUGE-L. Встановлено, що частота виникнення галюцинацій значно зростає у документах, які містять понад 5000 символів тексту зі шрифтом в 14 pt або більш ніж дві сторінки формату А4. Наприклад, для чотиристорінкового документа з обсягом тексту близько 12000 символів значення метрики ROUGE-L становило 0,51, тоді як для аналогічного за обсягом тексту, компактно розташованого на одній сторінці за рахунок зменшення розміру шрифту до 6 pt, показник точності був значно вищим (ROUGE-L = 0,87). Це свідчить про значний вплив фізичних параметрів документа на точність роботи мультимодальних моделей. Розроблено практичні рекомендації щодо раціонального використання моделі GPT-4 Vision для цифровізації складних документів: мінімальний рекомендований розмір шрифту – 6 pt; максимальний обсяг тексту – до 5000 символів або не більше двох сторінок за одне оброблення; потреба мінімізації пустих ділянок шляхом видалення зайвих полів і порожніх сторінок. Отримані результати мають практичну цінність для подальшого вдосконалення алгоритмів цифровізації документів зі складною структурою та для підвищення надійності роботи мультимодальних моделей. Запропоновану методику оцінювання впливу параметрів текстових документів на точність роботи моделі GPT-4 Vision можна використати для наступного дослідження, спрямованого на зменшення частоти виникнення галюцинацій у завданнях автоматизованого розпізнавання тексту.
розпізнавання символів, великі мовні моделі, частота появи галюцинацій, Forestry, цифровізація документів, SD1-669.5
розпізнавання символів, великі мовні моделі, частота появи галюцинацій, Forestry, цифровізація документів, SD1-669.5
| selected citations These citations are derived from selected sources. This is an alternative to the "Influence" indicator, which also reflects the overall/total impact of an article in the research community at large, based on the underlying citation network (diachronically). | 0 | |
| popularity This indicator reflects the "current" impact/attention (the "hype") of an article in the research community at large, based on the underlying citation network. | Average | |
| influence This indicator reflects the overall/total impact of an article in the research community at large, based on the underlying citation network (diachronically). | Average | |
| impulse This indicator reflects the initial momentum of an article directly after its publication, based on the underlying citation network. | Average |
