Background. Large Language Models (LLMs) and their associated agents have spread wide technology and represent a significant advancement in recent times. These state-of-the-art models expose valuable potential, but they are not devoid of restrictions, inefficiencies, and limits. This article investigates the exploration of these constraints within specific domain areas and prediction problems as examples. Objective. The article highlights features offered by GPT-based models and compares the conclusions with classical methods of textual data analysis in classification tasks using the prediction methodology as an example. The purpose of the study is to develop a system approach to the combined use of traditional machine learning approaches as a practical alternative to LLMs in foresight tasks using the example of STEEP analysis, which provides an opportunity to obtain valuable information from textual data. Methods. The study is structured into four segments, each addressing distinct parts: Data Mining, text pre-processing using LLMs, text pre-processing utilizing Natural Language Processing (NLP) methods, and comparative analysis of results. Data Mining includes data collection and data pre-processing stages for train and test observations. For the utilization of LLMs, chains of thought techniques and prompt engineering were used. Results. Throughout this study, it was acknowledged that the LLMs can be used in combination with classical machine learning methodologies for domain-specific areas in STEEP analysis under Foresight tasks. The outcome revealed a model that was developed significantly faster and with less complexity compared to LLMs such as GPT and Mistral. Increasing the number of models employed leads to more stable results. Conclusions. The main result of the proceeding is that the patterns that reveal LLMs under certain settings can also be identified by classical models. Moreover, augmenting the deployment of LLMs during the data preparation stages contributes to heightened stability in outcomes. Using classical models combined with LLMs speeds up response times during inference and reduces operating costs for running models.

Проблематика. Великі мовні моделі (LLMs) та повʼязані з ними агенти широко застосовують у різних сферах життя та є одними з технологічних проривів за останні роки. Ці найсучасніші моделі демонструють вражаючий потенціал, але в деяких ситуаціях вони демонструють неефективність. У цій статті досліджено виявлені обмеження у конкретних галузевих сферах і на прикладах задач передбачення. Мета дослідження. У статті висвітлено можливості, які пропонують моделі на основі GPT, та зіставлено висновки із класичними методами аналізу текстових даних у задачах класифікації на прикладі методології передбачення. Метою дослідження є розроблення системного підходу до комбінованого використання традиційних підходів машинного навчання як практичної альтернативи LLMs у задачах передбачення (форсайту) на прикладі STEEP-аналізу, який дає можливість отримувати цінну інформацію із текстових даних. Методи. Це дослідження структуроване на чотири сегменти: Data Mining, передобробка тексту з використанням LLMs, передобробка тексту за допомогою класичних методів обробки природної мови (NLP) та порівняльний аналіз результатів. Data Mining включає етапи збрирання даних і попередної обробки даних для навчальних і тестових спостережень. Для використання LLMs було застосовано підходи “chains of thought” та “prompt engineering”. Результати. За результатами дослідження було встановлено, що LLMs можуть бути застосовані у комбінації із класичними методами машинного навчання для доменних специфічних сфер у STEEP-аналізі завдачах прогнозування. Результати показали, що запропонованих підхід є значно швидшим і має меншу складність порівняно з LLMs, такими як GPT і Mistral. Збільшення кількості використаних моделей приводить до більш стабільних результатів. Висновки. Основний результат роботи полягає в тому, що патерни, які виявляють LLMs за певних налаштувань, також можуть бути виявлені класичними моделями. Понад те збільшення кількості використаних LLMs на етапах обробки даних сприяє підвищенню стабільності результатів. Використання класичних моделей у комбінації з LLMs прискорить час відповіді та зменшить експлуатаційні витрати на запуск моделей.