Textual data is the basis for most of historical researches. This circumstance makes the development of methods and technologies of natural language processing especially significant for historical science. In recent years, deep learning methods have dominated the field of natural language processing. Many variants of large pre-trained language models have emerged. This article analyzes the experience of creating language models based on transformers for historical languages. Possible risks and prospects for their implementation are considered.

Анализируется опыт создания языковых моделей на основе трансформеров для исторических языков, поскольку текстовые данные являются базой для большинства исторических исследований, что делает особенно значимым для развитие методов и технологий обработки естественного языка исторической науки. Рассмотрены возможные риски и перспективы внедрения подобных языковых моделей.