A procedure of an automatic processing of a text corpus, collected from a number of news Internet sites for creation of a n-gram model of the Russian spoken language, is described in this paper. A statistic analysis of the corpus is presented, the results of the computation of appearance of different n-grams are given. A review of the state-of-the-art statistical language models is presented as well.

Описывается процесс автоматической обработки текстового корпуса, собранного из новостных лент ряда интернет-сайтов, для создания вероятностной n-граммной модели разговорного русского языка. Приводится статистический анализ данного корпуса, даются результаты по подсчету частоты появления различных n-грамм слов. Представлен обзор существующих типов статистических моделей языка.