Актуальность. Общепринятые предположения в параметрической статистике, такие как нормальность, линейность, независимость, далеко не всегда выполняются в реальной практике. Основной причиной этого является появление наблюдений в исследуемых выборках данных, отличающихся от основной массы данных, вследствие чего выборка становится неоднородной. Применение в этих условиях общепринятых процедур оценивания, например, выборочного среднего, влечет за собой увеличение смещенности и снижение эффективности получаемых оценок. Это в свою очередь выдвигает задачу поиска возможных путей решений проблемы обработки массивов данных (выборок), содержащих аномальные наблюдения, особенно в условиях обработки выборок малого объема. Объект исследования – процесс обнаружения и исключения аномальных объектов выборки неоднородных данных. Цель работы – разработка процедуры поиска аномальных наблюдений в выборках неоднородных данных, и обоснование использования ряда усеченных оценок типа «среднее» для оценивания параметра положения искаженных параметрических моделей распределений. Метод. Рассмотрены вопросы анализа (обработки) неоднородных данных, содержащие аномальные, резко выделяющиеся, подозрительные наблюдения. Проанализированы возможности использования робастных процедур оценивания, устойчивых к наличию в выборках данных «засоряющих» значений, для обработки неоднородных данных. Предложена процедура выявления и исключения аномальных наблюдений, причиной которых могут быть ошибки измерений, скрытые дефекты аппаратуры, выработка ресурсов, условия проведения эксперимента и т.д. В основу предложенного подхода положена процедура симметричного и несимметричного усечения вариационного ряда, полученного на основе исходной выборки данных, на основе методов робастной статистики. Для обоснованного выбора величины коэффициента усечения α, предложено использовать адаптивные робастные процедуры статистического оценивания. Наблюдения, которые находятся в зоне младших и зоне старших порядковых статистик, признаны аномальными. Результаты. Предложенный подход позволяет в отличие от традиционных критериев поиска аномальных значений, таких как критерий Смирнова(Граббса), критерий Диксона и др., разбивать анализируемую совокупность данных на однородную составляющую и выявлять совокупность аномальных наблюдений, при предположении, что их доля в общей совокупности анализируемых данных неизвестна. Выводы. В статье предложено использование методов робастной статистики для формирования предполагаемых зон, содержащих однородные и аномальные наблюдения в вариационном ряде, построенном по исходной выборке анализируемых данных. Предложено использовать комплекс адаптивных робастных процедур, для установления предполагаемых уровней усечения, образующих зоны аномальных наблюдений в области старших и младших порядковых статистик вариационного ряда. Окончательный уровень усечения вариационного ряда уточняется на основе существующих критериев, позволяющих проверять граничные наблюдения (минимальное и максимальное) на аномальность.

Context. Fortunately, the most commonly used in parametric statistics assumptions such as such as normality, linearity, independence, are not always fulfilled in real practice. The main reason for this is the appearance of observations in data samples that differ from the bulk of the data, as a result of which the sample becomes heterogeneous. The application in such conditions of generally accepted estimation procedures, for example, the sample mean, entails the bias increasing and the effectiveness decreasing of the estimates obtained. This, in turn, raises the problem of finding possible solutions to the problem of processing data sets that include outliers, especially in small samples. The object of the study is the process of detecting and excluding anomalous objects from the heterogeneous data sets. Objective. The goal of the work is to develop a procedure for anomaly detection in heterogeneous data sets, and the rationale for using a number of trimmed-mean robust estimators as a statistical measure of the location parameter of distorted parametric distribution models. Method. The problems of analysis (processing) of heterogeneous data containing outliers, sharply distinguished, suspicious observations are considered. The possibilities of using robust estimation methods for processing heterogeneous data have been analyzed. A procedure for identification and extraction of outliers caused by measurement errors, hidden equipment defects, experimental conditions, etc. has been proposed. The proposed approach is based on the procedure of symmetric and asymmetric truncation of the ranked set obtained from the initial sample of measurement data, based on the methods of robust statistics. For a reasonable choice of the value of the truncation coefficient, it is proposed to use adaptive robust procedures. Observations that fell into the zone of smallest and lowest ordinal statistics are considered outliers. Results. The proposed approach allows, in contrast to the traditional criteria for identifying outlying observations, such as the Smirnov (Grubbs) criterion, the Dixon criterion, etc., to split the analyzed set of data into a homogeneous component and identify the set of outlying observations, assuming that their share in the total set of analyzed data is unknown. Conclusions. The article proposes the use of robust statistics methods for the formation of supposed zones containing homogeneous and outlying observations in the ranked set, built on the basis of the initial sample of the analyzed data. It is proposed to use a complex of adaptive robust procedures to establish the expected truncation levels that form the zones of outlying observations in the region of the lowest and smallest order statistics of the ranked dataset. The final level of truncation of the ranked dataset is refined on the basis of existing criteria that allow checking the boundary observations (minimum and maximum) for outliers.

Актуальність. Загальноприйняті припущення в параметричній статистиці, такі як нормальність, лінійність, незалежність, далеко не завжди виконуються у реальній практиці. Основною причиною тому є поява спостережень у досліджуваних вибірках даних, що відрізняються від основної маси даних, внаслідок чого вибірка стає неоднорідною. Застосування в таких умовах загальноприйнятих процедур оцінювання, наприклад, вибіркового середнього, тягне за собою збільшення зсуву та зниження ефективності одержуваних оцінок. Це в свою чергу висуває задачу пошуку можливих шляхів вирішення проблеми обробки масивів даних, що містять аномальні спостереження, особливо в умовах обробки вибірок малого обсягу. Об’єкт дослідження – процес виявлення та виключення аномальних спостережень у вибірках неоднорідних даних. Мета роботи – розробка процедури пошуку аномальних спостережень у вибірках неоднорідних даних, та обґрунтування використання низки усічених оцінок типу «середнє» для оцінювання параметру положення спотворених параметричних моделей розподілів. Метод. Розглянуті питання аналізу (обробки) неоднорідних даних, що містять аномальні, підозрілі спостереження. Проаналізовано можливості використання робастних процедур оцінювання, стійких до наявності викидів у вибірках неоднорідних даних. Запропоновано процедуру виявлення та виключення аномальних спостережень, причиною яких можуть бути помилки вимірювань, приховані дефекти апаратури, вироблення ресурсів, умови проведення експерименту тощо. В основу запропонованого підходу покладено процедуру симетричного та несиметричного усічення варіаційного ряду, отриманого на основі вихідної вибірки даних, на основі методів робастної статистики. Для обґрунтованого вибору величини коефіцієнта усічення α, запропоновано використовувати адаптивні робастні процедури статистичного оцінювання. Спостереження, що потрапили до зони молодших та зони старших порядкових статистик, визнані аномальними. Результати. Запропонований підхід дозволяє на відміну від традиційних критеріїв пошуку аномальних значень, таких як критерій Смірнова(Граббса), критерій Діксона та ін., розбивати аналізовану сукупність даних на однорідну складову та виявляти сукупність аномальних спостережень, при припущенні, що їх частка у загальній сукупності аналізованих даних невідома. Висновки. У статті запропоновано використання методів робастної статистики для формування передбачуваних зон, що містять однорідні та аномальні спостереження у варіаційному ряді, побудованому за вихідною вибіркою аналізованих даних. Запропоновано використовувати комплекс адаптивних робастних процедур для встановлення рівнів усічення, що утворюють зони аномальних спостережень в області старших та молодших порядкових статистик. Остаточний рівень усічення варіаційного ряду уточнюється на основі існуючих критеріїв, що дозволяють перевіряти граничні спостереження (мінімальне та максимальне) на аномальність.