Powered by OpenAIRE graph
Found an issue? Give us feedback
image/svg+xml art designer at PLoS, modified by Wikipedia users Nina, Beao, JakobVoss, and AnonMoos Open Access logo, converted into svg, designed by PLoS. This version with transparent background. http://commons.wikimedia.org/wiki/File:Open_Access_logo_PLoS_white.svg art designer at PLoS, modified by Wikipedia users Nina, Beao, JakobVoss, and AnonMoos http://www.plos.org/ Eastern-European Jou...arrow_drop_down
image/svg+xml art designer at PLoS, modified by Wikipedia users Nina, Beao, JakobVoss, and AnonMoos Open Access logo, converted into svg, designed by PLoS. This version with transparent background. http://commons.wikimedia.org/wiki/File:Open_Access_logo_PLoS_white.svg art designer at PLoS, modified by Wikipedia users Nina, Beao, JakobVoss, and AnonMoos http://www.plos.org/
addClaim

This Research product is the result of merged Research products in OpenAIRE.

You have already added 0 works in your ORCID record related to the merged Research product.

Determination of the influence of the choice of the pruning procedure parameters on the learning quality of a multilayer perceptron

Determination of the influence of the choice of the pruning procedure parameters on the learning quality of a multilayer perceptron

Abstract

Pruning connections in a fully connected neural network allows to remove redundancy in the structure of the neural network and thus reduce the computational complexity of its implementation while maintaining the resulting characteristics of the classification of images entering its input. However, the issues of choosing the parameters of the pruning procedure have not been sufficiently studied at the moment. The choice essentially depends on the configuration of the neural network. However, in any neural network configuration there is one or more multilayer perceptrons. For them, it is possible to develop universal recommendations for choosing the parameters of the pruning procedure. One of the most promising methods for practical implementation is considered – the iterative pruning method, which uses preprocessing of input signals to regularize the learning process of a neural network. For a specific configuration of a multilayer perceptron and the MNIST (Modified National Institute of Standards and Technology) dataset, a database of handwritten digit samples proposed by the US National Institute of Standards and Technology as a standard when comparing image recognition methods, dependences of the classification accuracy of handwritten digits and learning rate were obtained on the learning step, pruning interval, and the number of links removed at each pruning iteration. It is shown that the best set of parameters of the learning procedure with pruning provides an increase in the quality of classification by about 1 %, compared with the worst set in the studied range. The convex nature of these dependencies allows a constructive approach to finding a neural network configuration that provides the highest classification accuracy with the minimum amount of computational costs during implementation.

Прореживание связей в полносвязной нейронной сети позволяет удалить избыточность в структуре нейронной сети и таким образом уменьшить вычислительную сложность её реализации при сохранении результирующих характеристик по классификации изображений, поступающих на её вход. Однако вопросы выбора параметров процедуры прореживания на данный момент недостаточно исследованы. Выбор существенным образом зависит от конфигурации нейронной сети. Тем не менее, в любой конфигурации нейронной сети присутствует один или более многослойных персептронов. Для них можно разработать универсальные рекомендации по выбору параметров процедуры прореживания. Рассмотрен один из наиболее перспективных для практической реализации методов – итерационный метод прореживания, использующий для регуляризации процесса обучения нейронной сети предобработку входных сигналов. Для конкретной конфигурации многослойного персептрона и набора данных MNIST (Modified National Institute of Standards and Technology–база данных образцов рукописного написания цифр, предложенная Национальным институтом стандартов и технологий США в качестве стандарта при сопоставлении методов распознавания изображений) получены зависимости точности классификации рукописных цифр и скорости обучения от шага обучения, интервала прореживания и количества удаляемых связей на каждой итерации прореживания. Показано, что наилучший набор параметров процедуры обучения с прореживанием обеспечивает увеличение качества классификации примерно на 1 %, по сравнению с наихудшим в исследованном диапазоне. Выпуклый характер этих зависимостей позволяет конструктивно подходить к нахождению конфигурации нейронной сети, обеспечивающей наибольшую точность классификации при минимальном объёме вычислительных затрат при реализации.

Проріджування зв'язків у повнозв'язної нейронної мережі дозволяє видалити надмірність у структурі нейронної мережі і таким чином зменшити обчислювальну складність її реалізації при збереженні результуючих характеристик класифікації зображень, що надходять на її вхід. Однак питання вибору параметрів процедури проріджування на даний момент недостатньо вивчені. Вибір істотно залежить від конфігурації нейронної мережі. Тим не менш, у будь-якій конфігурації нейронної мережі є один або більше багатошарових персептронів. Для них можна розробити універсальні рекомендації щодо вибору параметрів процедури проріджування. Розглянуто один із найбільш перспективних для практичної реалізації методів – ітераційний метод проріджування, який використовує для регуляризації процесу навчання нейронної мережі передобробку вхідних сигналів. Для конкретної конфігурації багатошарового персептрона і набору даних MNIST (Modified National Institute of Standards and Technology – база даних зразків рукописного написання цифр, запропонована Національним інститутом стандартів та технологій США як стандарт при співставленні методів розпізнавання зображень) отримані залежності точності класифікації рукописних цифр і швидкості навчання від кроку навчання, інтервалу проріджування та кількості зв'язків, що видаляються, на кожній ітерації проріджування. Показано, що найкращий набір параметрів процедури навчання з проріджуванням забезпечує збільшення якості класифікації приблизно на 1 % порівняно з найгіршим у дослідженому діапазоні. Випуклий характер цих залежностей дозволяє конструктивно підходити до знаходження конфігурації нейронної мережі, що забезпечує найбільшу точність класифікації при мінімальному обсягу обчислювальних витрат на реалізацію.

Keywords

кривая обучения, классификация изображений, весовые коэффициенты, проріджування, neural network, прореживание, pruning, вагові коефіцієнти, нейронная сеть, learning curve, многослойный персептрон, weight coefficients, крива навчання, multilayer perceptron, багатошаровий персептрон, класифікація зображень, нейронна мережа, image classification

  • BIP!
    Impact byBIP!
    selected citations
    These citations are derived from selected sources.
    This is an alternative to the "Influence" indicator, which also reflects the overall/total impact of an article in the research community at large, based on the underlying citation network (diachronically).
    0
    popularity
    This indicator reflects the "current" impact/attention (the "hype") of an article in the research community at large, based on the underlying citation network.
    Average
    influence
    This indicator reflects the overall/total impact of an article in the research community at large, based on the underlying citation network (diachronically).
    Average
    impulse
    This indicator reflects the initial momentum of an article directly after its publication, based on the underlying citation network.
    Average
Powered by OpenAIRE graph
Found an issue? Give us feedback
selected citations
These citations are derived from selected sources.
This is an alternative to the "Influence" indicator, which also reflects the overall/total impact of an article in the research community at large, based on the underlying citation network (diachronically).
BIP!Citations provided by BIP!
popularity
This indicator reflects the "current" impact/attention (the "hype") of an article in the research community at large, based on the underlying citation network.
BIP!Popularity provided by BIP!
influence
This indicator reflects the overall/total impact of an article in the research community at large, based on the underlying citation network (diachronically).
BIP!Influence provided by BIP!
impulse
This indicator reflects the initial momentum of an article directly after its publication, based on the underlying citation network.
BIP!Impulse provided by BIP!
0
Average
Average
Average
gold