Powered by OpenAIRE graph
Found an issue? Give us feedback
image/svg+xml art designer at PLoS, modified by Wikipedia users Nina, Beao, JakobVoss, and AnonMoos Open Access logo, converted into svg, designed by PLoS. This version with transparent background. http://commons.wikimedia.org/wiki/File:Open_Access_logo_PLoS_white.svg art designer at PLoS, modified by Wikipedia users Nina, Beao, JakobVoss, and AnonMoos http://www.plos.org/ Bionics of Intellige...arrow_drop_down
image/svg+xml art designer at PLoS, modified by Wikipedia users Nina, Beao, JakobVoss, and AnonMoos Open Access logo, converted into svg, designed by PLoS. This version with transparent background. http://commons.wikimedia.org/wiki/File:Open_Access_logo_PLoS_white.svg art designer at PLoS, modified by Wikipedia users Nina, Beao, JakobVoss, and AnonMoos http://www.plos.org/
addClaim

This Research product is the result of merged Research products in OpenAIRE.

You have already added 0 works in your ORCID record related to the merged Research product.

Stochastic initialization for neural networks based on the analysis of biological systems

Stochastic initialization for neural networks based on the analysis of biological systems

Abstract

Штучні нейронні мережі, як правило, ініціалізуються за допомогою математично визначених методів, які не враховують структурного та функціонального різноманіття біологічних систем. Хоча традиційні підходи забезпечують стабільність навчання, вони ігнорують природні механізми формування синаптичних зв’язків. У цьому дослідженні запропоновано біологічно натхненний підхід до ініціалізації вагових коефіцієнтів, заснований на стохастичних закономірностях, виявлених в емпіричних траєкторіях руху, зафіксованих у контрольованому біологічному середовищі. Дані проходять попередню обробку, що включає згладжування, нормалізацію та масштабування, для генерації вагових значень, які надалі використовуються для ініціалізації нейронної мережі. Ефективність запропонованого методу оцінюється у порівнянні зі стандартними стратегіями ініціалізації на основі трьох тестових наборів даних: MNIST, Fashion-MNIST і Gas Sensor Array Drift. Експериментальні результати демонструють, що біологічно натхненний підхід забезпечує порівнянну ефективність за всіма оціночними критеріями, включаючи точність на тестовій і валідаційній вибірках, кількість епох до збіжності, чутливість за класами та макроусереднений показник F1-метрики. У ряді випадків метод сприяв швидшій збіжності без зниження якості класифікації. Попри те, що запропонована стратегія не завжди перевершує стандартні методи, вона вводить структуровану стохастичність у процес навчання, спираючись на біологічні принципи, та формує перспективне підґрунтя для подальших досліджень у сфері складніших архітектур і біологічно натхненних моделей навчання.

Artificial neural networks are typically initialized using mathematically defined methods that do not account for the structural and functional diversity of biological systems. While traditional approaches ensure training stability, they overlook natural mechanisms of synaptic connection formation. This study proposes a biologically inspired approach to weight initialization based on stochastic patterns identified in empirical movement trajectories recorded in a controlled biological environment. The data undergo preprocessing, including smoothing, normalization, and scaling, to generate weight values subsequently used for neural network initialization. The effectiveness of the proposed method is evaluated against standard initialization strategies using three benchmark datasets: MNIST, Fashion-MNIST, and the Gas Sensor Array Drift dataset. Experimental results demonstrate that the biologically inspired approach achieves comparable performance across all evaluation criteria, including test and validation accuracy, the number of epochs required for convergence, class-wise sensitivity, and the macro-averaged F1-score. In several cases, the method facilitates faster convergence without compromising classification accuracy. Although the proposed strategy does not consistently outperform conventional methods, it introduces structured stochasticity into the training process based on biological principles and provides a promising foundation for further research into more complex architectures and biologically inspired learning models.

Keywords

МАШИННЕ НАВЧАННЯ, АНСАМБЛЕВЕ НАВЧАННЯ, СТОХАСТИЧНЕ ЗРОСТАННЯ, ARTIFICIAL NEURAL NETWORKS, WEIGHT INITIALIZATION, STOCHASTIC GROWTH, CLASSIFICATION ACCURACY, СТЕКІНГ, ENSEMBLE LEARNING, TRAINING PERFORMANCE, ТОЧНІСТЬ КЛАСИФІКАЦІЇ, CONVERGENCE SPEED, ЕФЕКТИВНІСТЬ НАВЧАННЯ, ШВИДКІСТЬ ЗБІЖНОСТІ, ІНІЦІАЛІЗАЦІЯ ВАГОВИХ КОЕФІЦІЄНТІВ, BAGGING, БЕГГІНГ, MACHINE LEARNING, ШТУЧНІ НЕЙРОННІ МЕРЕЖІ, STACKING

  • BIP!
    Impact byBIP!
    selected citations
    These citations are derived from selected sources.
    This is an alternative to the "Influence" indicator, which also reflects the overall/total impact of an article in the research community at large, based on the underlying citation network (diachronically).
    0
    popularity
    This indicator reflects the "current" impact/attention (the "hype") of an article in the research community at large, based on the underlying citation network.
    Average
    influence
    This indicator reflects the overall/total impact of an article in the research community at large, based on the underlying citation network (diachronically).
    Average
    impulse
    This indicator reflects the initial momentum of an article directly after its publication, based on the underlying citation network.
    Average
Powered by OpenAIRE graph
Found an issue? Give us feedback
selected citations
These citations are derived from selected sources.
This is an alternative to the "Influence" indicator, which also reflects the overall/total impact of an article in the research community at large, based on the underlying citation network (diachronically).
BIP!Citations provided by BIP!
popularity
This indicator reflects the "current" impact/attention (the "hype") of an article in the research community at large, based on the underlying citation network.
BIP!Popularity provided by BIP!
influence
This indicator reflects the overall/total impact of an article in the research community at large, based on the underlying citation network (diachronically).
BIP!Influence provided by BIP!
impulse
This indicator reflects the initial momentum of an article directly after its publication, based on the underlying citation network.
BIP!Impulse provided by BIP!
0
Average
Average
Average
gold