Powered by OpenAIRE graph
Found an issue? Give us feedback
image/svg+xml art designer at PLoS, modified by Wikipedia users Nina, Beao, JakobVoss, and AnonMoos Open Access logo, converted into svg, designed by PLoS. This version with transparent background. http://commons.wikimedia.org/wiki/File:Open_Access_logo_PLoS_white.svg art designer at PLoS, modified by Wikipedia users Nina, Beao, JakobVoss, and AnonMoos http://www.plos.org/ ZENODOarrow_drop_down
image/svg+xml art designer at PLoS, modified by Wikipedia users Nina, Beao, JakobVoss, and AnonMoos Open Access logo, converted into svg, designed by PLoS. This version with transparent background. http://commons.wikimedia.org/wiki/File:Open_Access_logo_PLoS_white.svg art designer at PLoS, modified by Wikipedia users Nina, Beao, JakobVoss, and AnonMoos http://www.plos.org/
ZENODO
Preprint
Data sources: ZENODO
addClaim

高精度可训练的PDE算子:AI参数数量存在唯一性的数学证明与实证

Authors: 杜, 秋实;

高精度可训练的PDE算子:AI参数数量存在唯一性的数学证明与实证

Abstract

1. 本文在数学上证明了,为消除分布外泛化(OOD)幻觉,AI参数量的选取必须严格等于在训练集下Galerkin投影的非线性基底数,即严格遵循等式 N_{\text{AI}} = \dim(V_h)= N_{\text{basis}}(其中 V_h 是 Galerkin 投影的有限维子空间,N_{\text{basis}} 是该空间内的非线性基底数)。为了方便行文论述,我们将此等式命名为自由度同构等式。 2. 本文在数学上证明了,大于零的非平凡零空间维度,即 \dim(\text{Null Space}) > 0,是AI在分布外泛化OOD中产生幻觉的充要条件。 3. 本文在数学上证明了AI幻觉不是“优化问题(Optimization Bug)”,而是“拓扑结构缺陷(Topological structural defects)”,无法通过工程手段彻底消除幻觉(本文1.3.6)。 4. 传统机器学习难以训练积分,本质上是难以使用简单参数量和训练集,对非线性函数进行有效训练。因此本文的全部实证都基于经典的非线性函数:高斯钟形曲线、泰勒格林-涡以及Q4双线性形函数。 在以上实验中,基于自由度同构等式的 AI(参数量O(1)) 实现了 \mathcal{O}(10^{-32}) 的 OOD 泛化均方误差(MSE Loss),触及 FP64 双精度浮点格式的精度极限(MSE Loss:(10^{-16})^2),仅需单个训练集样本与最简单Adam迭代即可达成。相反,具有 \mathcal{O}(10^5) 参数数量的传统 MLP 对照组,在对比实验中泛化失败: \mathcal{O}(10^{+1})到\mathcal{O}(10^{-3})。 5. 为了方便行文论述,本文将这种全新架构的高精度可训练的PDE算子命名为Pure Science AI

Powered by OpenAIRE graph
Found an issue? Give us feedback