Powered by OpenAIRE graph
Found an issue? Give us feedback
image/svg+xml art designer at PLoS, modified by Wikipedia users Nina, Beao, JakobVoss, and AnonMoos Open Access logo, converted into svg, designed by PLoS. This version with transparent background. http://commons.wikimedia.org/wiki/File:Open_Access_logo_PLoS_white.svg art designer at PLoS, modified by Wikipedia users Nina, Beao, JakobVoss, and AnonMoos http://www.plos.org/ ZENODOarrow_drop_down
image/svg+xml art designer at PLoS, modified by Wikipedia users Nina, Beao, JakobVoss, and AnonMoos Open Access logo, converted into svg, designed by PLoS. This version with transparent background. http://commons.wikimedia.org/wiki/File:Open_Access_logo_PLoS_white.svg art designer at PLoS, modified by Wikipedia users Nina, Beao, JakobVoss, and AnonMoos http://www.plos.org/
ZENODO
Preprint
Data sources: ZENODO
addClaim

高精度可训练的PDE算子:AI参数数量存在唯一性的数学证明与实证

Authors: 杜, 秋实;

高精度可训练的PDE算子:AI参数数量存在唯一性的数学证明与实证

Abstract

1. 本文在数学上证明了,为消除分布外泛化(OOD)幻觉,AI参数量的选取必须严格等于在训练集下Galerkin投影的非线性基底数,即严格遵循等式 $ N_{\text{AI}} = \dim(V_h)= N_{\text{basis}}$ (其中 $ V_h $ 是 Galerkin 投影的有限维子空间, $N_{\text{basis}} $ 是该空间内的非线性基底数)。为了方便行文论述,我们将此等式命名为AI参数与基底数等式。 2. 本文在数学上证明了,AI训练时,其参数空间产生的,大于零的非平凡零空间维度,即 $ \dim(\text{Null Space}) > 0 $, 是AI在分布外泛化OOD中产生幻觉的充要条件。 3. 本文在数学上证明了,遵循AI参数与基底数等式和设计架构的新AI,O(Train Loss)=O(OOD Loss),即完全消除幻觉(第一章1.2的补充证明) 4. 本文在数学上证明了AI幻觉不是“优化问题(Optimization Bug)”,而是“拓扑结构缺陷(Topological structural defects)”,无法通过工程手段彻底消除幻觉(本文1.3.6推论)。 5. 传统机器学习难以训练积分,本质上是难以使用简单参数量和训练集,对非线性函数进行有效训练。因此本文的全部实证都基于经典的非线性函数:高斯钟形曲线、泰勒格林-涡以及Q4双线性形函数。 在以上实验中,基于AI参数与基底数等式的 AI(参数量O(1)) 实现了 $ \mathcal{O}(10^{-32}) $ 的 OOD 泛化均方误差(MSE Loss),触及 FP64 双精度浮点格式的精度极限(MSE Loss:( $10^{-16})^2$ ),仅需单个解析解训练集样本或者几个离散数值解坐标,与最简单Adam迭代即可达成。相反,具有 $\mathcal{O}(10^5) $ 参数数量的传统 MLP 对照组,在对比实验中泛化失败: $\mathcal{O}(10^{+1}) $ 到 $\mathcal{O}(10^{-3})$ 。 6. 为了方便行文论述,本文将这种全新架构的高精度可训练的PDE算子命名为Pure Science AI

Powered by OpenAIRE graph
Found an issue? Give us feedback