万能近似定理（ばんのうきんじていり、）とは、ニューラルネットワークが一定の条件のもとで連続関数を任意の精度で近似できることを示す。特に、1つの隠れ層を持つフィードフォワード型ニューラルネットワークが、適切な活性化関数を用いることで、コンパクト集合(閉じていて有界な集合)上の任意の連続関数を近似できることを示す定理として広く知られている 。
定理の記述 コンパクト集合上の連続関数 と任意の に対し、有限個の係数 、重みベクトル、バイアス が存在して、
が成立する。ここでは活性化関数である。
条件 この定理が成立するためには、活性化関数が一定の条件を満たす必要がある。例えば、シグモイド型活性化関数や、非定数かつ有界な単調関数などが典型的な例として知られている。
解釈と限界 万能近似定理は、「ニューラルネットワークは原理的には任意の連続関数を表現できる」という到達可能な理論的目標を示し、その後のネットワーク構造、学習アルゴリズム、および表現効率に関する研究の出発点となった。
歴史 1980年代後半には、ニューラルネットワークの関数近似能力に関する理論的研究が進展した。
船橋は1988年5月発行のATR技術報告書『On the Approximate Realization of Continuous Mappings by Neural Networks』
において、Kolmogorov-Arnold-Sprecherの定理をニューラルネットワークの観点から再解釈し、Rumelhart・Hinton・Williamsによる4層ニューラルネットワーク
の隠れ層にシグモイド関数を用いた場合でも、任意の連続写像を任意の精度で近似できることを示した。さらに、シグモイド関数を一般化した「sigmoid-like関数」の概念を導入し、同様の近似能力が成り立つことを証明した。この結果は多出力写像にも適用される。なお、同報告書では当時のニューラルネットワーク応用研究としてWaibelらによる音声認識研究
も引用されている。
その後、1989年5月には、Irie と Miyake が提案した積分公式を出発点として、隠れ層の出力関数にシグモイド関数を用い、入力層および出力層に線形出力関数を用いる3層（隠れ層1層）ニューラルネットワークによって、任意の連続写像を一様位相の意味で任意精度に近似可能であることを示した。さらに、帰納法により任意の k(≥3) 層ネットワークについても同様の近似能力が成立することを示した 。また、1つの隠れ層で近似能力は十分である一方、より深いネットワークでは少ないユニット数で同等の表現能力を実現できる可能性があることを指摘し、その検討を今後の課題として挙げた。
同年7月、Hornik、Stinchcombe、Whiteは、論文で述べているように、Funahashiの結果を拡張し、活性化関数を非有界、非単調、非連続、および可測関数へ一般化するとともに、 Stone–Weierstrassの定理に基づく別証明を与えた。
また、Cybenkoは同年12月、論文で述べているように、Funahashi やHornikに言及し、Hahn–Banachの定理とRiesz表現定理を用いた一般的な証明を与えるとともに、「discriminatory function」の概念を導入してシグモイド型活性化関数の理論を一般化した。
これらの結果は、ニューラルネットワークの普遍近似能力を示すものであり、一般に「万能近似定理」と総称される。
拡張 その後の研究により、万能近似定理は以下のように拡張されている。
ReLUなどの非シグモイド活性化関数への拡張 深層ニューラルネットワークの表現能力の解析 近似効率および汎化能力に関する理論的研究
脚注
関連項目 ニューラルネットワーク 深層学習 関数近似