【ニューラルネットワークの基礎研究】
層数やユニット数による学習結果の違いについて３（べきが変化するべき関数）の続き

ニューラルネットワークを勉強した後に、実際の系を学習させる際に問題になるのがネットワークの構造です。 本稿ではべきが変化するべき関数を用意し、実際に様々なニューラルネットワーク構造で試してみます。 前回の続きで中間層を２層とした場合の学習回数に対する損失値をグラフ化して学習効果を確かめます。
【これまでの結果】
→ １変数の２次関数の学習 １ ２ ３ ４
→ 係数が変化する２次関数の学習 １ ２ ３ ４
→ べきが変化するべき関数の学習 １

ニューラルネットワークの基本パラメータ

・ニューラルネットワークの構造：順伝播型ニューラルネットワーク（FFNN）
・学習方法：通常の勾配法（学習率固定、逆誤差伝搬法）
・学習率：eta = 0.01;
・ミニバッチ数：100 （サンプルは無限に用意できるためミニバッチという概念は存在しませんが、ランダムに用意したミニバッチ数分のサンプルに対する平均を用いて学習を進める）
・活性化関数（中間層）：ReLU（ランプ関数）
・活性化関数（出力層）：恒等関数
・損失関数：２乗和
※独立したネットワークを１０個用意してそれぞれ個別に学習させて、学習効果の高かった上位５つの「学習回数」vs「損失値」をグラフ化します。
※参考ページ

学習対象関数

本稿では指数が0から3まで変化するべき関数を学習させます。
次のグラフは指数を0.5, 1.0, 2.0としたネットワークの計算結果です。

※後述する「2-500-500-1」ネットワークで学習した２次関数（学習回数100000回）
線が学習対象関数、点がネットワークで計算した結果です。

「2-N-1」型のニューラルネットワーク（中間層数：１）

2-10-10-1

2-50-50-1

2-100-100-1

2-200-200-1

2-500-500-1

考察と課題

・中間層を２層にすると学習が若干不安定化した（特にユニット200個と500個で）。
・100,000回学習後の学習成果は概ねユニット数が多いほど高い。
・２層（ユニット数10～500）では損失値1E-5を切ることはできない。

次の課題

・中間層の層数を更に増やす。
・ネットワークの自由度（重みとバイアスの層数）が同等の場合の学習成果の比較を中間層１層と中間層２層で行う。

プログラムソース（C++）

・http://www.natural-science.or.jp/files/NN/FFNNs_epoch_Functions2.zip
※VisualStudio2017のソルーションファイルです。GCC（MinGW）でも動作確認しています。