ディープラーニング

【pythonでディープラーニング】ヘッブ則とデルタ則

ヘッブ則とは

ヘッブ則とは、脳のシナプス可逆性についての法則です。シナプス前のニューロンの発火によってシナプス後のニューロンに発火が起こると、そのシナプスの伝達効率が増強される。逆にニューロンの発火が起こらないと伝達効率は減退します。

デルタ則とは

デルタ則とは、ニュートラルネットワークの学習に関するルールを表します。
以下の特性(ルール)で構成されます。

  • 出力と正しい解の差が大きいほど、重みの修正を大きくする。
  • 入力が大きいほど、重みの修正を大きくする。

上記したように、デルタ則ではあるべき状態と出力が乖離しているほど、あるべき状態へ戻すための重みの修正が大きくなります。また、”大きな入力 = シナプスへの強い刺激”となり重みが大きくなります。