Contents
ReLUとは
ランプ関数と呼ばれるもので正規化線形関数と日本語訳され、以下の特徴を持つ
$$\begin{eqnarray}y= \begin{cases} 0 & ( x \leqq 0 ) \\ x & ( x \gt 0 ) \end{cases}\end{eqnarray}$$
つまり、xが以下の場合は必ずy=0を返し、0より大きい場合y=xを返す。
import numpy as np
import matplotlib.pyplot as plt
def relu(x):
return np.where(x <=0, 0, x)
x = np.linspace(-5,5)
y = relu(x)
plt.plot(x,y)
plt.show()
