激活函数

ReLU

修正线性单元,仅保留正元素

$$ReLU(x)=max(x,0)$$

pReLU

ReLU的变体,即使某些参数为负也可以通过

$$pReLU(x)=max(x,0)+\alpha min(x,0)$$

Sigmoid

挤压函数,压缩到0,1之间

$$Sigmoid(x)=\frac{1}{1+e^{-x}}$$

tanh

双曲正切函数,压缩到-1,1

$$tanh(x)=\frac{1-e^{-2x}}{1+e^{-2x}}$$