一些激活函数:

image.png

为什么需要非线性的激活函数:

image.png

Stochastic Gradient Descent 随机梯度下降

image.png

Matrix calculus

Gradients:

image.png

image.png

Jacobian Matrix: Generalization of the Gradient

image.png

Chain Rule:

image.png