3.1 深度学习基础

3.1.1 神经元与神经网络

从数字识别谈起:

定义数字的图像与模式:

Untitled

如果我们使用一个数字的图像与一个数字的模式进行按位乘

Untitled

得到的结果可以看作是数字的匹配度:

Untitled

接下来使用函数进行归一化:

$$ \sigma(net)=\frac{1}{1+e^{-net}} $$

同时添加偏置项

Untitled

由此可以得到上述模式匹配的数学表达:

$$ net=w_1x_1+w_2x_2+...+w_nx_n+b\\y=sigmoid(net) $$

进行形式改写:

Untitled

写成向量表示:

输入:$x=[x_0,x_1,...,x_n]$