Perceptron

Untitled

数据只有正类和负类两类,类似SVM,使用一个超平面进行划分

Learning process:

Untitled

可以使用向量夹角来理解上述训练过程为何有效:

Untitled

当x属于正类时,x与w之间夹角小于90度;当x属于负类时,x与w之间夹角大于90度。

Untitled

当预测出现错误时,直接使用x对w进行修正

问题:单层感知机对一些复杂的逻辑无法模拟,如:异或

Untitled

于是出现多层感知机:

Untitled

Learning process:

Untitled

Untitled

Backpropagation