Generalized Linear Function

x为原特征向量,y为增广特征向量

$$ g(x)=\underset{i=1}{\overset{\hat{t}}{\sum}}a_iy_i(x) $$

也即:

$$ g(x)=a^ty\\a=[a_1,a_2,...,a_{\hat{d}}]^t,y=[y_1(x),y_2(x),...,y_{\hat{d}}(x)] $$

g(x)对x不是线性的,对y是线性的

Untitled

Untitled

当输入的特征x在输入空间中不是线性可分时,使用合理的phi-function可以将他们映射到一个能够线性可分的空间中

Kernel Methods

Goal: 找到phi-function使得输入数据能够高维线性可分

Dual Representations: Ridge Regression

将x映射为$\phi(x)$

Untitled

使用矩阵形式表示$J(w)$

Untitled

代入:

$$ w=\Phi^Ta $$

Untitled