Classifiers

• Binary classification → Only two results

Logistic Regression, SVM

• Multi-class classification → Binary classification array

Regression to Classification

Linear regresstion & ridge regression:

• Model: $f(x) = w^T x$
• $-\infin \sim +\infin$

Classification: Estimate $P(\omega|x)$

• $0\sim+1$
• 需要将线性Regression模型进行归一化

Sigmoid function:

$$ \sigma (t) = \frac{1}{1+e^{-t}} $$

• 输入为$-\infin \sim+\infin$，输出为$0-+1$
• 当需要将Sigmoid的值接近1/0时，自变量所需要付出的代价很多（梯度越来越小）

Logistic Regression

一种分类模型，通过使用Sigmoid函数估计概率来描述分类因变量与一个或多个自变量之间的关系

输入为特征向量，输出为线性模型经过Sigmoid函数处理后的概率