评估方法
- 留出法：数据集分为训练和测试集，尽可能保持数据分布的一致性，分层采样
- 交叉验证法：k个大小的互斥子集，每次用k-1个子集做训练集，1个做测试集，取平均误差
- 自助法：对D进行随机采样得到D’，数据采样可能会重复
性能度量
- 均方误差MSE
- 错误率：错的比例
- 精度：对的比例
- 混淆矩阵：真实分为正例与反例，预测也分为正例与反例
- 查准率：搜索系统中的准确率，真正例 / 真正例+假正例
- 查全率：搜索系统中的召回率，真正例 / 真正例+假负例
- P-R曲线
多分类学习
使用二分类解决多分类问题
对问题进行拆分，为拆出的每个二分类任务训练一个二分类器
一对一：训练时间短，存储开销&测试时间大