机器学习训练模型用的数据集和测试数据用的训练集互斥,往往通过测试集的测试误差来近似模型的泛化能力,根据模型的泛化能力评价模型的优劣。
误差是学习器的实际预测输出与样本的真实输出之间的差异。
训练误差,或称经验误差,是学习器在训练集上的误差。
学习器在在新样本上的误差,称为泛化误差。
模型评价主要是根据训练误差和泛化误差,来选择最优的模型及其参数的过程。
回归模型评价方法
6个评价指标:
- 平均绝对误差:所有样本实际值与预测值差值绝对值和的平均值
- 均方差((Mean Squared Error,MSE):实际值与预测值差的平方的和的平均值
- 解释回归模型的方差得分(Explained Variance Score):
取值范围[0,1],真实值与预测值差值的方差越小,值越接近于1. 说明自变量越能解释因变量的方差变化。这是该指标称为解释回归模型的方差得分的原因。
- 均方误差对数((Mean Squared Log Error, MSLE)):
当目标具有指数增长的趋势时,该指标最适合使用
- 中值绝对误差(Median Absolute Error)通过取目标和预测之间的所有绝对差值的中值来计算损失,以避免较大的离群值对结果的影响:
取中位数。值越小效果越好
- r2_score判定系数,或称拟合优度、决定系数。即我们平时所说的
分类模型
对分类模型评价,一般是将样本的预测类别与真实类标签对比,统计同一类别样本被正确划分到该类别的概率,以及错误地划分为其它类别的概率。或者统计划分为某个类别的样本中,真实属于该类别与错误地被划分到该类别的概率。
- 混淆矩阵
- 分类准确率
- 召回率
- F1分数
- ROC曲线
- 交叉验证
- 随机子抽样验证
- K折交叉验证
- 留一交叉验证
聚类模型
- 兰德系数
- 互信息AMI
- V-measure评分
- FMI评价
- 轮廓系数
- calinski_harabaz指数
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 小明的博客!
评论