机器学习训练模型用的数据集和测试数据用的训练集互斥,往往通过测试集的测试误差来近似模型的泛化能力,根据模型的泛化能力评价模型的优劣。
误差是学习器的实际预测输出与样本的真实输出之间的差异。
训练误差,或称经验误差,是学习器在训练集上的误差。
学习器在在新样本上的误差,称为泛化误差。
模型评价主要是根据训练误差和泛化误差,来选择最优的模型及其参数的过程。
1657681545648
1657681566461
1657681599705

回归模型评价方法

6个评价指标:

  • 平均绝对误差:所有样本实际值与预测值差值绝对值和的平均值
  • 均方差((Mean Squared Error,MSE):实际值与预测值差的平方的和的平均值
  • 解释回归模型的方差得分(Explained Variance Score):

explained_variance(y,y^)=1Var{yy^}Var{y}explained\_variance(y,\hat{y})=1-\dfrac{Var\{y-\hat{y} \}}{Var\{y\}}

取值范围[0,1],真实值与预测值差值的方差越小,值越接近于1. 说明自变量越能解释因变量的方差变化。这是该指标称为解释回归模型的方差得分的原因。

  • 均方误差对数((Mean Squared Log Error, MSLE)):

MSLE(y,y^)=1ni=0n1(loge(1+yi)loge(1+yi^))2MSLE(y,\hat{y})=\frac{1}{n} \sum_{i=0}^{n-1}\left(\log_e(1+y_i)-\log_e(1+\hat{y_i})\right)^2

当目标具有指数增长的趋势时,该指标最适合使用

  • 中值绝对误差(Median Absolute Error)通过取目标和预测之间的所有绝对差值的中值来计算损失,以避免较大的离群值对结果的影响:

MedAE(y,y^)=median(y1y1^,,ynyn^)MedAE(y,\hat{y})=median(|y_1-\hat{y_1}|,\dots,|y_n-\hat{y_n}|)

取中位数。值越小效果越好

  • r2_score判定系数,或称拟合优度、决定系数。即我们平时所说的R2R^2

分类模型

对分类模型评价,一般是将样本的预测类别与真实类标签对比,统计同一类别样本被正确划分到该类别的概率,以及错误地划分为其它类别的概率。或者统计划分为某个类别的样本中,真实属于该类别与错误地被划分到该类别的概率。

  • 混淆矩阵
  • 分类准确率
  • 召回率
  • F1分数
  • ROC曲线
  • 交叉验证
    • 随机子抽样验证
    • K折交叉验证
    • 留一交叉验证

聚类模型

  • 兰德系数
  • 互信息AMI
  • V-measure评分
  • FMI评价
  • 轮廓系数
  • calinski_harabaz指数