机器学习训练模型用的数据集和测试数据用的训练集互斥，往往通过测试集的测试误差来近似模型的泛化能力，根据模型的泛化能力评价模型的优劣。
误差是学习器的实际预测输出与样本的真实输出之间的差异。
训练误差，或称经验误差，是学习器在训练集上的误差。
学习器在在新样本上的误差，称为泛化误差。
模型评价主要是根据训练误差和泛化误差，来选择最优的模型及其参数的过程。
1657681545648
1657681566461
1657681599705

回归模型评价方法

6个评价指标：

  • 平均绝对误差：所有样本实际值与预测值差值绝对值和的平均值
  • 均方差（（Mean Squared Error，MSE）：实际值与预测值差的平方的和的平均值
  • 解释回归模型的方差得分（Explained Variance Score）：

explained_variance(y,y^)=1−Var{y−y^}Var{y}explained\_variance(y,\hat{y})=1-\dfrac{Var\{y-\hat{y} \}}{Var\{y\}}

取值范围[0,1],真实值与预测值差值的方差越小，值越接近于1. 说明自变量越能解释因变量的方差变化。这是该指标称为解释回归模型的方差得分的原因。

  • 均方误差对数((Mean Squared Log Error, MSLE)):

MSLE(y,y^)=1n∑i=0n−1(log⁡e(1+yi)−log⁡e(1+yi^))2MSLE(y,\hat{y})=\frac{1}{n} \sum_{i=0}^{n-1}\left(\log_e(1+y_i)-\log_e(1+\hat{y_i})\right)^2

当目标具有指数增长的趋势时，该指标最适合使用

  • 中值绝对误差（Median Absolute Error）通过取目标和预测之间的所有绝对差值的中值来计算损失，以避免较大的离群值对结果的影响：

MedAE(y,y^)=median(∣y1−y1^∣,…,∣yn−yn^∣)MedAE(y,\hat{y})=median(|y_1-\hat{y_1}|,\dots,|y_n-\hat{y_n}|)

取中位数。值越小效果越好

  • r2_score判定系数，或称拟合优度、决定系数。即我们平时所说的R2R^2

分类模型

对分类模型评价，一般是将样本的预测类别与真实类标签对比，统计同一类别样本被正确划分到该类别的概率，以及错误地划分为其它类别的概率。或者统计划分为某个类别的样本中，真实属于该类别与错误地被划分到该类别的概率。

  • 混淆矩阵
  • 分类准确率
  • 召回率
  • F1分数
  • ROC曲线
  • 交叉验证
    • 随机子抽样验证
    • K折交叉验证
    • 留一交叉验证

聚类模型

  • 兰德系数
  • 互信息AMI
  • V-measure评分
  • FMI评价
  • 轮廓系数
  • calinski_harabaz指数