roc和auc的区别和联系医学,roc auc含义
终极管理员 知识笔记 114阅读
文章目录 定义ROC曲线AUCArea Under the ROC Curve
定义
ROCReceiver Operating Characteristic曲线和AUCArea Under the ROC Curve是用于评估二分类模型性能的重要工具。
ROC曲线定义 ROC曲线是一个描述分类模型在不同阈值下真正类率True Positive Rate即查全率与假正类率False Positive Rate即1 - 查准率之间关系的图形。在ROC曲线上横轴表示假正类率FPR纵轴表示真正类率TPR。
作用 ROC曲线能够帮助我们可视化模型在不同阈值下的性能尤其在类别不平衡的情况下更为有用。通过观察ROC曲线我们可以判断模型是否能在不同阈值下保持较好的性能。
简单来说比如 通过 分类阈值[0.5 , 0.6 , 0.7 , 0.75, 0.8 , 0.9 ]如果预测的值高于分类阈值就是1 不是就0 来通过调节分类阈值来调节模型的好坏。来看这个模型的泛华能力如何
ROC曲线则是从这个角度出发来研究学习器泛华性能的有力工具
绘制ROC曲线的实现步骤如下
计算真正类率True Positive RateTPR和假正类率False Positive RateFPR 使用不同的阈值将模型的预测概率转换为类别标签然后计算每个阈值下的TPR和FPR。
True Positive RateTPR 也称为查全率Recall表示实际为正类别的样本中被模型正确预测为正类别的比例。 False Positive RateFPR 表示实际为负类别的样本中被模型错误预测为正类别的比例。绘制ROC曲线 将计算得到的TPR和FPR组成的点按照阈值的顺序绘制在二维坐标系上横轴为FPR纵轴为TPR。
以下是一个Python示例代码演示如何绘制ROC曲线其中假设y_true为真实标签y_scores为模型的预测概率。
注意代码里的阈值是自己给的
from sklearn.metrics import roc_curve, aucimport matplotlib.pyplot as plt# 示例的真实标签和模型预测概率y_true [1, 1, 0, 1, 0, 1, 1, 0, 0, 1]y_scores [0.8, 0.7, 0.4, 0.6, 0.3, 0.9, 0.5, 0.2, 0.1, 0.75]# 计算ROC曲线的TPR、FPR和阈值fpr, tpr, thresholds roc_curve(y_true, y_scores)# 计算曲线下面积AUCroc_auc auc(fpr, tpr)# 绘制ROC曲线plt.figure(figsize(8, 6))plt.plot(fpr, tpr, colordarkorange, lw2, labelfROC curve (area {roc_auc:.2f}))plt.plot([0, 1], [0, 1], colornavy, lw2, linestyle--)plt.xlabel(False Positive Rate (FPR))plt.ylabel(True Positive Rate (TPR))plt.title(ROC Curve)plt.legend(loclower right)plt.show()在这个例子中roc_curve函数会返回在所有可能阈值下的TPR、FPR和相应的阈值。然后通过plt.plot()函数绘制这些点得到了ROC曲线。曲线下方的面积AUC是ROC曲线的一个重要指标AUC越大表示模型在不同阈值下的性能越好。