摘要：完整的信用风险管理体系不仅包含科学的违约概率预测
方法，可靠的验证程序也是风险管理工作的重要保证。传统的检验方法建立在“50%”临界点的基础上，但这并不是一个可靠的选择。ROC动态检验方法中判断标准被设定为动态变化的，ROC曲线刻画的是在连续临界点取值下，命中率和错报率的组合情况，呈现的检验结果客观直接，且不产生指标间的相互矛盾。通过基于真实数据的实证分析，ROC动态检验被认为是一个更科学的检验方法。
关键词：ROC 内部评级 违约概率 模型检验
1 概述
在巴塞尔委员会2004年6月正式发布《统一资本计量和资本标准的国际协议：修订框架》以来，建立符合自身利益和监管要求的信用管理系统已经成为各家银行的共识。然而完整的信用风险管理体系不仅包含科学的违约概率预测方法，严谨的验证过程也是风险管理工作的保证。巴塞尔委员会要求“银行必须建立一个健全的体系，验证评级系统所有风险要素的准确性和一致性”[1]。因此，一个合理的违约预测结果检验方法和违约预测方法本身一样重要。
然而现有的研究工作依然大量地集中在预测模型本身，对检验方法的研究还相对薄弱，目前相关文献中采用的预测模型检验方法大多为传统的“50%”临界点检验
由于传统检验方法的局限性，学者进行了检验方法的相关研究。目前得到业界和学术界较多关注的方法有KS指标法、CAP曲线法、对数似然率方法以及ROC曲线法。其中，得到最多关注和认可的当属ROC曲线法。然而从可以获得的研究成果来看，相关的研究工作均是在进行信用风险预测模型研究时为了验证模型的预测准确性而涉及该方法[6]。这些研究并未对其进行详尽的理解和介绍，对其检验结果的分析也仅限于ROC面积这一指标，存在极大的片面性。
本文以真实数据为基础，采用ROC动态检验方法，分别对两种违约预测模型的预测能力进行检验。研究工作对检验结果进行比较，证明了ROC动态检验方法在模型预测检验上更加全面，在模型选择上具有更好的识别能力。同时，ROC检验方法使得决策者能够根据自身对Ⅰ类错误率和Ⅱ类错误率的偏好倾向而更加灵活地选择是否违约的判断标准。这说明ROC动态检验方法在理论上和实践中都具有更大的优势。
2 ROC动态检验方法简介
ROC动态检验最先出现在信号探测理论中，是一种科学的量化检验方法，能有效克服传统检验方法在临界点选择上的片面性。Sobehart和Keenan第一次将这一方法运用在信用评级模型预测能力的检验研究工作中（2001）[7]。他们对ROC方法进行了介绍，同时对ROC检验方法的结果做了解释。他们最主要的结论是：ROC曲线下的面积大小，是对信用评级模型进行评判的重要指标。但是ROC曲线的意义远不止于此。
■
图1 违约客户和履约客户分布图
图1是违约客户和履约客户的分布图，其中两个半圆分别代表了违约客户集合和履约客户集合。对于违约概率预测模型来说，风险评估人员需要事先设定一个概率值作为判断标准，依此对企业在未来是否违约做出判断。“C”即代表了对是否违约的判断标准：如果模型预测客户违约概率大于C标准，我们认为该贷款客户将会出现违约；反之，则判断其可能履约。如果“C”能将两个客户群体完全区别开，则是一个完美的模型预测结果。但是，实际模型得到的违约群体和履约群体两个分布一定有重叠部分，这是评判模型的精确程度的重要依据。重叠部分越大，评判模型对客户分布的区分能力越差，模型预测的精度也就越差。
表1是模型预测可能得到的四种结果：
表1 模型预测四种结果②
■
hit（C）表示以“C”为判定标准时，“hit”所代表的客户数目，即被正确判定为违约的实际违约贷款客户数目。ND是实际违约客户数目。命中率HR（C）=■表示在判定标准为“C”的时候，被正确判断为违约的实际违约客户占全部违约客户的比例。这一指标是对模型正确判断违约客户能力的衡量。
false（C）表示以“C”作为判定标准时，被错误判断为违约的实际履约客户数目；NND表示样本中实际履约客户的全体数目。错报率FAR（C）=■，表示当判定标准为“C”的时候，被错误判断为违约的实际履约样本数目占实际履约客户的比重。这一指标是对模型错误预报违约的程度的描述。
在传统的检验方法中，“C”通常被设定为“50%”。而ROC动态检验并不拘泥于特定的临界点标准。在ROC 检验中，“C”被设定为动态变化的，能够取从“0%”到“100%”间的任意一个概率值。因此，ROC检验方法对违约的判断结果是随着“C”的取值变化而改变的。
在一个坐标系中，以命中率HR（C）作为坐标系的纵坐标变量，错报率FAR（C）表示坐标系的横坐标变量。对每个观测样本，模型都预测出对应的违约概率。依次将这些概率值作为判定标准“C”，我们能够计算出每个“C”对应的命中率HR（C）和错报率FAR（C）。在坐标轴上对每一对HR（C）和FAR（C）描点，并将各个点用折线联接，因此我们得到的ROC曲线是一条由各个概率值为节点连接
成的折线。其特别之处在于，ROC曲线并不表示HR（C）随FAR（C）变化而变化的轨迹。事实上，ROC曲线反映了在不同的判定标准“C”取值下命中率HR（C）和错报率FAR（C）的配对情况。
ROC曲线必定经过点（0，0）和点（1，1）。这是因为当“C”取值最小违约概率值时，我们得到hit（C）=false（C）=0，此时HR（C）=FAR（C）=0；当C取值最大违约概率值时，则有hit（C）=ND，false（C）=NND，HR（C）=FAR（C）=1。 ROC曲线围成的面积用A表示，即：A=■HR（FAR）d（FAR）。A大小反映了模型的预测效果。A值越大，说明ROC曲线和坐标轴围成的面积越大，那么模型的预测能力越好。为了比较不同模型的预测效果，我们可以将A的大小转化单一数字表示的概况统计量AUC。AUC是单位面积的一部分，其值介于“0”和“1”之间。当AUC=0.5时，ROC曲线为一条斜向右上方的直线，这表示模型没有任何判定预测能力。如果模型达到最佳预测效果，ROC曲线和坐标系纵轴及HR（C）=1的横线相重合。其时，AUC=1。当我们需要对不同模型的预测能力进行比较时，方便的方法就是比较各个模型对应的AUC值。
3 基于二值响应面板数据模型的实证研究
为了进一步说明新方法的检验能力，我们以真实数据为基础，建立两个不同的二值响应面板数据模型进行模拟估计。为了对模型的预测能力进行检验，我们分别采用传统“50%”临界点方法和ROC动态检验方法。比较不同的检验结果，我们就能够发现两者在分析预测准确程度方面的不同表现，由此导致的在模型选择上的表现也有所差别。
3.1 样本选取
本文进行实证分析的数据来源是福建省2007年到2011年五年间78家连续在中国工商银行获得贷款的中等规模企业③相关财务信息和违约情况。由于该银行规定客户进行贷款申请时必须提供近三年的财务报告，同时银行也会根据历史数据对申请贷款的客户进行过往三年的信用等级评估。为了增加模型估计的样本数，我们将过
往信用评级（2005年至2006年）高于BBB级以上（含
3.2 信用评级模型构建
根据该银行进行内部信用评级所选用的财务比率的特点，全部财务指标可以分为四大类（表2）：偿债能力状况比率，财务效益比率，资产营运状况比率和发展能力比率。
表2 模型选用财务比率
■
为了比较不同检验方法在模型选择上所发挥的作用，我们借鉴郑大川（2010）[8]的做法，分别建立含有随机效应和不含有随机效应的二值响应面板数据模型。因变量Y取值为“0”和“1”，其中“0”表示履约企业，“1”表示违约企业。经过GLLAMM程序对样本内数据进行后向逐步回归变量选择后，最终确定模型变量为资产负债率，资本积累率，净资产收益率，流动资产周转率，主营业务现金比率，速动比率，流动比率。经过参数估计，最终得到模型参数的估计结果（表3）：
表3 违约预测模型参数估计结果
■
3.3 两种违约预测检验方法的结果
本文采用传统的“50%”临界点检验和ROC动态检验对两个预测模型分别进行检验。通过对检验结果的不同表现进行深入分析，试图说明新方法在模型检验和模型优劣性选择上所具有的优势。
我们采用传统检验方法，得到并归纳预测结果分析如下（表4）：
Ⅰ类错误和Ⅱ类错误是衡量二值模型预测能力的两个重要指标，在这里它们用来衡量模型预测误差的倾向性。在违约概率预测中，Ⅰ类错误过大反映模型容易错误地将违约企业视为正常企业而进行授信工作，从而给银行带来更大的信用风险；Ⅱ类错误过大则表示银行倾向
保守，容易将实际正常企业视为违约企业，而拒绝贷款发放，从而使得银行利润减少，从某种意义上来说，这也是一种风险。银行进行贷款发放时，需要综合考量两类错误。
我们同时采用ROC动态检验方法对模型预测结果进行准确性检验。经过计算，三条ROC曲线分别如图2。
为了更清楚地比较不同样本范围下两个模型进行ROC动态检验的结果，我们将ROC面积整理如下（表5）：
表5 两个模型在不同样本区间的AUC值
■
3.4 两种检验方法结果的分析
从实证结果来看，在传统的检验方法下，两个模型的优劣性在不同的指标上出现了相互矛盾的地方。表4显示，在正确率和Ⅱ类错误指标下，含有随机效应的模型在各个样本区间都优于不含随机效应的模型。但是，在Ⅰ类错误率指标下，含有随机效应的模型则呈现了相反的结果。结果显示，样本内区间上，含随机效应的模型Ⅰ类错误率是0.631，不含随机效应的模型则是0.737，含随机效应的模型要优于不含随机效应的模型。然而，在样本外区间和样本总体区间上，我们看到含有随机效应的模型Ⅰ类错误率分别为0.875和0.704，均高于不含随机效应的模型。这就表明，在Ⅰ类错误率这个指标上含有随机效应的模型反而不如不含随机效应的模型。
我们看到，ROC动态检验和传统“50%”临界点检验方法最大区别在于其所具备的全局性。传统方法以“50%”作为是否违约的判断依据，而ROC动态检验则是以出现的每个违约概率为依据进行ROC曲线的刻画。因此，ROC检验方法更能从整体上对模型的优劣进行判断。我们从图2可以清楚地看到，代表含随机效应模型的ROC面积均大于不含随机效应模型的ROC面积。表5的结果也清晰地印证了同样的结论。在三个样本区间中，含随机效应模型的ROC面积分别是0.77
7
8、0.83
1
6、0.7946，均大于不含随机效应模型的ROC面积。
图2还显示，在违约概率取值中段，取同样的Ⅱ类错误率，两种模型的差距最大；或者说在违约概率取值中段，取同样的Ⅰ类错误率，两种模型的Ⅱ类错误率差距最大。而越接近违约概率取值两端，两种模型的错误率差距越小。这说明在违约概率取值中段，所取的判断标准对两个模型的辨识能力最强。判断标准越接近极端情况，ROC曲线对模型的辨识能力将逐渐削弱。但是需要注意的是，辨识能力最强的判断标准显然并不恰好是“50%”。
4 总结
传统的“50%”临界点检验通过计算出正确率、Ⅰ类错误率、Ⅱ类错误率三个指标来判断出信用评级模型的预测能力。但是这一方法却存在着不足和缺陷。“49.999%”和“50.001%”的两个违约概率实际差别几乎可以忽略不计，但是却代表了“履约”和“违约”两种截然不同的结果。在对两个或若干个违约预测模型进行辨别选择时，“50%”的检验标准往往不是最具识别能力的。这样，传统的检验方法在模型识别时，往往出现错误的选择。同时，在单一的“50%”判断标准下，正确率、Ⅰ类错误率、Ⅱ类错误率也表现出了片面性和机械性。而且三个指标可能出现相互矛盾的结果，影响我们对模型选择做出正确的判断。
本文讨论的ROC动态检验方法正好克服了传统方法的不足，从整体上对模型预测能力进行检验。ROC面积包含了所有出现的违约概率情况，是进行模型选择的重要标准。这样就避免了指标值之间相互矛盾的情况。
ROC曲线纵轴和横轴坐标分别代表着命中率HR（C）和错报率FAR（C）。这就意味着通过ROC曲线可以得到不同违约概率作为判断标准时，模型所对应的Ⅰ类错误率和Ⅱ类错误率。这样，对Ⅰ类错误率和Ⅱ类错误率的判断再也不是机械不变的。同时，决策人能够根据自己对Ⅰ类错误率和Ⅱ类错误率的偏好，选择或宽松、或严格的判断标准。同时，从动态上对这两个指标进行考量，使得模型的检验选择工作更加全面合理。
ROC动态检验方法还有一个重要的好处。在同一坐标系上出现的不同模型的ROC曲线，其曲线间的间距实际上代表着不同模型的对“违约”和“履约”的识别能力的差别。通过观察ROC曲线图，我们就能快速准确地判断出更具识别能力的违约预测模型。同时，我们也能更便捷地选择更能够对模型进行识别的判断标准。