摘 要：专家评标意见的不一致是导致招标采购风险的主要因素之一。针对物资采购评标中专家意见的不一致现象，文章给出了一种衡量评标过程中专家意见一致性的评价方法。首先，分析了专家在评标过程中给出的评价矩阵，获得专家评价的基数打分和序数排序。然后，比较专家个体意见和群体意见得出专家意见的一致程度，并确定专家判断的相对可信程度。接着，用方差分析法检验专家意见的相对可信程度，进一步分析某些专家出现异常意见的可能原因。最后，以湖北电网物资采购评标为例说明了该方法的可行性和有效性。
关键词：招投标管理；评价矩阵；一致性；方差分析
中图分类号：F253 文献标识码：A
Abstract： The inconsistency of experts' bid evaluations is one of the main factors leading to the risk of purchasing by invitation to bid. To avoid the inconsistency of experts' evaluations， this paper provides a method to measure the consistency of experts' evaluations. Specifically， we analyze the evaluation matrix obtained by the processing of bid evaluation， gain the score of cardinal number as well as ordinal arrangement and get the related opinions of the experts' group. Then， comparing the consistency level between the personal opinions and the group opinions. By utilizing analysis of variance to test the relative credibility degree of experts' opinions， the possible reasons caused by the abnormal experts' bid evaluation are analyzed. Finally， we take the materials purchasing bid evaluation of Hubei power grid for example to illustrate the feasibility and availability of this method.
Key words： management of bidding and tendering； evaluation matrix； consistency； analysis of variance
0 引 言
招投标是招标方事先提出采购需求及条件，邀请必要数量的投标方和专家参加，并按照法定程序选择交易对象的一种市场交易行为。物资采购招标作为一种公开公正且有效的市场行为，在大中型企业中非常常见。其中，评标是一个重要环节，是确保公正公平的关键。在评标过程中，专家打分包含主观因素和客观因素，其中主观因素与专家的名望、地位、所属专业、对决策问题的熟悉程度等有关，而客观因素则取决于候选方案本身的特点和性质。由于评标专家的知识结构、判断水平和个人偏好等众多主观因素的影响，专家打分必然有一定的主观性，从而导致专家意见的不一致。
专家意见一致度评价[1]作为一种控制招投标风险的重要工具，能够有效地降低由于专家个体知识或经验不足而引起的误差。到目前为止，对专家意见一致度研究的文章有很多，一致度评价属于多属性群决策范畴。文献[2]用专家权威度衡量专家在研讨过程中的发言质量以及意见的权威性，并建立了专家群体之间的交互结构。但是文献[2]的结果可能受到偶然因素的影响，具有一定的随机性。而本文的方法直接通过分析专家的客观打分结果，建立一致度评价模型。因为专家打分的结果比专家即时发言更稳定，所以本文的一致度评价模型充分避免了文献[2]中专家即时发言对结果造成的偶然偏差。
专家评价[3，8]模式大致可分为三种，包括0-1型（选或不选）、序数型、基数型。文献[4]提出了三种可信度建模方法，给出了在专家决策[5-7]及评价活动中可能出现的三种不同评价模式下可信度的定量衡量方法。由于在实际的评价活动中某个大型项目的评标可能分为几个小的阶段，每个阶段模式未必相同；本文的方法整合了基数打分和序数排序，充分运用了专家打分[9]结果，对不同的评价模式具有很好的鲁棒性。
1 评标专家一致度的计算
本文提供了基于欧式距离的专家一致度评价模型（以下简称一致度）。具体地，某个专家对所有投标方的打分构成了该专家的一个评分向量，下面从分值和排序两个方面合成最终的一致度模型。一方面，由于评分向量的每个元素是具体的基数分值，将专家个体的评分向量按照加权平均得到专家群体的评分向量，并计算个体评分向量和群体评分向量的距离得到该专家一致度的基数部分；另一方面，各专家对投标方的打分可以按从大到小的顺序得到专家个体对投标方的排序，利用Borda法将专家个体的排序集结成群体排序，然后将排序转化为序号向量，并计算专家个体序号向量和群体序号向量的距离得到专家一致度的序数部分。最后，再将一致度的基数部分和序数部分按投标方的偏好加权平均得到最终的专家一致度值。
假设某次招投标，每个投标方需要提供k个指标，专家i对投标方j的k个指标的打分为分别为a k。而且各指标所占权值为ω ，ω ，…，ω ，则这个专家给该投标方总的打分p 用下式表示： 假设一次评标中有n个专家，分别用M ，M ，…，M 表示；有m个投标方，分别用B ，B ，…，B 表示。并假设这n个专家按照相同的评标规则，独立地评标，则某个专家M 对m个投标方B ，B ，…，B 的评价值构成了一个m维向量记为专家M 的评分向量p ：
那么，这n个专家的评价构成如下的n×m维矩阵P ：
下面，计算专家一致度的序数部分。从式（3）专家评价矩阵中，显然能得出各个专家对各个投标方的优劣排序。就序数成分而言，专家个体与专家群体的评标意见均构成各投标方的多属性综合排序。
将专家M 对各个投标方的打分值p ～p 按从大到小排序，得到各个投标方的序号值，并用B ～B 表示投标方B ～B 的序号值，例如对于任意给定的投标方j的分值是p ，则其在评分向量中对应的序号为B ，其中B ∈1，2，…，m。
则原专家评分向量由p 按上述方式映射为序号向量 ：
由于个体评价结果与群体评价结果一致度高的专家，其评价水平显然要高于一致度低的专家，对于排序也是一样，若某专家排序结果跟专家群体排序结果非常接近，就可以认定该专家的评价结果一致性非常强。而专家群体的排序结果可以按border法集结。得到专家群体的序号向量 ：
为了反映排序的差别，赋予群体排序的各个序位不同的顺序权重，例如：在群体排序中，令排到第h位的权值为w （满足 w =1）。一般情况下，专家群体对某个投标方的排序越靠前，其顺序权重越大，即：
比如下文算例中按等差数列给出4个投标方群体评价的序位权值，则权值ω ～ω 按顺序由大到小依次分配为0.4，0.3，0.2，0.1。
其中，x 表示专家M 的排序结果与专家群体的排序结果的偏离程度，这个偏离程度在一定程度上能够客观地反应出专家评价能力。但通常情况下，个体专家的评价意见会对群体评价意见的形成发挥一定作用。若某专家对投标方的排序结果与专家群体排序结果相似性大，则该专家一致度高，同时说明该专家是有一定权威性的。
下面，计算专家一致度的基数部分。分析方法跟计算一致度的序数部分类似，由上文已知专家M 对投标方B 的打分是p ，而专家群体对投标方B 的打分利用加权法得到：
其中， 是专家群体对投标方B 的打分，则专家M 与专家群体评价意见之间的评价一致度的基数部分βy 用下式表示：
其中，y 表示专家M 一致度的基数部分偏离程度，由上式可以看出当某专家对每个投标方的打分值都接近于专家群体的打分值时，评价的偏离程度越小，也说明专家评价一致度的基数部分越大。
最后，引入招标方的偏好因子λ来衡量其对基数打分和序数排序的偏好，根据该偏好综合专家打分的基数部分和序数部分，得到专家一致度的定义。令C 表示专家M 在本次评价中的一致度，则：
其中，αx 表示一致度的基数部分，βy 表示一致度的序数部分，λ为偏好因子。通常情况下，我们认为专家评价意见中的基数打分和排序是同等重要的，例如下文算例中，λ取值为0.5。
2 基于方差分析法的一致度检验
方差分析（ANOVA）又称“F检验”，用于两个及两个以上样本的均数差别的显著性检验。方差分析的原理是认为不同处理组的均数间的差别主要来源于随机误差和实验条件两个方面，随机误差又称为组内差异，记为实验条件引发的差异为组间差异。本文对专家评价矩阵按专家来分组，即将每个专家对各投标方的打分看作一个组。
利用方差分析的思想，分别计算排除每一个专家后其余专家的p-value值，并将p-value值变化最大时所排除的专家，与上文计算的一致度最小的专家比较，看是不是同一个人。如果是，则说明上述一致度计算方法是有效的，并且一致度最小的专家是异常专家。
具体地，将专家的评分矩阵P 看作是样本空间，按专家将评价矩阵的分值分组。则样本空间的组间离差平方和S 与组内离差平方和S ，计算如下：
其中， 表示专家M 对所有投标方打分的均值， 表示所有专家对所有投标方打分的均值。则方差分析的统计量F的可以由下式得出 其中，n表示专家个数，m表示投标方个数。
由于本文采用的方差分析的显著性水平选择α=0.05，所以可以将统计量F在显著性水平为0.05的情况下转化为
p-value值。p-value值能反映各组样本之间的显著性差异，我们通过比较去掉某个专家之后p-value值的变化大小来分析异常专家。
接下来，对于评价异常的专家要分析出评价异常的原因，比较该专家对各投标方的打分和专家群体的打分就可以分析出：该异常专家对某个投标方打分可能偏高或偏低。
3 算例分析
基于上述模型给出评审专家的一致度评价值，并且通过专家排除法对专家评分一致度检验，对于一致度高的专家，如果将该专家去掉，最终的得分结果将不会有大的变化。假定某次评标活动有5位评标专家M ～M ，4个投标方分别为B ～B ，即n=5， m=4，4个评价指标k ～k ，要求按照给定的评标指标对各投标方打分或排序。
评价指标分为商务指标和技术指标：某次评标中，其中商务指标包含3项：投标价格、交货期、售后服务；技术指标包含4项：技术规范、可靠性、设备质量、技术支持。以专家对投标方B 的各项指标打分为例，如表1。
。
假设群体排序的序数权重ω ～ω 分别取0.4，0.3，0.2，0.1，先通过式（7）计算专家评价的偏离度如下：x =0.4×1-1+0.3
×3-2+0.2×2-3+0.1×4-4=0.5；同理，可以得到x =1.3，x =1.1，x =0，x =0。
然后利用式（8）计算得到专家一致度的序数部分：
同理，可得αx =0.552，αx =0.621，αx =1.000，αx =1.000。 综合上述一致度的基数部分和序数部分，利用式（12）计算总的专家一致度。这里同等看待专家评价的基数打分和序数排序，则取λ=0.5。则专家M 的一致度：
同理，可得C =0.686，C =0.753，C =0.926，C =0.822
比较各个专家的一致度值C ～C ，可以得出专家个体评价的一致度差异；很显然，专家M 的一致度最小。下面用方差分析法检验上述一致度的有效性，并确定异常专家。
具体地，根据式（14），计算结果如表3、表4：
由表3、表4可以看出，去掉专家M 后p-value值变化最大，所以可以确定专家M 为异常专家。为了探讨专家M 的评价意见出现偏差的原因，下面将对比分析专家M 和排除专家M 后其余专家群体 的打分，如表5。
由表5可以分析出，专家M 对于各投标方的打分明显偏低，从而导致专家M 的一致度偏离群体评价结果很远。通过以上分析验证，本文提供的方法能有效地分析出评价异常的专家，并说明了异常可能出现的原因。
4 结 论
本文提出了一种衡量评标过程中专家意见一致度方法，通过计算评标中各专家意见的一致度，得出了评分异常的专家，然后，利用专家排除法检验异常专家是否真的异常。接着，针对异常专家，分析出了异常专家出现异常的可能原因。最后通过一个简单的算例，分别计算了各个专家的一致度，并通过方差分析法详细地说明了该方法的可行性、有效性和实用性。其中，基于专家排除模式的方差分析，思想比较新颖、独特，一方面验证了本文提出的一致度，另一方面指出了异常专家出现异常的原因。但是，针对异常专家每次可能不是一个的情况，还可以做进一步的优化改进。
参考文献：
[1] 梁牛熊立，王国华. 一种群决策中确定专家判断一致度的改进方法[J]. 系统工程，2004（6）：91-94.
[2] 李敏花，戴汝为，李耀东. 一种基于即时发言评价的专家权威度计算方法[J]. 模式识别与人工智能，2008（4）：469-475.
[3] 吴敬业，汤理. 评价专家的可靠性预分析[J]. 系统工程，1992（5）：52-59.
[4] 徐林生，王执铨，戴跃伟. 评审专家可信度评价模型及应用[J]. 南京理工大学学报（自然科学版），2010（1）：30-34.
[5] 宋光兴，邹平. 多属性群决策中决策者权重的确定方法[J]. 系统工程，2001（4）：84-89.
[6] 王学军. 群体决策中若干问题的理论与方法研究[D]. 沈阳：东北大学（博士学位论文），2005.
[7] 杨雷，席酉民. 群体决策的权力与权力指数[J]. 系统工程，1996（2）：10-14.
[8] 梁晶. 加强对评标专家异常性评分的判定与监管[J]. 建筑经济，2013（2）：97-99.
[9] 岳超源. 决策理论与方法[M]. 北京：科学出版社，2003.