| 政府采購評審專家評分異常的判定和管理 |
| 發(fā)布時間:2021-12-01 08:56:38 | 瀏覽次數(shù)： |
政府采購評審專家評分異常的判定和管理在政府采購中，專家評審環(huán)節(jié)是實現(xiàn)公平、公開、公正“三公”原則的重要環(huán)節(jié)之一，評審結(jié)論通常決定了中標供應(yīng)商花落誰家。專家評審制度是我國政府采購法律、法規(guī)體系中一項重要的制度設(shè)計，《中華人民共和國政府采購法》賦予了評審專家對投標文件的評審權(quán)和中標供應(yīng)商的推薦權(quán)，專家的評審水平影響著政府采購綜合效益的發(fā)揮。然而，長期以來屢屢出現(xiàn)的評分異?，F(xiàn)象成為困擾政府采購監(jiān)管部門的一大難題，同時，還易引發(fā)供應(yīng)商的質(zhì)疑、投訴以及采購人對采購結(jié)果的不滿意。
當前，越來越多的呼聲要求對政府采購評審專家的評分異常情況進行科學地評估和有效地監(jiān)督管理。
評分異常的界定及原因分析
關(guān)于評審專家異常評分的定義，無論在理論界還是在政府采購行業(yè)內(nèi)至今沒有形成統(tǒng)一的意見。我國政府采購法律、法規(guī)體系中關(guān)于評分異常也沒有明確闡述。在《中華人民共和國政府采購法實施條例》《政府采購貨物和服務(wù)招標投標管理辦法》等文件中涉及“傾向性言論”“評分畸高、畸低”等少量表述，僅局限在一些原則性的規(guī)定上。
筆者理解，所謂評分異常的本質(zhì)，無外乎是“異于常規(guī)”或“異于常人”，即評審專家憑借個人喜好，隨意給出不符合普遍認知或有悖于常理的得分?！墩少徳u審專家管理辦法》中就評審原則有專門要求，即科學、公正、不受任何干擾，獨立負責。換言之，凡是違反上述規(guī)定的，都可以視為評分異常。
導致評委評分異常的原因大致可以分為主觀因素和客觀因素兩類。
主觀因素是指評審專家個人意志或主觀判斷等因素。例如：有的專家受利益驅(qū)使給特定關(guān)系人打出“關(guān)系分”；有的專家因為身份多重（比如同時作為供應(yīng)商代表或者采購單位代表），考慮到業(yè)務(wù)發(fā)展需要而為“朋友圈”相互關(guān)照打出“人情分”；有的專家受到其他專家的影響或者誘導，不問青紅皂白亂打“糊涂分”。總之，不管是主動還是被動，不論是有意為之還是無心之失，都是評審專家的思想觀念、道德水平和職業(yè)素養(yǎng)出了問題。
客觀因素是指非評審專家個人因素導致異常評分的其他因素。例如：在評審專家的入庫遴選過程中專業(yè)分類不科學、不精細或者審核標準不明確，導致專家“混崗使用”，因能力欠缺而無法科學地評分；政府采購評審專家?guī)烊藛T數(shù)量不足，專家易被圍獵、被腐蝕，難以公正評分；部分采購項目供應(yīng)商過多，評審工作量過大，專家在短時間內(nèi)無法完成超額的評審任務(wù)，不得不采取敷衍塞責的態(tài)度完成評標任務(wù)；一些地方的專家對法律法規(guī)、專業(yè)技能、廉潔自律教育等長期漠視，動態(tài)考核管理機制尚未建立等，這都給評分異?，F(xiàn)象的出現(xiàn)埋下了隱患。
評分異常的判定方法
評分異常是對投標文件中的主觀性評審內(nèi)容而言，因為客觀性評審內(nèi)容（比如供應(yīng)商的資質(zhì)、項目負責人的執(zhí)業(yè)資格、職稱專業(yè)核定等）實際上不應(yīng)當存在偏差，所有評審專家的結(jié)論應(yīng)當一致。
對于政府采購主觀內(nèi)容的評審是允許存在個體評審差異的，這種差異在合理范圍（區(qū)間）之內(nèi)，被看作為“偏差”。當然不能簡單地將“偏差”與“異?！被鞛橐徽劇ｊP(guān)于異常評分的判定標準，一直以來眾口不一，尤其是要從定量的角度去刻畫難度更大，但可以明確的是，偏差達到極限就是異常。盡管不同的偏差類型判斷的標準有所不同，但超出合理偏差范圍的評分就是異常評分。因此，要結(jié)合偏差的類型具體分析并建立合理的偏差模型。
評分偏差類型可以分為兩類，一類是橫向偏差，另一類是縱向偏差。
所謂橫向偏差，主要是指專家個人與同時參與同一個項目評審的其他專家相比，評分出現(xiàn)偏離，也就是“自己和別人比”有偏差，這種偏差容易甄別。中南大學的唐光杰在《科技評審中評分偏差模型的研究與應(yīng)用》一文中提出，此種偏差可采用基于統(tǒng)計、距離、密度的異常檢測方法；河南大學的焦易于等人在《基于異常評分行為分析的虛假評論商品識別方法》一文中則提出，此種偏差可采用正態(tài)分布擬合和時序數(shù)據(jù)突變點的檢測方法。不管采用何種方法，只要構(gòu)建相對科學、合理的數(shù)理模型，都可以比較直接地檢測出專家的評分偏離，有沒有接近或超過極限值，從而判定其是否為異常評分。
橫向偏差大致可細分為四種情況。第一，個性偏差。例如，不以招標文件規(guī)定的評標辦法為依據(jù)，而是根據(jù)個人喜好隨意給出評標結(jié)論。這類偏差有的出于有意（受利益驅(qū)使），有的出于無意（工作態(tài)度敷衍塞責）。總之，這類偏差屬于純粹的主觀臆斷，是主觀惡意最大的偏差。第二，學識偏差。因評審專家的專業(yè)技術(shù)水平或者實踐經(jīng)驗達不到評標所需的標準而出現(xiàn)的非主觀層面的偏差。例如，待評審項目的專業(yè)要求與專家自身從事或者熟悉的專業(yè)大相徑庭，甚至有些專家完全不了解所評項目的專業(yè)特點，這屬于專家能力不足導致的一種偏差類型。第三，認知偏差。認知偏差是專家基于自身的認知程度，對同一份投標文件的同一個評分項存在不同理解的情形，這也會導致評標結(jié)論存在較大差異。例如，對于“最近三年來無重大質(zhì)量安全事故”的時限起算點的爭議，專家A認為，應(yīng)從行為發(fā)生之日起算。專家B則認為，應(yīng)從認定存在重大質(zhì)量安全問題法律文書的生效之日起計算。導致這類偏差產(chǎn)生的原因主要是招標文件的評標標準設(shè)計不嚴謹，使專家在評審過程中產(chǎn)生理解上的分歧、認識上的偏差。第四，隨機偏差。隨機偏差是專家出于非主觀原因?qū)е碌囊环N無意識的偶然偏差。例如，對于夜間施工噪聲，兩個投標文件提供了不同的控制方案，一種安裝了聲屏障，另一種則砌筑了降噪棚，但是兩者都將噪聲控制在招標文件規(guī)定的55分貝之內(nèi)。專家出于無心過失給出了不同的分值。
橫向偏差判定（Determination of lateral deviation，LAD）。在橫向偏差判定時應(yīng)關(guān)注兩個指標：一是在同一項目中，對同一投標單位所有評標專家評分的平均值與各個專家評分對平均值的偏離程度；二是在同一項目中，以單個評標專家為對象分別計算其對所有投標單位打分的平均值偏離程度。至于偏離的置信區(qū)間可預(yù)先設(shè)定一個區(qū)域（如±10%—20%），根據(jù)評標項目不同屬性分別設(shè)置。如勘察設(shè)計、監(jiān)理等技術(shù)服務(wù)類項目主觀評審因素影響較大的，可以適當放寬區(qū)域上下限。
通常，設(shè)定專家評審得分為Pi，對于同一個投標單位的其他專家的評審平均分為P，預(yù)設(shè)的橫向偏離區(qū)間為Δ，則合理橫向偏離幅度應(yīng)當滿足公式①。
所謂縱向偏差主要是專家個人在評審類似項目時出現(xiàn)的評分偏離，也就是專家“自己和自己比”有偏差。這種偏差類型目前國內(nèi)研究者尚無人關(guān)注也未有人提及，但其實是十分關(guān)鍵的偏差來源之一。其理論依據(jù)是，在評審過程中，如果有兩個項目供應(yīng)商提交的投標文件在資格條件、響應(yīng)程度、履約能力等各方面都高度一致（或相同），同一個專家對于這兩個項目應(yīng)該給出相近或者相同的評分。否則，就存在偏差傾向。當然，這兩個項目可能不在同一時期出現(xiàn)，因此甄別起來就比較困難，沒有數(shù)據(jù)庫的積累和大數(shù)據(jù)分析工具的支持，很難捕捉到其中的差別，而這點正是大多數(shù)人容易忽略的情形，有時甚至連專家本人都無法解釋為何出現(xiàn)評分偏差。
縱向偏差判定（Determination of longitudinal deviation，LOD）。專家的縱向偏差判定比較困難，因為需要有足夠的樣本和大數(shù)據(jù)工具的支持。從相對簡化角度來看，可按照以下步驟處理：首先，要判斷待評審項目與以往已評審過的歷史項目，在項目特征、采購需求和投標供應(yīng)商的響應(yīng)程度方面是否高度相似；其次，要分析待評審的投標供應(yīng)商與以往投標項目過程的基本情況有無明顯變化（如資質(zhì)、資格、產(chǎn)品規(guī)模等）；再其次，選擇同一個供應(yīng)商時在時間跨度上不宜太大，否則會受政策環(huán)境、評標標準變化等因素影響；最后，滿足前三個基本條件的，可以對專家的評分進行縱向抽樣比較。如發(fā)現(xiàn)專家對同一個企業(yè)的評分存在明顯偏離的，就有理由懷疑其存在異常評分行為。
設(shè)專家本次評分結(jié)果為Qi，歷史上專家對于該企業(yè)的評分為Q，預(yù)設(shè)的縱向偏離區(qū)間為▽，則合理縱向偏離幅度應(yīng)當滿足公式②。
評審時長判定（Determination of bid evaluation duration，EVD）是橫向偏差判定和縱向偏差判定以外的一個重要且簡捷有效的補充判定方法。理論依據(jù)簡單，即沒有足夠的評審時長保障，專家不可能作出合理的評審結(jié)論。由于我國的政府采購一般都是通過計算機評審系統(tǒng)對電子投標文件進行評審，因此，專家在瀏覽電子文檔的駐留時間很容易被計算機自動記錄下來（一般利用Ajax輪詢技術(shù)就可調(diào)用專家瀏覽投標文件的后臺日志），如此容易判斷專家能否給出公正的評審結(jié)論。這個時間維度的指標可以從多個角度來定義或者計算，比如，可以計算單頁駐留時長、全文本頁面平均駐留時長、頁面停留極端時長（即單頁最長或者最短駐留時長）等。
當然要構(gòu)建合理的標書文件駐留時長模型不易，因為時長模型涉及的參數(shù)眾多，要充分考慮投標文件字體的大小、文字內(nèi)容的難易程度、信息密集程度，以及專家的閱讀習慣、專業(yè)水平等。有時為了方便起見，也可以采用縱橫比較的方法來作一些粗略的判斷，比如評標時長不到其他專家平均時長的1/5，那就需要重點關(guān)注該評委有沒有存在草率評標的情形。另外，專家對于不同的投標文件存在明顯的瀏覽時間差異也是一個應(yīng)當引起重視的現(xiàn)象，因為，很難想象，專家對于不同的投標文件在嚴重不對等的時長分配下能給出令人信服的結(jié)論。
異常評分判定公式
政府采購評審中，應(yīng)當分別運用以上三種判定方式，最終分析得出專家的評分是否屬于異常評分情形。當然也可以對以上三種方式進行權(quán)重分配后給出一個綜合評價數(shù)值。
設(shè)橫向偏差、縱向偏差和時長偏差合理評分置信區(qū)間分別為[LADmin,LADmax]、[LODmin,LODmax]、[EVDmin,EVDmax]，評審專家的橫向、縱向、時長評分分別為LAD、LOD、EVD，綜合評價數(shù)值公式如③，且同時滿足公式②時，可判定為異常評分。
有時也可事先設(shè)定一個綜合置信區(qū)間，即假定綜合合理評分置信區(qū)間（Comprehensive confidence interval，CCI）為[CCImin，CCImax]，對橫向、縱向和時長偏差根據(jù)對異常評分的可能影響程度分別進行權(quán)重分配，設(shè)權(quán)重系數(shù)分別是α、β、γ，則判定公式可更改為公式④。
從異常評分判定的科學性、全面性而言，公式③更加客觀、公正，但是計算量較大；公式④相對比較簡便，但是易造成誤判。需要政府采購管理部門在積累大樣本數(shù)據(jù)的基礎(chǔ)上適時調(diào)校置信區(qū)間參數(shù)。
如圖是江蘇省南通市政府采購評審專家的一份異常評分檢測報告。從圖上的分析結(jié)論來看，張姓評委在橫向偏離、縱向偏離都超過了預(yù)設(shè)的閾值（極限值），尤其是時長偏差明顯有悖于常理。因為其在單頁的平均瀏覽時間只有4秒，47份投標文件、4000多頁的文本在短短67分鐘內(nèi)就評審完畢，顯然是不符合評審規(guī)律的（甚至可以得出部分投標文件根本沒有瀏覽的結(jié)論），因此判定其存在異常評分證據(jù)確鑿無疑。
異常評分的修正
從現(xiàn)行的政府采購法律體系看，即便能夠科學、公正地甄別出專家的異常評分也很難直接予以修正。首先，國家層面對異常評分還沒有明確的界定標準或處置方法。財政部雖然在《關(guān)于進一步規(guī)范政府采購評審工作有關(guān)問題的通知》中指出，采購人、采購代理機構(gòu)……要對評審數(shù)據(jù)進行校對、核對，對畸高、畸低的重大差異評分可以提示評審委員會復核或書面說明理由，但沒有允許直接修正評分。其次，多數(shù)評審專家對于自己的評分出現(xiàn)偏差也難以接受，更不會主動提出修改評審結(jié)論。最后，評分修正關(guān)系企業(yè)切身利益，決定了中標供應(yīng)商資格的歸屬，無論是采購人還是行業(yè)監(jiān)督部門都不得不采取小心謹慎的態(tài)度，在沒有充分依據(jù)的情況下不會主動啟動評分修正程序。
基于上述原因，目前比較合適的做法是，把專家的異常評分與日?？己寺?lián)動起來，對于長期出現(xiàn)異常評分情況的專家，及時指出問題所在，加強監(jiān)督教育管理，拒不改正的，堅決暫停其評審資格或者清理出庫。有條件的地區(qū)，可以在積累一定樣本數(shù)量的基礎(chǔ)上，通過大數(shù)據(jù)分析方法，研究哪些領(lǐng)域、哪些行業(yè)、哪種評標方法容易引發(fā)異常評分偏差，定量分析專家的評審質(zhì)量波動幅度和趨勢，從而為政府采購行業(yè)主管部門制定標后評估管理辦法提供科學的依據(jù)。
評審專家的異常評分在政府采購行業(yè)內(nèi)飽受詬病，它破壞了公平公正的市場秩序，違反了優(yōu)質(zhì)優(yōu)價的評審原則。要從根本上破解這個難題，需要從管理、技術(shù)和政策三個方面同時施策。
基于管理層面，異常評分的一個根本原因是評審專家擁有過大的自由裁量權(quán)，評分空間彈性太大，專家不恰當?shù)匦惺惯^大的自主權(quán)很容易導致評分偏離正常的軌道。因此，要在評標辦法的制度設(shè)計上壓縮自由評審的幅度和范圍。財政部在《關(guān)于進一步加強政府采購需求和履約驗收管理的指導意見》中明確指出，采購文件設(shè)定的評審因素要與采購需求對應(yīng)，采購需求相關(guān)指標有區(qū)間規(guī)定的，評審因素應(yīng)當量化到相應(yīng)區(qū)間。另外，在評標方法的選擇上，要結(jié)合采購項目特點和實際需要選擇恰當?shù)脑u標方法。對于采用通用技術(shù)、成熟工藝的常規(guī)采購項目，宜采用價格單因素（包括經(jīng)評審的最低評標價法）等客觀因素主導的評標方法，不宜選用過度依賴評委主觀評判的綜合評分法，這樣從根源上就鏟除了可能滋生異常評分的不利因素。
基于技術(shù)層面，隨著信息化技術(shù)的進步，利用人工智能來輔助評審是解決專家評分異常的有效工具。目前，一些地方已經(jīng)開始嘗試此做法，例如，中山大學研發(fā)出了一種快速采購系統(tǒng)，首次將人工智能AI與數(shù)據(jù)技術(shù)應(yīng)用于招投標和評標等采購過程中。智能評審的基本思路是將采購文件進行結(jié)構(gòu)化拆解、抽取評分點信息、調(diào)用評審樣本數(shù)據(jù)庫，再借助半監(jiān)督機器學習算法，以知識圖譜技術(shù)為補充，實現(xiàn)對投標文件的智能評審。這樣的評審結(jié)論基本上可擺脫人為的主觀判斷，結(jié)果的均衡性、穩(wěn)定性顯然大大優(yōu)于人為操作。
基于政策層面，如果能在科學論證的基礎(chǔ)上，適度賦予采購人在異常評分識別機制下可以自主修正評審結(jié)果的權(quán)利，則能一定程度上減小異常評分帶來的危害。
（作者單位：江蘇省南通市政府采購中心）
編后
政府采購中，無論是出于有意還是無意，評審專家主觀傾向性異常打分是直接影響政府采購評審公正的主要因素之一。目前，由于缺乏明確的依據(jù)和判斷標準，政府采購監(jiān)管部門很難進行科學治理。而本文作者從產(chǎn)生異常評分的背景和因素出發(fā)，提出了判定異常評分的識別方法，并就如何有效預(yù)防異常評分提出相關(guān)建議。
構(gòu)建公平、健康、有序的市場環(huán)境，是政府采購的必然要求。我們相信，隨著政府采購制度的不斷完善以及科學技術(shù)的蓬勃發(fā)展，未來，政府采購領(lǐng)域?qū)υu審專家的異常評分可以有效地識別、分析、判定和管理。
|
| 上一篇:南陽市公共資源交易中心關(guān)于印發(fā)《關(guān)于落實保證金及時退還工作的六條措施》的通知 下一篇:政采標準化建設(shè)離不開采購人的深度參與 |
公司總部：河南省南陽市新華路686號
聯(lián)系電話：0377-63391999 18625679369
E-mail：hnhsgcgl@126.com
關(guān)注我們
豫公網(wǎng)安備 41130302000502號
技術(shù)支持：創(chuàng)世網(wǎng)絡(luò)