|
中國網/中國發展門戶網訊 2018?年,《中共中央 國務院關于全面實施預算績效管理的意見》要求政府管理部門和有關執行部門必須樹立“花錢必問效、無效必問責”的績效管理理念,強調財政投入的有效性和投入產出的績效觀,這標志著我國進入了績效管理的新時代。績效評價是績效管理的核心環節,如何科學地開展財政績效評價,成為新時代績效管理面臨的首要問題。財政績效評價綜合打分制方法以其標準化、透明化、簡單易行等特點在績效管理推廣初期起到了重要作用。但是,隨著實踐的推進,綜合打分制方法難以準確反映績效實質的問題也日益凸顯。那么,應如何認識財政績效評價綜合打分制方法的問題與挑戰?如何改進或替代綜合打分制績效評價方法,以滿足新時代全面預算績效管理的需求?本文從財政績效評價綜合打分制方法的概念與應用出發,分析提出綜合打分制方法面臨的問題與挑戰,結合國內外的探索與實踐,提出相關改革思路。
財政績效評價綜合打分制方法的概念及其在我國的應用
財政績效評價綜合打分制方法的概念與內涵
綜合打分制績效評價方法來源于統計學中的綜合評分法,其核心是根據評價對象的不同等級賦予不同的分值,并以此為基礎進行綜合評價。該方法適用于評價指標無法使用統一的量綱進行定量分析的場合,而以無量綱的分數進行綜合評價。該方法廣泛應用于政府采購評標、專業技術人員職稱考核等場合。財政績效評價實踐中的綜合打分制績效評價方法,將多維績效整合于單一的指標化的方法體系中,采用逐項打分的方法評價多維績效目標的完成情況,并將多維績效得分加總,形成定量的績效評價結果,最終以分數或分檔的形式體現。綜合打分制績效評價的過程一般分為?4?個步驟:根據收集、整理的證據和設定的打分標準,對各項評價指標進行百分制打分;對每個評價維度的各項指標得分進行加權平均,算出每個評價維度的加權得分;根據每個評價維度的得分和權重,算出評價對象的總體得分;根據總分及分檔設置標準,確定受評對象的績效等級。
以財政部?2020?年印發的《項目支出績效評價管理辦法》為例,績效評價包括單位自評、部門評價和財政評價?3?種方式。單位自評指標既包括表征項目經費管理績效的預算執行率,也包括表征項目的產出、效益、滿意度等績效指標;單位自評指標的權重原則上是統一設定的,分為預算執行率?10%、產出指標?50%、效益指標?30%、服務對象滿意度指標?10%;單位自評采用定量與定性評價相結合的比較法,根據指標完成值與指標設定值的比例程度記分。部門和財政績效評價指標包括能全面反映項目決策、項目和資金管理、產出和效益的指標,各項指標的權重可體現差異性,但原則上產出、效益指標權重不低于?60%;部門評價和財政評價主要利用成本效益分析法、比較法、因素分析法等,對指標進行打分。部門和財政績效評價結果采取評分和評級相結合的方式,通過單項打分、累計加總的形式得出績效評價的分數結果,進而進行分檔。一般將總分設置為?100?分,等級劃分為?4?檔:90(含)—100?分為“優”、80(含)—90分為“良”、60(含)—80?分為“中”、60?分以下為“差”。
綜合打分制在我國財政績效評價中的應用
綜合打分制方法貫穿于我國財政績效評價的各個階段,廣泛存在于農業、教育、科技等各個領域。我國財政績效評價大致可劃分為試點探索、全面推進、提質增效?3?個階段。試點探索階段自?2000?年財政部成立預算編制改革領導小組開始拉開了財政績效評價的序幕。2001?年,湖北省財政廳根據財政部的統一部署,率先在恩施州選擇了“財政支農”“農業綜合開發”等?5?個項目開展財政支出績效評價試點工作。此次實踐形成了一套財政支出績效評價的指標體系和評價流程,并通過對各級各項指標進行打分呈現出最終的評價結果。全面推進階段開始于?2003?年,黨的十六屆三中全會通過了《中共中央關于完善社會主義市場經濟體制若干問題的決定》明確提出“建立預算績效評價體系”,財政部以此為契機,在規范管理化績效評價的同時,將試點范圍逐步向中央和地方全面鋪開,評價對象也逐步實現向部門和項目全覆蓋,試點領域逐步擴展至教育、社保、科技、農業等領域。相比試點探索階段,此階段在評價流程和評價體系上更為規范化、制度化,在評價方法上更加依賴并成熟使用綜合打分制。提質增效階段伴隨著全面預算績效管理的提出而到來,2011?年,財政部在第一次全國預算績效管理工作會議上首次提出了全過程預算績效管理的理念,并在之后的幾年內相繼發文,不斷完善財政績效評價頂層設計。到?2018?年,《中共中央、國務院關于全面實施預算績效管理的意見》的出臺將預算績效管理上升到國家層面,對績效評價提出了新的要求。當前階段,財政績效評價由傳統的“審計查賬”轉向對經濟、社會、生態、可持續影響和服務對象滿意度等多種因素的綜合考慮,必然要求評價方法的創新。
自財政支出績效評價試點開始,到全面預算績效管理下的績效評價,無論是單位自評、部門評價,還是財政評價,都普遍采用了綜合打分制績效評價的方法。綜合打分制在財政績效評價中形成了一種思維定式與固化習慣,即使該方法在諸如科技、教育等領域并不十分合適,但管理部門和領域專家似乎沒有找到可以替代的方法。例如,2020?年?7?月開展的國家杰出青年科學基金績效評價,由財政部預算評審中心組織專家和第三方機構開展績效評價工作,依據《項目支出績效評價管理辦法》的要求對決策、項目和資金管理、產出和效益指標進行細化和分值設定,采用因素分析法、專家評分法和公眾評價法進行判斷,最終由專家對每項指標進行打分,逐級加權求和得出其總分為?92?分,其績效評價等級為“優”。
財政績效評價綜合打分制方法的挑戰
財政績效評價綜合打分制方法自身的局限
綜合打分制績效評價方法以其評價體系的標準化、透明化、簡單易操作等特點,對于快速推進績效評價實踐、建立績效評價制度體系、深化績效評價理念起到了重要的作用。然而,綜合打分制績效評價方法的局限性也不容忽視,主要問題有?5?個方面。
綜合打分制將管理績效與產出績效等多維指標融為一體,難以體現績效實質。綜合打分制將管理績效與產出績效等多維指標融為一體,采取得分逐項累加的方式,形成單一的分數或分檔結果。以科研項目的預算績效評價為例,產出結果突出、管理績效一般的項目與產出績效一般、管理能力突出的項目兩者很可能出現績效評價結果分數一致的情況。引發績效評價結果掩蓋了績效的實質與問題,偏離了財政績效評價的目標。
“一刀切”的指標體系難以體現評價對象的差異性,難以體現績效實質。財政績效評價的對象特征千差萬別,即便對財政科技單項投入而言,也存在基礎研究、應用研究、試驗發展等多個類型,績效目標的側重點差異顯著。“一刀切”的指標體系,忽略了對象特征的差異性,難以體現績效戰略目標。
綜合打分制方法易于出現評價指標標準化,評價尺度差異化的問題。綜合打分制方法受到專家主觀判斷、評分尺度差異性的影響,即使在標準化的指標體系內仍然出現評價尺度差異較大的問題。而且,最終以分數或分檔呈現評價結果的方式,忽略了評價結果的形成過程,難以將評價對象的關鍵信息或問題揭示出來。
綜合打分制績效評價方法不利于建立績效管理的文化和氛圍。管理者將注意力集中在如何提升自身在既定指標體系中的表現,而放棄了對績效戰略目標的思考及對績效管理的改進,將績效評價演變為既定指標上的競爭,偏離了績效評價“以評促改”“以評促建”的初衷。
綜合打分制績效評價的組織需要消耗大量的人、財、物等資源。綜合打分制績效評價從專家遴選、項目評審到最終的結果審定、分級分檔等環節都需要大量的人力、物力投入,并且隨著評價對象數量的增加對資源的消耗呈幾何基數增長,給評價的組織方造成了較大的壓力。
美國廢止了財政績效評價綜合打分制方法PART
在財政績效評價中采用綜合打分制方法是國際上開展財政績效評價實踐初期的通用做法。美國聯邦政府作為政府績效評價實踐的先行者,在?1993?年通過《政府績效與結果法案》(Government Performance and Results Act,GPRA)后,于?2003?年由美國總統預算管理辦公室(OMB)開發了一套“項目評價評級工具”(Program Assessment Rating Tool,PART),用以評價聯邦政府財政支出的實施績效。
PART?以綜合打分制為核心,建立了通用的財政績效評價框架與指標體系。從評價指標及權重設置來看,評價指標由項目的目的和設計、戰略計劃、項目管理和項目結果?4?個一級指標構成。其中,項目結果所占權重最高,為?50%;其次為項目的目標和設計、項目的管理,權重均為?20%;權重最低的為項目的戰略計劃,所占權重為?10%。PART?一級指標下設?25?個基本問題及若干附加問題。其中,基本問題為所有被評項目的通用指標,附加問題則是基于項目類型差異而設置的個性化指標。基于項目類型差異,PART?將美國聯邦政府資助的項目分為直接聯邦項目、競爭性聯邦項目、穩定撥款項目、基于法規的項目、資本資產和服務獲取項目、信用項目及研究發展項目?7?個類型,并設置若干相應的附加問題。從評價流程來看,項目的主管機構首先需要以“是/不是”回答?PART?指標體系中的問題,并提供相應的證據和數據支撐;進而,由?OMB?對主管機構的回答給予?0—100?分的評分;而后,將評分轉化為?4?個評價等級,包括“有效”(85—100?分)、“中度有效”(70—84?分)、“勉強有效”(50—69?分)、“無效”(0—49?分)。
隨著?PART?不斷推進與實踐,其問題不斷凸顯,于?2008?年被廢止。實施初期,PART?以其評價體系的標準化、透明化、易于推行等特點得到了公眾與管理層的認可,這對于快速推動?GPRA?法案的落地,深化政府績效評價的理念起到重要的作用。截至?2007?年,PART?評價方法已基本覆蓋美國聯邦政府財政支持的所有項目的績效評價工作。然而,隨著實踐的深入,PART?自身指標化、打分制的理念受到眾多質疑,特別是“一刀切”的評價標準忽略了評價對象的個體差異性,評價結果主觀性過強、評價成本過高等問題日益凸顯。2008年,奧巴馬政府上臺后,全面改革政府績效評價的理念與方法體系,廢除了以?PART?為核心的綜合打分制績效評價方法,構建了新的基于證據的績效評價理念與方法體系。
財政績效評價綜合打分制方法的問題在科技領域的表現尤為突出
財政績效評價綜合打分制方法的問題在不同領域的表現有所差異。在產出易于量化、易于橫向比較的領域,其問題并不突出。但是,對于產出難以量化、目標難以測度和橫向比較的科技領域,特別是基礎研究領域,綜合打分制評價方法的問題較為凸顯。科技活動不同于一般財政資助的其他活動,具有成果形式的多樣性、效果影響的延遲性、投入產出的不確定性等特征。對于科技活動特別是前端的基礎科研活動能否開展績效評價,以及如何有效開展績效評價一直是各國在管理實踐中面臨的突出問題。
在美國的實踐中,1993?年美國聯邦政府出臺GPRA?法案之時,便在科技界、政策界引發了廣泛的關于“基礎研究投入能否開展績效評價?”的爭論。2003?年?PART?方法出臺后,對于其在科技領域是否適用的問題,也引發了討論,最終在實踐中為研究發展項目設立了單獨的附加問題,且在對美國國家科學基金會(NSF)的績效評價中采用了“亮點”(highlights)評價的方式,形成“50項亮點工作”(Beauty 50s)作為?NSF?績效結果的佐證。2008?年?PART?方法廢止后,由美國國立衛生研究院組織學術界、政策研究界、政府部門共同開展了關于如何開發新的研發(R&D)投入績效評價方案和模型以提高科學管理能力的研討會,探討美國聯邦政府財政科技績效評價的新方法。
在我國,雖然從?2000?年起便在財政績效評價中采用了綜合打分制的評價方法,但是在?2010?年國家自然科學基金成立?25?周年的績效評價之時,在深入探討“如何開展政府基礎研究投入績效評價”問題的基礎上,并未采用綜合打分制的績效評價方法,而是選擇采取“機構自評+國際同行評議”的方法,以找亮點工作和關鍵問題及其證據為抓手,開展基礎研究領域的財政績效評價。
改革財政績效評價綜合打分制方法的思路
那么,針對財政績效評價綜合打分制方法中存在的問題,特別是財政績效評價綜合打分制在科技領域面臨挑戰的問題,如何尋求解決思路?基于對問題的分析及對國際實踐的梳理,我們認為可從3 個方面著手。
理念上更加強調績效評價的方法應服務于績效管理的戰略目標。績效管理是由績效目標與計劃、績效監督與評價、績效結果與反饋所構成的閉環,績效評價只是上述閉環中的一個環節。績效評價方法的選擇不僅要兼顧科學性、合理性和可操作性,更要服務于績效管理的戰略目標,并隨著績效管理進入不同階段而動態調整。隨著績效管理的不斷推進,提升績效評價質量,服務于績效管理的戰略目標,成為績效管理改革的新理念。例如,美國聯邦政府對政府績效評價綱領性文件《政府績效與結果法案》(GPRA)的修訂,就突出體現了這一理念的轉變。2011?年,奧巴馬總統簽署通過了《政府績效與結果法案?2010?修正案》(GPRAMA)作為?GPRA?的修正條款,以保證?GPRA?的長期影響力。GPRAMA?的修訂重點體現在:突出績效目標在績效評價與管理中的作用。績效目標的設置是開展績效評價與管理的基礎與方向,績效評價方法的選擇,同時也應服務于績效目標。強化績效評價結果的應用,明確規范未達成績效目標的整改措施,以保證績效評價“以評促改”作用的切實發揮。完善政府績效評價的管理框架,更有效地指導政府績效評價工作的展開。GPRAMA?改革了原有綜合打分制的績效評價方法體系,將績效評價方法回歸服務績效評價目標的定位,實現以方法服務于使命的目標。GPRAMA?的核心在于績效評價重點聚焦戰略性目標的評價,而不是過去?PART?方法面面俱到的分點累積。
借鑒基于證據的績效評價等新方法,構建滿足財政績效評價管理需求的新的方法體系。未來在新的績效評價方法體系中應通過收集大量的數據、事實證據,以“基于證據+專家研判”的方法來評價績效目標的達成情況,并強調基于績效評價結果的管理改進。新的方法體系適用于機構、計劃、項目等不同對象的績效評價。在機構績效評價中,采取高優先級績效目標評價的方法:基于對機構自身使命定位的認識與理解,結合國家需求在?5?年期規劃中制定?3—8?項機構層面的高優先級績效目標,并提出實施方案。實施方案中包括高優先級績效目標的責任人及對高優先級績效目標的年度分解方案。在績效評價中,提出可靠的績效測度標準與指標,定期采集評價所需的數據,開展基于數據與事實的績效評價。在測度標準與指標的選擇中,首先考慮是否存在成熟可靠的做法。如果存在,則驗證該方法在本績效評價中的可重復性;如果沒有現成的方法,則需要考慮試驗、開發新的方法。上述做法是為了尋求行之有效的、適合績效目標的方法體系(圖?1)。通過評價結果公開的方式接受全社會的監督。項目層面的績效評價則成為機構層面開展高優先級績效目標評價的基礎,為機構層面的績效評價提供數據與事實。
以?NSF?的績效評價為例,2018—2022?年度,NSF?共提出?3?項機構高優先級績效目標(表?1)。其中,2019?年度,支撐高優先級績效目標評價的基礎數據和證據均來自于?NSF?項目績效管理的《科研績效階段報告》(Research Performance Progress Reports,RPPR)。PRRP?代替了原有的項目報告,采取臨時報告、年度報告、終期報告的方式描述科研項目的組織、成果、進展、影響力、經費等信息。新的績效評價方法體系以服務于績效目標、改進績效管理為目的,基于項目特點選取事實證據,采用多方專家研判的方式,判斷績效目標的完成情況并提出管理改進建議。
在財政績效評價綜合打分制問題凸顯的科技領域,可多采用科技評價實踐中已經形成的好方法。科技評價經過多年的實踐與探索,形成了豐富的理論體系與實踐經驗。例如,當前中國科學院研究所評價所采用的以同行評議為核心的重大產出導向評價體系,通過“兩個環節、一個基礎”,對研究所進行全面診斷。這是中國科學院在借鑒和比照國際經驗的基礎上,結合自身特點與發展規律,提出的新型同行評議模式,其特點是重在診斷,借助同行專家的力量幫助研究所發現問題、把握方向、改善管理,提高實現重大成果產出的效率;該模式采用了和美國?GPRAMA?中高優先級目標評價相似的一種方法。在機構評價這一復雜的問題體系中,選取其最為關鍵的定位、少數的重大產出和重點培育方向,作為評價的重點,而且是分項評價。將人才培養、資金管理、管理創新等作為輔助評價的維度,以突出研究所評價的重點與核心。可見,科技評價中積累的方法體系已經為財政績效評價提供了豐富的方法庫和案例庫,可結合財政績效評價的需求,合理選擇績效評價方法,構建滿足新時代財政績效評價管理需求的績效評價方法體系。
結語
我國自?2000?年試點開展財政支出績效評價以來,經歷?20?年的實踐,已基本建立了財政績效評價制度體系與方法框架,“花錢必問效,無效必問責”的理念深入人心。新的政治、經濟及社會形勢,對改革績效評價方法,提高績效評價質量提出了新的要求。基于對打分制績效評價方法的概念與應用、問題與挑戰及新的理念與方法的分析,作出以下判斷。
財政績效評價綜合打分制方法難以滿足財政績效評價高質量發展的需求。綜合打分制績效評價方法以其標準化、透明化、簡單易操作的特點,對快速推動績效評價工作,深化績效評價理念起到了重要的作用。我國經過?20?年的績效評價管理實踐,已基本建立起財政績效評價體系,積累了較為豐富的財政績效評價實踐,基本實現了財政績效評價的“全覆蓋”,已由績效管理的全面推進階段進入高質量發展階段。高質量績效管理對績效評價方法提出了更高要求,綜合打分制績效評價方法已完成其歷史使命,新時代亟待構建新的方法體系。
財政績效評價綜合打分制方法特別是難以體現科技財政績效評價的特點。高質量績效管理階段弱化了對評價方法表面形式化、合理性的需求,而是強調評價方法能夠體現績效實質,進而有助于促進基于績效結果的管理改進。綜合打分制績效評價方法以多維績效指標、逐項累加形成單一結論的方式,模糊了績效的戰略目標、難以體現績效實質。該方法在科技領域的應用,問題尤其突出。由于科技活動自身過程復雜、產出不確定性強,導致科技績效具有目標不確定性、績效標準不可量化等特點。因此,形式化、結構化的綜合打分制績效評價方法尤其不適應科技財政績效評價的需求。
應注重“基于證據的績效評價方法”和高優先績效目標評價方法在績效評價中的應用。美國聯邦政府以“基于證據的績效評價方法”取代了以?PART?為代表的綜合打分制績效評價方法。我國在新時代財政績效評價體系改革中可借鑒“基于證據的績效評價”理念,構建“基于證據+專家研判”的績效評價方法體系,評價財政績效戰略目標的達成情況。對于參與績效評價的專家,采取專家庫的管理模式,改變目前一次性評價所帶來的問題,構建跟蹤式、負責任的專家研判體系。有效發揮第三方機構在績效評價中專業化的職能,采取“準入資質”管理模式,全面提升績效評價方法體系的質量。同時,美國?GPRAMA?中高優先級目標評價實踐和中國科學院以“一三五”目標評價為特征的重大產出導向評價體系,都是高優先級目標評價方法的成功案例,值得借鑒。(作者:阿儒涵、程燕林、李曉軒,中國科學院科技戰略咨詢研究院 ;高軍,中國科學院;韓鳳,中國財政科學研究院芹;《中國科學院院刊》供稿)