《全球智庫評價報告》共分為兩部分推送,此為下半部分。 二、智庫評價方法的對比分析 對于智庫的評價,可謂仁者見仁、智者見智。 國外學(xué)者在評估智庫的影響力方面,做了許多嘗試。其中的一種方法是對智庫業(yè)績進(jìn)行定量評估,計算他們帶來了多少媒體報道、員工向立法委員會陳述觀點的次數(shù)。[1] 安德魯·里奇和肯特·威佛仔細(xì)分析了美國51家智庫的知名度,發(fā)現(xiàn)被媒體報道數(shù)量多的機構(gòu)比媒體形象一般的智庫更有可能被召集到國會,向國會陳述觀點。[2] 安德魯·里奇在另外的研究中發(fā)現(xiàn),那些媒體報道數(shù)量多的智庫與那些政策制定者和其他意見領(lǐng)袖認(rèn)為是最有影響的智庫之間似乎存在某種關(guān)系。[3] 之后,唐納德·E.·埃布爾森對比研究了美國和加拿大兩國智庫影響政策制定的機遇、制約因素和有利條件,分析了公眾知名度和政策的相關(guān)性。 我國學(xué)者也對智庫的影響力做了探索。比如,朱旭峰對中國思想庫影響力進(jìn)行了實證分析[4],還有一些學(xué)者與機構(gòu)進(jìn)行了相關(guān)嘗試。 從目前國內(nèi)外的智庫評價情況來看,主要有三個智庫評價項目受到較多的關(guān)注與熱議。 (一)美國賓夕法尼亞大學(xué)的《全球智庫報告》 美國賓夕法尼亞大學(xué)所屬的“智庫與市民社會項目(TTCSP)”課題組(以下簡稱為“項目組”)從2006年開始,探索全球智庫的評價機制,并已逐步形成了其特有的一套智庫評價流程。具體而言,首先,在每年春季向其項目資料庫中的人員以及其他感興趣的公眾發(fā)送郵件,邀請他們登錄項目組網(wǎng)站,并推薦有資格參加“國際咨詢委員會“(“International Advisory Committee”,以下簡稱為“IAC”)的人員名單及聯(lián)系方式。然后,項目組向IAC成員發(fā)出提名邀請,請他們按照若干類別分別提名每個類別中他們認(rèn)為能夠排在前25名的智庫。在匯總提名結(jié)果后,將所有被提名為頂級智庫的候選機構(gòu)的匯總資料發(fā)給“專家小組”(“Expert Panelists”,以下簡稱為“EP成員”),邀請他們參考項目組提供的評價指標(biāo)對這些篩選后的機構(gòu)進(jìn)行分類排名、確認(rèn)和調(diào)整,在每年年底確定各個類別的最終排名。 表1 《全球智庫報告》的智庫評價指標(biāo)體系 資料來源:課題組根據(jù)相關(guān)資料匯總歸納。參見[美]詹姆斯·G.·麥甘:《2013年全球智庫報告》,上海社會科學(xué)院出版社,2014年6月。
根據(jù)介紹,項目組在2011年度共向全球182個國家的6545家智庫發(fā)出了參評邀請,并收到了120個國家的1500多位個人的提名回復(fù),其后要求提名者按照30個類別分別推薦出各類別中排在前25名的智庫,30個類別共收到25000項提名,被提名智庫共計5329家,其中202家智庫被提名為世界頂級智庫。 美國賓夕法尼亞大學(xué)“智庫與市民社會項目(TTCSP)”課題組較早地開始了對全球智庫的評價和排名研究,并將該項目持續(xù)推進(jìn)至今,已取得了智庫研究領(lǐng)域的一項標(biāo)桿性成果。該項目采用的是整體性測度方法中的“主觀整體印象評價法”,此方法簡而易行,因此盡管該項目組中只有詹姆斯·G.·麥甘(以下簡稱為“麥甘”)一名專職工作人員,但也可以通過實習(xí)學(xué)生的幫助順利完成每年的問卷調(diào)查工作。 然而,《全球智庫報告》在得到各方肯定的同時,不可否認(rèn),該報告也存在著諸多問題。在對歷年的《全球智庫報告》加以系統(tǒng)研究分析之后,我們認(rèn)為該報告主要存在如下六大問題。 第一,評價方法欠缺客觀性,有待進(jìn)一步完善。在全球智庫排名工作中,麥甘采用的是“主觀整體印象評價法”。這種評價方法的優(yōu)點是簡便易行,可以快速地對大量客觀主體(比如全球智庫)進(jìn)行評價,但與此同時這種評價方法的缺點也十分明顯,具體而言就是主觀導(dǎo)向的影響過大,評價者所處的地域、所研究的領(lǐng)域、所持有的觀點等等都會對全球智庫的評價產(chǎn)生不同程度的影響,因而也必然會影響到全球智庫評價結(jié)果的準(zhǔn)確性。我們認(rèn)為,客觀且全面的全球智庫評價方法不僅要有主觀的評價,而且更需要有大量的、多層次的客觀指標(biāo)的評價。只有主觀定性評價與客觀定量評價相結(jié)合,才能較為全面地對全球智庫做出相對公正客觀的評價。 第二,研究力量有待充實。很顯然,承擔(dān)全球智庫評價如此龐大的項目,必須擁有一支具備科學(xué)素養(yǎng)的研究團隊,必須有相對穩(wěn)定的財力支持。尤其是,麥甘所采用的“主觀整體印象評價法”要求必須通過優(yōu)秀的調(diào)研人員來最大程度地去除主觀評價中的偏差,這是保證“主觀整體印象評價法”有效實施的關(guān)鍵環(huán)節(jié)。然而,非常遺憾的是麥甘所進(jìn)行的該評價項目只由他一名全職工作人員負(fù)責(zé),而這個項目的數(shù)據(jù)收集、研究和分析,不是借助于實地調(diào)研或者專門的工作人員進(jìn)行的,而是依靠來自賓夕法尼亞大學(xué)和費城地區(qū)其他高校的實習(xí)學(xué)生進(jìn)行的。我們在海外實地調(diào)研中曾經(jīng)見到了參加全球智庫評價項目的實習(xí)學(xué)生,這些學(xué)生本身沒有經(jīng)過嚴(yán)格的學(xué)術(shù)訓(xùn)練,對于全球智庫的理解也比較粗淺,有的學(xué)生只是把該項目作為暑期實習(xí)以此獲得調(diào)研經(jīng)歷而已,由此可見倚重這些人員所進(jìn)行的調(diào)研,其調(diào)研質(zhì)量是令人擔(dān)憂的。 第三,專家遴選機制有待規(guī)范化與透明化。從麥甘報告可以看出,該排名工作中最重要的一環(huán)是專家小組的形成。2011年,麥甘通過在互聯(lián)網(wǎng)平臺上公開民主推薦國際咨詢委員會(IAC)和專家小組(EP成員)的方式,吸收了來自各地區(qū)和各研究領(lǐng)域的專家小組成員、跨領(lǐng)域的記者與學(xué)者、現(xiàn)任和前任智庫負(fù)責(zé)人、智庫的捐助人、社會民眾的代表、以及其他智庫相關(guān)人員等組成了專家小組。然而,麥甘并沒有給出專家小組成員的專業(yè)領(lǐng)域、地區(qū)所屬、職務(wù)職稱等具體分布情況,例如亞洲地區(qū)有多少人員參與到國際咨詢委員會和專家小組等,這些專家成員的構(gòu)成會直接影響到調(diào)查樣本對該地區(qū)智庫的認(rèn)知熟悉程度。在麥甘致評選專家小組成員的一封電子郵件中,他明確告訴這些評選專家,“你的選擇和排名將被嚴(yán)加保密”,同時,麥甘還向評審專家提議,“如果你沒有時間為所有智庫排名,那就花上幾分鐘為你所在的地區(qū)或你的專業(yè)領(lǐng)域的智庫排一下名”。這種隨意的評選要求顯示出該項目在質(zhì)量把控方面太過寬松草率。 第四,報告存在較多漏洞,難以令人信服,有許多值得商榷的地方。比如,2009年將“麻省理工大學(xué)經(jīng)濟系”單獨拿出來排在“科學(xué)和技術(shù)類前10”中的第2名,而在此后歷年的系列報告中,該智庫再也沒有出現(xiàn)過在這一類別里面。歐洲學(xué)者早在2010年就系統(tǒng)整理出西歐部分智庫在該報告排名榜上所存在的自相矛盾之處,例如英國的“大赦國際”在“西歐前40”中只排到第12名,卻同時又被排在了“世界前10(非美國)”中的第5名;在“西歐前40”中比大赦國際排名還要靠前的德國“艾伯特基金會”卻未排進(jìn)“世界前10(非美國)”類別之中等等,不一致的地方多達(dá)20余處。再比如,2012年的報告將中國社會科學(xué)院下屬的“世界經(jīng)濟與政治研究所”單獨拿出來與中國社會科學(xué)院一起參與排名,顯然沒有搞清楚機構(gòu)之間的隸屬關(guān)系。 第五,工作態(tài)度不夠嚴(yán)謹(jǐn)。例如,2010年該項目組在短短10天之內(nèi)就公開發(fā)布了三個不同版本的報告(即1月21日、25日、31日)。對此,有學(xué)者指出在第一個版本中,智利的“拉丁美洲和加勒比海經(jīng)濟委員會”被排在拉丁美洲和加勒比海地區(qū)的第一名,而在另外兩個版本中,這一機構(gòu)再也沒有出現(xiàn)在前40名之中,此外還出現(xiàn)了一個機構(gòu)在同一張表格中被同時排出兩個不同名次的錯誤。類似的錯誤也出現(xiàn)在《2014年全球智庫報告》中,“世界頂級智庫(含美國)”150強榜單里排名第48名與第99名的智庫都是中國的“國務(wù)院發(fā)展研究中心”。如此大的錯誤,足見其工作態(tài)度的粗疏。更令人困惑不解的是“布魯金斯學(xué)會”在2012年“環(huán)境類前70”排名中位列第2名,然而布魯金斯學(xué)會卻在其官方網(wǎng)站上公開聲明其并不關(guān)注環(huán)境政策方面的研究。類似的現(xiàn)象連續(xù)出現(xiàn)了幾年,即布魯金斯學(xué)會在多個分類排名中都被排入了前10名,而不管他們是否在該領(lǐng)域有研究活動。 第六,《全球智庫報告》尚未取得全球范圍的普遍認(rèn)可,其新聞通稿的宣傳內(nèi)容存在不實之處。2015年新聞通稿中宣稱,“《全球智庫報告》是在數(shù)千名國際專家學(xué)者的提名基礎(chǔ)上,依據(jù)科學(xué)系統(tǒng)的標(biāo)準(zhǔn)而形成的評定結(jié)果,自2007年發(fā)布全球智庫排名至今,已逐漸成為反映全球智庫表現(xiàn)和綜合影響力的國際風(fēng)向標(biāo)”。而我們在對美國多家著名智庫進(jìn)行調(diào)研時發(fā)現(xiàn),大家的看法并非如此。當(dāng)然,布魯金斯學(xué)會很樂意見到自己被該報告評為“全球第一智庫”,并且在其官方網(wǎng)站上對此進(jìn)行大張旗鼓地宣傳。然而我們到美國其它智庫調(diào)研時,無論是美國卡內(nèi)基和平基金會、美國企業(yè)研究所,或者美國戰(zhàn)略與國際研究中心、美國外交關(guān)系委員會,抑或傳統(tǒng)基金會、世界資源研究所,他們則都對布魯金斯學(xué)會榮膺“全球第一智庫”不以為然,只有在自己被報告的某個分類評為第一時,他們才會接受其評價結(jié)果。 綜上所述,我們認(rèn)為,《全球智庫報告》目前還存在諸多問題,其權(quán)威性也受到多方的質(zhì)疑。對此,國內(nèi)很多媒體并沒能做到全面而客觀地加以報道,以致出現(xiàn)了一些學(xué)者、研究機構(gòu)和媒體在不明事實情況下,盲目跟風(fēng)炒作的現(xiàn)象。我們建議對此類研究報告必須慎重對待、嚴(yán)加甄別,不可過高評估其價值。 (二)上海社會科學(xué)院的《中國智庫報告》 2014年1月22日,上海社會科學(xué)院智庫研究中心發(fā)布了中國第一份《中國智庫報告》,并公布了中國智庫影響力排名,其排行榜分綜合影響力排名、系統(tǒng)影響力排名和專業(yè)影響力排名三大類。該項目的評價方法基本上是參考麥甘的“主觀整體印象評價法”,對我國智庫的評價主要考核了四個方面,具體參見下表。 表2 中國智庫影響力評價標(biāo)準(zhǔn) 資料來源:上海社會科學(xué)院智庫研究中心,《2013年中國智庫報告——影響力排名與政策建議》,上海社會科學(xué)院出版社,2014年6月。 2015年,上海社會科學(xué)院智庫研究中心對智庫評價的體系進(jìn)行了修改,圍繞中國智庫的決策咨詢影響力、學(xué)術(shù)影響力、媒體影響力、公眾影響力、國際影響力,以及智庫的成長與營銷能力設(shè)定評價標(biāo)準(zhǔn),采用多輪主觀評價方法,就中國活躍智庫的綜合影響力、分項影響力、系統(tǒng)內(nèi)部的影響力和專業(yè)影響力等方面進(jìn)行打分與排名,并在此基礎(chǔ)上,總結(jié)歸納了中國最具影響力智庫的主要特征。具體評價標(biāo)準(zhǔn)參考下表。 表3 中國智庫影響力評價標(biāo)準(zhǔn) 資料來源:上海社會科學(xué)院智庫研究中心,《2014年中國智庫報告》,上海社會科學(xué)院出版社,2015年1月。 上海社會科學(xué)院智庫研究中心認(rèn)為:智庫影響力是其決策影響力、學(xué)術(shù)影響力、媒體影響力、公眾影響力和國際影響力的綜合體現(xiàn),加上智庫影響力實現(xiàn)的一整套渠道和機制,即智庫的成長與營銷能力等,共同構(gòu)成本報告對于中國智庫影響力的評價標(biāo)準(zhǔn)。同時,考慮到影響力是一種主觀評價,往往因人、因事而異,很難用具體的指標(biāo)加以測量。為此,項目組以多輪主觀評價法為主,利用相對模糊的序數(shù)排名,參考個別定量指標(biāo),對于智庫影響力進(jìn)行評價。 上海社會科學(xué)院開創(chuàng)了我國智庫評價的先河,最早推出了有關(guān)智庫評價的報告,明確提出了自己的評價智庫影響力的指標(biāo)體系。 上海社會科學(xué)院對中國智庫進(jìn)行了分類分析,即把中國智庫劃分為黨政軍智庫、社會科學(xué)院智庫、高校智庫和民間智庫四大類,并且對它們各自的智庫性質(zhì)、組織形態(tài)、經(jīng)費來源和研究方向等進(jìn)行了對比分析。[6] 值得一提的是,上海社會科學(xué)院根據(jù)中國智庫分類演化與研究領(lǐng)域的特點,在2013年的報告中設(shè)計了三類排名,第一類綜合影響力排名,第二類系統(tǒng)影響力排名,第三類專業(yè)影響力排名。 上海社會科學(xué)院的中國智庫報告中存在的問題,主要體現(xiàn)在: 第一,對智庫的界定有待進(jìn)一步明確。正如報告所言:目前對高校智庫的遴選,在綜合影響力和系統(tǒng)影響力的評選時,以所在大學(xué)為單位;在專業(yè)影響力評選時,以高校下屬的二級學(xué)院和研究中心為單位。如何界定高校智庫,將涉及到智庫數(shù)量和規(guī)模等問題,值得進(jìn)一步探討。[7] 第二,評價方法有待完善。這是一個比較關(guān)鍵的問題。上海社會科學(xué)院目前采用的是“提名+評選+排名”的主觀評價方法,應(yīng)當(dāng)逐步改用“主觀+客觀”的評價方法。[8] 當(dāng)然,更重要的是評價程序的透明度,評價權(quán)重的設(shè)定。比如,哪些人參與了問卷調(diào)研,評委專家的構(gòu)成、地域分布、學(xué)科分布是否均衡等?這些對最終的評價結(jié)果起著至關(guān)重要的作用,應(yīng)當(dāng)公開相關(guān)信息。再比如,即使采取主觀評價方法,也應(yīng)當(dāng)對評價指標(biāo)的權(quán)重加以說明,特別是對排名榜單中的相關(guān)智庫的得分給予披露,讓被評智庫做到清楚明了,贏在哪里,輸在哪里。而現(xiàn)在只是一個簡單的排行榜,無法起到讓相關(guān)智庫發(fā)現(xiàn)差距的作用,也很難讓他人對其評價工作進(jìn)行合理的衡量和評判。 (三)零點國際發(fā)展研究院與中國網(wǎng)的智庫評價 2015年1月15日,零點國際發(fā)展研究院與中國網(wǎng)聯(lián)合發(fā)布了《2014中國智庫影響力報告》。根據(jù)該智庫影響力分類,采用四類影響力指標(biāo):專業(yè)影響力、政府影響力、社會影響力和國際影響力。每類影響力設(shè)置3-5個客觀指標(biāo),如表所示: 表4 中國智庫影響力評價指標(biāo) 資料來源:零點國際發(fā)展研究院與中國網(wǎng),《2014中國智庫影響力報告》,2015年1月15日。 每個二級指標(biāo)在數(shù)據(jù)收集過程中可能會根據(jù)實際情況再分為更詳細(xì)的指標(biāo),比如研究人員數(shù)量會再細(xì)分為國內(nèi)研究人員和國外研究人員。 為了保證研究結(jié)果更加客觀,零點國際發(fā)展研究院與中國網(wǎng)將上海社會科學(xué)院的排名作為一級指標(biāo),將排名換算為得分后,與他們通過客觀指標(biāo)加總得到的分值進(jìn)行綜合后計算出智庫的最終得分,即采用如下公式: 智庫得分=客觀指標(biāo)得分×70% +主觀指數(shù)得分×30% 從公式可知,智庫排名的得分以量化的客觀指標(biāo)為主。零點國際發(fā)展研究院與中國網(wǎng)期望建立一套完全由量化指標(biāo)構(gòu)成的體系,但這一體系的確立還需要多年的積累和試錯。主觀得分的比重將在以后逐年減小,直至去除。 就零點國際發(fā)展研究院與中國網(wǎng)的《2014中國智庫影響力報告》而言,首先,其評價智庫的運作模式有所創(chuàng)新,評價機構(gòu)來自民間研究機構(gòu)與媒體合作研究是一大亮點。其次,他們試圖改進(jìn)評價方法,創(chuàng)造出主觀評價與客觀評價相結(jié)合的評價方法,并且嘗試把上海社會科學(xué)院的評價結(jié)果作為來源數(shù)據(jù),但與此同時,他們也同樣沒有公開相關(guān)智庫的最后得分,也沒有完全展示量化的過程,缺乏評價的透明度。尤其是對智庫的界定沒有給出一個明確的范圍,對智庫的客觀數(shù)據(jù)、打分等也沒有加以公開。我們在調(diào)研中與零點國際發(fā)展研究院的相關(guān)人員進(jìn)行了交流,他們也認(rèn)為數(shù)據(jù)的采集仍然存在較大的問題,對數(shù)據(jù)采集所投入的人員和時間不夠充足,評價過程中征求的專家也還不夠全面。 (作者:中國社會科學(xué)評價中心 課題組) |
|
來自: 【點石成金】 > 《傳媒智庫(紫金)》