發文作者:Albert Tzeng | 2012/03/17

THE 世界大學聲望排名:如何排名?有何扭曲?

日前英國Times Higher Education (THE) 公布2012年世界大學聲望排名,台大從去甫擠身百大,到今年「躍進」到61-70名之間,引發關注。然而在對「進步二十名」的慶賀聲中,卻不見媒體進一步深究:這個排名怎麼排?這個結果該怎麼看?

依THE網站說明,他們從全球學者資料庫中依人口比例抽樣,透過電子郵件寄發問卷,要求受訪學者就其學術領域,在全球六千多所學校名單中,分別就研究與教學挑選十五所「最佳」者。今年收到來自全球一百四十多國、一萬七千多份問卷回函,THE 以研究比教學 2:1 的加權,計算每個學校被勾選的次數,並以哈佛的得票數當做100分,以計算其他各校成績排名。

這個方法看似合理,但其呈現出的全球高教圖像,其實有許多系統扭曲。

票選「最佳」的扭曲

首先、挑選十五所「最佳」,容易導致票數向少數歷史悠久的明星大學集中,對其餘大學欠缺鑒別率。實際得票分布也確實如此:以哈佛得票為滿分,則僅有前六所有七八十分高分,從第七名起,分數直降到三十多分,十五名就降到二十,而排到三十多名左右,得分就僅剩下個位數,名次間只有小數點下的得分差(換算票數只在數十票之間)。五十名後,THES網站甚至沒有列出得分,也改由十名一組地報告結果,反映出該段資料的鑒別力顯著急降,名次差距也漸無意義。

再者、要求選出「最佳」,也可能跟某些學者的經驗牴觸。以我個人的領域(社會學),各國、乃至個別系所之間呈現的,不是某種單一向度上的排序,而是「質」的差異。要說哪個系所好,先要問:想找的是哪類次領域、哪種學風、對什麼區域的經驗研究?這種感受,可能在如同德國、荷蘭等不強調大學階序的國度更明顯。要從全球如此多元的系所中,硬挑十五所所謂「最佳」,這個過程就充滿了刻意和不自然。

承上,接下來要問的是:有多少比例收到電郵的學者,會因為這樣的不自然而拒答?選擇回應的學者,是否又在其價值觀點,存在某種系統性的偏差?不幸的是,THES網站上只公布有效問卷數,卻從未提及回覆率(與拒答率),遑論拒答率跟區域、科系之間的關係,這也讓人對其調查成果信心打折。(或許付費購買的完整報告有相關資料?)

不均質的結構扭曲

更深一層、這種排名方式,將全球高教機構「想像成」是單一社群,學者對彼此有相當的熟悉。然而,現實世界中的高教機構,存在各種承襲自歷史的不均勻網路,而每個應答者,其實是在其所身處的網路結構位置,去思考他手上的選票分配 (例如,要留幾票給自己國家、自己語系的大學,甚至自己的母校)。這種網路的不均勻,讓處於不同位置的大學,面對很不公平(無法充分反映其成就)的機會結構。

我們可用四組概念分析這個網路:各國學界的規模、各國大學階序結構、歷史網路的鑲嵌、語言介面。

先說美國,其有四大明顯優勢。一、規模最大,來自美國的學者佔了回應者的44% (不過這合乎美國學者站全球學者的比例嗎?),形成選民中最大的「板塊」。美國本身的學校,也成為單一最巨大的複數選區。二、美國熱中排序,自1984年以來就存在大學排名的傳統,名校出列甚少懸念。三、冷戰霸權,美國扮演西方盟主,一方面吸收各國知識菁英,一方面也輸出學術到各國。四、英語霸權。伴隨美國戰後地位,大英帝國的語言進一步鞏固為國際語言,也反過來讓英語世界的學術成就更容易被國際看見。

其它各國,投票部隊都小得多。歐洲各國加起來只有28%,亞太加中東也只有25%,這裡票源還要分散在各國,致使完全無法跟美國的集中票源抗衡。這個地區能站上排行榜前端的例外,主要有三種:

1. 英國、加拿大,享受英語優勢,致使歷史悠久的大學,能在國際上較知名,也可獲得美國學者一定比例配票奧援。

2. 日本中國的頂尖大學,兩國欠缺英語優勢,但有足夠規模(票源),也有清楚的大學階序結構(投票集中),足以將清華、北大、東大這幾所大學,拱入前沿。

3. 新加坡、香港,身為前大英國協關鍵節點,兩所前殖民大學(香港大學、新加坡國大)不僅持續在大英國協高教網路中享有盛名,且沿用英語至今。

相對而言,如法國、德國、荷蘭、北歐各國大學,學界規模已有限制,加上彼此階序結構又相對不明顯,進一步分散票源,又面對語言劣勢。不管其實際學術表現多麼優秀,仍難以與上述贏者群抗衡。

最後回看台灣:一、學界規模有限、沒有中、日的投票部隊(雖然部分中日學者可能出於種種因素奧援台大)。二、教學與相當比例研究以中文為主,英語優勢有限。三、沒有香港新加坡歷史性的節點地位。唯一稱得上「有利」於排名者,是台灣大學間有清楚的階序結構,比起歐陸各國,票源可能集中度更高,讓其有基本盤能在國際上,與歐陸大學爭奪百大後半段的位置。

結論
寫了這麼多,就是要問:我們真的還要這麼在意這個排名嗎?

>> 後續Facebook討論 重點摘要

Audrey Chen

台灣的大學何時開始追逐排名呢?

Albert

世界大學排名的歷史很短,還不到十年。先是THES-QS 在2004年出現,然後隔年就出現上海交大那份。短短幾年吧,全球校長跟政治人物都開始注意到這種東西,包括台灣。

THE 跟 QS 在2009年分家,各做各的排名,而且現在有排名多樣化趨勢,反正讓大家都各取所需。光是THE現在就有做純聲望的排名,跟加計其他指標的綜合排名(World University Ranking)。唉,每種排名寫一篇分析拆解,就要寫一大堆。

排名跟評鑑,是資訊時代對付注意力不足的產品。他們幫人把複雜的資訊化約在成簡單的數字,力量強大。但是這種化約,往往有一堆問題。

說倒頭,這些指標,也就只是一家商業刊物為了賺錢變出來的遊戲,卻搞的全球大學校長一陣陣恐慌。

Jeffrey Chu

最後這樣的供需達到平衡的時候,可能全球有一二十家的機構每年負責排名,各自有不同的準則,分類也分得較細… 那其他的大家就都知道了,各校選擇自己排名最前面的名次做成標語和旗幟,還有學校首頁,如果數字不好看就寫 “邁向OO大",如果數字好看就字體放大,就像Albert 說的各取所需。這樣講起來蠻諷刺的… 可是說不定反而到這個時候這些被牽著鼻子走的學校才會知道,其實學校自己的專長領域、特色還有在地的影響才是最重要的

Cy Shih

台大從來沒有意願要擺脫殖民地心態,校方不過就是參加評鑑考試而已,這不是評鑑的方法週延所能改變的。就算台大是第一名,也還是會繼續打聽,現在的評鑑標準是什麼?台大的英文縮寫NTU tells everything–Never Top Universiy。

比如中山大學,為了排名,花大把銀子請外國學生來校讀書,又沒有充分的英語課程,一群外國學生像吉普賽人在校園追逐同樣一批極少數的英語課來湊學分。中山與政大都一樣的是,校長老是鼓勵系所聘用外國人,至少本土博士絕不可用,想說這樣比較有可能增加SSCI發表量,但是招聘廣告不會這麼寫,造成本土博士花大把鈔票影印著作若干份送審,這形同兩校校長用詐術使他們招致財物損失。這不單行政上的歧視,還構成詐欺。

Albert Tzeng說的恐慌是要加上條件的,所謂恐慌,是有目的有方向的恐慌,是上場比賽所常見的正常的恐慌,比不知道排名或評鑑的標準何在所帶來的恐慌,也就是根本不知道比賽在哪裡的恐慌,要令人舒服得多。他們還是會感激商業公司把評鑑標準講清楚吧!

楊立行

我同意這類的排名調查很有問題;但是,我有個疑問,即然這種調查看來相當不利於非英語系,又沒有為數可觀的投票部隊,也不是昔日英語國家的殖民大學,台大的排名在61﹣70之間,難道是低估它真正的實力了嗎?

Albert

說實話,我的確覺得台大真的不差。但這個名次也很難講高估低估,因為相對而言,很多歐陸大學也被系統性的低估 (如 Sorbornne)。不過最根本的觀點是: 我不認為真的有任何公平的單一向度,能夠將全球這麼多樣、鑲嵌於不同社會歷史脈絡的大學,拿來排一個順序。每個大學對各自所在的國家社會、區域發展、乃至不同的語系文明,各有不同比重的貢獻。其與人類歷史的鑲嵌,有著重於菁英社群的知識品味、有著重於國家治理能力的發展、有著力於知識普及與民主化、也有持續服務於殖民 (或自我殖民) 秩序。

例如: 台大對台灣社會民主與產業發展、以及對以中文為載體知識有貢獻。香港幾所大學對香港逐漸疏離,也越來越少使用中文,但對中國年輕人高教的國際接軌,以及對西方學界的中國研究有貢獻。新加坡國大在該國發展史上與政府緊密結合,同時成為西方世界研究東南亞的節點。 英國牛劍學術地位崇榮,但對知識的普及化、民主化,以及與真實世界的結合,著力遠遠不如倫敦政經學院。

以上幾例,我真不知道該怎麼比?

王乾任

歸根究底來說,西方人發明評鑑來決定整個世界的優劣這一招,真的太強大了。充其量東方就只能有極少數菁英衝出, 卻無法撼動結構本身。

Albert

在這件事情的結構上,很弔詭的是,排名的力量相當程度是「東方人賦予的」。

至少在歐陸,我碰到的學生,多數不在乎、甚至沒聽過這種種國際排名。老師也顯得比較抗拒,認為它們自己心中有自己的看法。英國大學比較會去看國際排名 (新自由主義的毒比較深),但大學生在牛劍等名校外,只會大致參考國內排名,在一定差距內的學校還是挑環境與特色。

那這些國際排名主要的使用者是誰呢? 是崛起的亞洲留學市場,是每年數十萬對西方學校歷史特色不清不楚,拿著排名資料決定申請方向的留學生。加上亞洲政府大學的跟風,再再在亞洲社會建構出,這類排名的正當性。

另外在說一個。我覺得THES-QS 2004年排名出手時,一個重要的戰略後果(不知道是不是目標),是普遍提高的前大英國協、特別是英國大學的「能見度」。在過去,這種簡單好讀,能讓學生快速評估留學投資報酬率的資訊,只有美國國內那套大學評鑑。亞洲留學生基於冷戰結構,除了前大英國協的子民,多數留學生流往美國。

當這個排名出來後,首先,它著重國際師生比、著重國際評比,馬上將大英國協高教網路學術人口的流動混雜、以及歷上遺留對彼此的熟悉,轉化成可見的優勢(特別是新加坡香港兩個小地方,本土學術人才不足與對外來人才的倚賴,瞬間從劣勢轉變為優勢)。其次,它將英加紐澳港新等地的大學,拉到跟美國傳統名校攀比,瞬間得以吃上美國長年建立的學術聲望的豆腐。

相對而言吃虧的,就是美國排不上前二十的大學,以及歐陸大學。美國國家大,教員學生不管來自哪一州,都算同一國。所以國際化的成績普遍低於大英國協的大學。歐陸大學非英語系,知名度也多限於其語言網絡,更無前帝國子民的選票奧援。

所以把這種評鑑當成「西方人發明來」修理東方人,還不夠精確。應該說是「大英帝國榮光的召喚」,左打北美、右打歐陸,然後搞的亞洲集體謀拜。而說白了,台大跟首爾大學吃的虧,就是我們過去是作為日本大東亞共榮圈的「帝國大學體系」的一員發展出來,而非大英帝國的「殖民大學系統」。前者隨日本戰敗,東北亞三國國際連結瓦解。後者則因英國戰勝,即便帝國逐漸瓦解,仍能保有國際網路的通暢與能見度(參考拙文帝國邊緣的現代性:四小龍南北組的地緣脈絡)。

這時候,回看上海交通大學另一套「學術排名」的誕生,便又是另一個耐人尋味的事。

王致遠

其實THE中有對這一個排名可能具備的意義說出來,那就是他們認為,聲望高,代表具備吸引學生能力,對於畢業生未來就業會有加分,以及可能有助於學校對外(特別是企業)產學的可能性。 只是在那樣的論述中,似乎有過度高估了全球劃下的人力、資金等的移動能力,使其論述概念上有意義,實際上沒意義 另外一項THE的排名,World University Ranking,採用的面向比較廣,當成參考的意義性個人覺得不差,但請注意,從權重的設定下,代表著是THE認為的好大學該有的樣貌,以及如同Albert 兄所說的,資料來源和研究方法上可能出現的資料選擇以及資料蒐集等處產生的誤差或問題。 始終覺得,去看這些還是不對,因為該如何去評量,我想要問的是「在教育部心中,高教系統該是何種樣子」,如果教育部的想法與THE不同,那拉這些東西的意義何在?另,一方面鼓勵學校各自發展特色(我解讀成企業策略得差異化),但又想用同一個指標來衡量他們的表現,那我要問,你要怎麼樣比較王建民和林書豪誰是比較好的運動員?你要怎麼比較羊和老鷹是一個比較好的動物?
Albert
評鑑具有的「符號資本」,以及其牽動實質經濟資本的力量,早已展現。畢竟學生資金流動、學者申請學校,逐漸會考慮過去排名結果。某種程度上,可以說排名逐步「創造出」,它原本宣稱「要反映」的現象。World University Ranking 採用的指標更廣,但正因如此,其結果更收像,更難拆解真實意義與扭曲。那有點像不透明的金融衍伸商品,相對而言,我還覺得像聲望調查,或單純SCI/SSCI 期刊出版量排名,比較直接坦率。至少我們比較容易搞清楚,這是在量什麼,並且知道這跟「好大學」的距離。而相對於「教育部心中,高教系統該是何種樣子」,我更關心的,毋寧是「我們心中,高教系統該適合種樣子」

畢恆達
除了主觀聲望調查之外,不知是否還有其他指標?

Albert 

有!大學排比,資料來源分三大類:一是期刊資料庫的客觀出版與徵引資料、與國際大獎(如諾貝爾獎)得主分布,二是類似這種主觀的聲望調查(在特定國家的,會有針對企業雇主的聲望調查),三是各校提供的如師生比、國際師生率、學生來源結構、經費、校友捐款之類的資料。

五花八門的排名,往往是採取不同指標加權計算出來的。例如最早出現的 THES-QS ,綜合上述三類指標。次年出現的上海交通大學的(跟台灣高教評鑑中心發明)的排名,主要倚賴第一類指標。日前公布的THE「聲望」調查,則僅來自第二類指標。至於第三類指標,因為資料蒐集需要校方配合,所以比較常出現在國內型的排名。像是英美各種大學排名,比較倚賴這類指標。特別值得一提的是,衛報的英國大學排名,讓使用者自由決定不同的指標權重(特別是某些左派色彩的指標:如少數族裔代表率、低收入背景學生比率),創造個人化的排序。

然而無論用什麼指標,各類排名影響力的崛起,都系統性地,壓低「難以全面計量式地衡量的面相」,例如教學、學者的公共參與、批判性的維護、公共論述場域的提供。其中以教學部分,已經有些排名會增加學生對教學滿意度的指標,但其指標本身鑒別度低,影響力仍遠不如上述三類比較「客觀」(或客觀化)指標的重要性。也可以說,排名的流行,最大的傷害,是塑造出一種「扁平的大學想像」,將大學立體的角色,壓縮在這些計量指標中。

不過以當今局勢,排名指標大概無法去除。這時候要避免指標侵蝕大學理想,就必須持續揭露提醒各種排名背後的邏輯與缺陷,透過批判各種指標的偏狹與扭曲,提醒排名資料的使用者,有什麼東西,是這些表單看不見的。這時候,我反而還比較「喜歡」像聲望調查這種成分簡單,容易分析批判的排名。

廣告

說說你的想法

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com Logo

您的留言將使用 WordPress.com 帳號。 登出 / 變更 )

Twitter picture

您的留言將使用 Twitter 帳號。 登出 / 變更 )

Facebook照片

您的留言將使用 Facebook 帳號。 登出 / 變更 )

Google+ photo

您的留言將使用 Google+ 帳號。 登出 / 變更 )

連結到 %s

分類

%d 位部落客按了讚: