Page Top

劍橋大學

BULATS

Cambridge劍橋博思國際職場英檢-CEFR說明

專案報名區

會員請先登入

加入會員/登入 專案報名區

CEFR 成績說明

成績說明CEFR
  • 劍橋英語認證與CEFR
    劍橋英語認證與CEFR
    • 現今越來越多英語檢測自行宣稱使用並對應CEFR語言架構,然而當檢測欲以CEFR作為制定參考時,檢測研發單位須負起使用之妥當性,並且需依照可信賴及透明化的方式提供相關流程佐證。首先是針對制定檢測的流程是否符合信效度,二為佐證與CEFR的對應關係。這些資訊都必須提供給測驗使用者以及認可採用者,以確認該檢測之效力。

      依據制定CEFR之官方單位歐洲議會(The Council of Europe)指出,若檢測研發單位欲依循CEFR語言架構進行測驗的設計,可使用歐洲議會(The Council of Europe)訂定於2009年1月《Manual for Relating Language Examinations to the Common European Framework of Reference for Languages》研究報告進行測驗設計,以下是歐洲議會提出檢測研發單位應提供制定檢測流程報告之目的論述(p.1):

      The Council of Europe's Language Policy Division recommends that examination providers who use the suggested procedures, or other procedures achieving the same ends, write up their experience in a report. Such reports should describe the use of procedures, discuss successes and difficulties and provide evidence for the claims being made for the examination. Users are encouraged to write these reports in order to:

      • increase the transparency of the content of the examinations (theoretical rationale, aims of the examination, etc)
      • increase the transparency of the intended level of examinations
      • give test takers, test users and teaching and testing professionals the opportunity to analyse the quality of an
       examination and of the claimed relation with the CEFR
      • provide an argumentation why some of the recommended procedures may not have been followed
      • provide future researchers with a wider range of techniques to supplement those outlined in this Manual.

      此研究報告明確指出,若語言測驗要與CEFR連結,則制定測驗流程可依照四大程序:熟悉化流程(Familiarization)、規格化流程(Specification)、標準化流程(Standardization)、實證性效度流程(Empirical validation)。這些流程最重要之核心是要確定測驗被制定的過程是具有效度的。因此在檢測研發單位提出其測驗與CEFR之連結關係前(External validity),必須先佐證該測驗建構的效度、穩定性及一致性(Internal validity)。也就是檢測研發單位必須提出效度之佐證及測驗與此四大程序之關係,以確認測驗設計與CEFR之連結性。(P9, Relating an examination or test to the CEFR can best be seen as a process of “building an argument” based on a theoretical rationale. The central concept within this process is “validity”. The Manual presents five inter-related of procedures that users are advised to follow in order to design a linking scheme in terms of self-contained, manageable activities.)

      *劍橋大學語言測評考試院為《Manual for Relating Language Examinations to the CEFR》制定者之一。
  • 四大流程之內容簡述
    四大流程之內容簡述
    • 以下是四大流程之內容簡述(內容出自《Manual for Relating Language Examinations to the CEFR》Chapter 2, p.10):

      流程 項目 內容
      熟悉化流程
      (Familiarization)
      (1) 此流程之主要目的為確保檢測研發者在連結CEFR與測驗被制定的過程中充分理解CEFR的內容。此階段在規格化及標準化流程前是必經的過程。當提到測驗效度時,這個流程將是不可或缺的階段。每個階段使用的方法和步驟以及後續的成果,都會是效度報告中最主要的內容。

      (2) 在《Manual for Relating Language Examinations to the CEFR》Chapter 3中針對熟悉化流程有詳盡說明。
      規格化流程
      (Specification)
      (1) 此流程的主要目的是讓檢測研發單位自我檢視測驗的內容及測驗項目的類型,而這些項目又是如何與CEFR連結。此外,此階段亦可作為審視其相關報告結果之功能,互相比對,好以修正或調整測驗品質。這些程序可以確保測驗被訂定及製作的過程中是依照具信效度的方式進行。

      (2) 在《Manual for Relating Language Examinations to the CEFR》Chapter 4中針對規格化流程有詳盡說明。
      標準化流程
      (Standardization)
      (1) 此階段目的是要將CEFR架構中的各項分級及分級內容納入到測驗設計中。這些程序可以確保CEFR的能力敘述透過檢測的設計可以被測試出來。而至於測驗項目的選擇及難易度搭配,則是需要透過一定的模式進行,並且經由前測及專家評估其有效性。

      (2) 在《Manual for Relating Language Examinations to the CEFR》Chapter 5 & 6中針對標準化流程有詳盡說明。
      實證性效度流程
      (Empirical validation)
      (1) 此階段提及要收集測驗測試的成果及數值的分析資訊,以提供佐證證實測驗本身及其與CEFR連結之有效性。這些程序可以確保測驗是實際依照規格化及標準化流程所制定的,並能夠確認測驗實際測試的成果與前者相符。

      (2) 在《Manual for Relating Language Examinations to the CEFR》Chapter 7中針對實證性效度流程有詳盡說明。

      *下載附件:《Manual for Relating Language Examinations to the CEFR》
      * 《Manual for Relating Language Examinations to the CEFR》相關資訊可參考:www.coe.int/t/dg4/linguistic/manuel1_en.asp

  • 劍橋大學的語言檢測是依循CEFR各級制定
    劍橋大學的語言檢測是依循CEFR各級制定
    • 劍橋大學的語言檢測是依循CEFR各級制定,可從三大觀點進行論述並提出相關佐證。以下為詳細內容:

      (一) 歷史性觀點(The history perspective)
      Brian North:
      “We’re really at the beginning of the process of validating the claims which are made by the examination boards about the relationship of their exams to the Framework. There is a difference between having a very good idea of what the relationship is and confirming it. Cambridge ESOL is an exception, because there is a relationship between the levels in the CEF [Common European Framework] and the levels of the Cambridge ESOL exams.(Interview with Brian North in ELT News, Feb 06.)

      身為制定CEFR語言架構者之一的Brian North提及到,劍橋大學語言測評考試院所制定的語言檢測和CEFR之間有相當緊密的關聯性。CEFR的緣起可以回溯到1970年代,當歐洲議會(Council of Europe)推動現代語言計畫(Modern Language Project),其目的是訂定與教學相關的語言學習目標,其中發展了Waysatge(初階)及Threshold(中階)兩個等級。在1980年代,劍橋大學語言測評考試院提供資金及專業學術等支持,協助修正Waysatge(初階)及Threshold(中階)的內容,並依此進而研發出劍橋大學KET(Cambridge English: Key)及PET(Cambridge English: Preliminary)測驗。此外當在制定其他之CEFR等級時,同時間身為制定者的劍橋大學亦研發該等級之檢測。以下為劍橋五級測驗(Cambridge English)和CEFR的研發歷史:

      CEFR等級 劍橋檢測制定時間 對應之劍橋檢測
      Council of Europe Waystage Level 1988 KET(A2)
      Council of Europe Threshold Level 1981 PET(B1)
      Council of Europe Vantage Level 1939 FCE(B2)
      Effective Operational Proficiency Level 1991 CAE(C1)
      Mastery Level 1913 CPE(C2)
      (此圖表之來源為《Examining Reading: Studies in Language Testing》Criterion-related validity p.204)

      由此可見,劍橋大學語言測評考試院在訂定CEFR等級的初期便已深入進行架構及內容的擬定,並隨之研發語言檢測,劍橋大學的語言認證與CEFR享有根本性的關係,共同成長。

      (二) 概念性觀點(The conceptual perspective)
      在1990年代期間,ALTE(The Association of Language Testers in Europe,歐洲語言檢測協會)與劍橋大學語言測評考試院(為ALTE成員之一)共同研究訂定Five-level ALTE Framework,此目的是為了建立一套歐洲各國可以共享的語言架構,用於不同語言之外,各種語言檢測可以依此使用相同之能力分級內涵。ALTE Framework在解釋語言檢測之表現結果時,其理論基礎是使用標準參照模式(criterion-referenced approach)。其意函表現於六種垂直性的分級方式,以及各一等級中可以提供詳細的能力表現敘述(亦為‘Can Do’)。而在90年代中期,在ALTE研發Five-level ALTE Framework的同一時間,1997年Six-level CEFR的初稿亦問世,兩種語言架構有著相似的目標、相同的理論基礎,以及訂定語言能力敘述的方向。

      • 劍橋大學語言測評考試院於1999年協助制定了Vantage level,亦為B2程度。
      • 劍橋大學語言測評考試院與其他ALTE成員於當時決定針對兩個架構進行相關研究比對,並於2001年ALTE成員共同確定使用CEFR六級架構(A1-C2)。
      • 所有劍橋大學之語言檢測皆為標準參照模式型(criterion-referenced)測驗。

      註:標準參照測驗(criterion-referenced):將受試者的表現與事先設定的標準比較,目標在檢測受試者是否達到了某些能力與水準,一般而言測驗時間較短、題數較少,即可精確評量考生所能勝任的語言技能。像是能否聽懂英語國家人士關於社交生活的對談、職場情境的簡報、演講,能否打電話詢問資訊等。其主要目的是在於了解學生真正學會的程度,已經學到些什麼或能做些什麼,所重視的是學生是否已學會某項知識或技能,學習是否有什麼困難,以及學習已經達到教學目標中的哪一個層次。其主要的功能在於診斷學生學習困難的所在,可以幫助教師了解學生學習的情形,並進而改進其教學方法,以提高教學和學習效果。標準參照測驗的結果不以常模來解釋個人得分的意義,不比較個別得分的高低,只看個人的成績是否達到預定的標準。

      (三) 實證性觀點(The empirical perspective)
      測驗與CEFR的關聯性或連結是需要被謹慎且嚴格的看待。直觀或客觀的判斷都不足以確定該測驗與CEFR之間有絕對的關係,因此提供測量理論(Measurement Theory)之研究及數據佐證(Empirical Alignment)就更加重要。針對劍橋大學語言檢測與CEFR之間的實證性相關佐證如下:

      1. ALTE Can Do Project (1998-2000)
      • 劍橋大學語言檢測使用能力敘述之方式作為測驗結果的訂定。針對應試者的程度落點與Can Do能力敘述之關聯性進行許多數據研究,劍橋大學使用Cambridge English劍橋五級測驗與BEC劍橋商務英語認證進行相關研究(80%應試者的語言能力可以達成Can Do所描述之內容)。
      • 欲了解更多Can Do Project,可以參考由ALTE製作的《The ALTE Can Do Project》English Version

      2.使用《Manual For Relating Language Examinations to the CEFR》制定各項劍橋檢測
      • 此手冊是由制定CEFR官方單位-歐洲議會(Council of Europe)所規劃推出。
      • 此手冊之內容亦由劍橋大學語言測評考試院協助製作。
      • 其內容主要指出若語言檢測欲依循CEFR制定並設計測驗內容等,可依照四大流程訂定(Familiarisation, Specification, Standardisation, Empirical Validation),以下是劍橋大學語言測評考試院依循流程制定檢測之相關佐證:
      步驟 項目 內容
      規範化流程
      (Specification)
      • 劍橋大學語言測評考試院在制定PET和KET測驗時,即使用此流程訂定兩項測驗。由於PET和KET是源自於Threshold和Waystage等級。許多資料文件可以顯示出測驗內容及測驗目的是直接對應於CEFR架構,文件包含有關測驗規範化、測驗題目指導手冊、閱卷官訓練文件、測驗手冊以及測驗成果報告。
      • 劍橋大學在制定檢測之信效度及內容過程時,完全納入四大流程的步驟,可參下圖:
      • 相關研究可以下載:《Cambridge ESOL exams and the CEFR》
      標準化流程
      (Standardisation)

      劍橋大學語言測評考試院協助建置標準化內容,其為制定測驗該如何對應CEFR。內容包含:

      • 校正測驗題目:劍橋大學擁有Local Item Banking System,將測驗題目依照難易度及CEFR等級保存,並使用於測驗卷中。
      • 製作寫作測驗表現之評分內容與方式、口說測驗之表現評分流程及內容。(此部分內容歐洲議會可以提供CD或DVD範例)
      實證性效度流程
      (Empirical Validation)

      此部分涉及較複雜之研究內容和資源,劍橋大學針對此部分提出以下內容:

      • Item-banking Methodology 與Test calibration Methodology:在1990年劍橋大學語言評測考試院引進了當時全英國第一個Item-banking系統,其Data數據分析是在20多年一千五百萬考生的測試結果,以確保測驗信效度。
      • Instrumental research/Case study -《The Common Scale for the Assessment of Writing》(e.g. Hawkey and Barker 2004; Khalifa, ffrench and Salamoura 2010)

      以上詳細資訊可見官網(www.cambridgeenglish.org/research-and-validation/validity-and-validation/)

      除了以上三大觀點之外,劍橋大學語言測評考試院更進行English Profile編撰,此被視為是延伸CEFR內容之長期研究。目的是藉由CEFR中各個等級的能力敘述,提供可實際使用於英語學習及教學相關的用途,像是建立學習的單字清單、教學方向、課程資源、課程大綱等。在制定CEFR的官方單位-歐洲議會的官方網站上亦放置相關訊息
      (可參考:www.coe.int/t/dg4/linguistic/DNR_EN.asp)

      劍橋大學的語言檢測協助建構了CEFR,而CEFR也完整化了劍橋各級檢測。本身為制定CEFR的官方機構ALTE成員之一,劍橋大學語言測評考試院不僅協助訂定CEFR,更進而協助製作出檢測對應CEFR的方法手冊(即為《Manual For Relating Language Examinations to the CEFR》),此外更主導將CEFR的使用更擴大延伸至英語教學和學習的English Profile專案,讓CEFR主要內涵可讓全世界的英語教學者和學習者加以運用,不再侷限於檢測相關用途。無論是從CEFR研發之歷史近程,或是劍橋大學所提出的概念性及實證性觀點,都可以提出許多研究報告和佐證加以證實。檢測若欲與CEFR對應,不能只是提供單一佐證,而是要證實測驗生成、發展、演進的過程中,是如何將CEFR內化到每個步驟和階段。

      *劍橋大學語言測評考試院官方說明文件:CEFR and Cambridge English Language Assessment

*註解資訊及資料來源說明

註1:English Profile官方網站www.englishprofile.org

註2:資料來源整理如下
- 劍橋大學語言測評考試院英國官網 www.cambridgeenglish.org/exams-and-qualifications/cefr/cefr-exams/
- 《Using the CEFR: Principle of Good Practice》Cambridge English
- 《Examining Reading: Studies in Language Testing 29》Hanan Khalifa & Cyril J Weir, Cambridge University Press

MENU 測驗簡介

常見問題 成績說明
睿言商英ABOUT劍橋大學語言測評考試院
授權台灣認證中心