發(fā)布時間：2020-04-18 20:20

【摘要】：評分員培訓是語言運用測試評分過程中的必要環(huán)節(jié)�，F(xiàn)有研究表明培訓有利于減少評分員偏誤,從而確保評分質(zhì)量,但比較不同培訓方式的研究依然較少,且少有研究比較不同培訓方式下新進評分員的評分表現(xiàn)。本研究采用心理測量學方法,系統(tǒng)地檢驗和比較集體學習式和獨立練習式兩種培訓方式對國才考試新進評分員的評分表現(xiàn)的效果。研究模擬了真實的評分員培訓環(huán)節(jié),12名教學經(jīng)驗豐富的高校英語教師作為新進評分員參加培訓。評分員分成兩個6人小組,分別參與由同一名培訓員組織的集體學習式培訓和獨立練習式培訓。中國外語測評中心提供了培訓手冊,包含國才中級書面溝通任務三(撰寫信函)樣題、分項評分量表和30份標桿卷。兩種培訓方式均使用相同的培訓材料,包含相同的培訓活動,即熟悉評分任務和評分標準、練習評分、比較評分、討論和反饋。兩種培訓方式的不同之處在于,參與集體學習式培訓的評分員在培訓員的指導下進行集體學習和討論,而參與獨立練習式培訓過的評分員獨立學習培訓材料,一對一地與培訓員討論學習進展。完成培訓后,所有評分員繼續(xù)評閱80份考生作答,得到一組分項評分數(shù)據(jù)。這80份作答事先已由一組專家評分員評閱,通過對比新進評分員的評分與專家評分,相同記1分,不同記0分,從而得到一組評分準確度數(shù)據(jù)。數(shù)據(jù)分析采用多層面Rasch測量軟件Facets,其中分項評分數(shù)據(jù)基于評分員客觀性模型分析,評分準確度數(shù)據(jù)基于評分員準確度模型分析�；�于兩個多層面Rasch模型的多項測量指標表明,所有評分員的嚴厲度、準確度、內(nèi)部一致性和評分偏差均達到了正式評分的要求。按培訓方式來看,兩組評分員的評分表現(xiàn)沒有顯著差異。因此,兩種培訓方式具有同等效果,12名評分員完成培訓后可進一步參與正式評分。研究結(jié)果強調(diào)了集體學習式和獨立練習式兩種培訓方式的等效性,對新進評分員的評分表現(xiàn)也具有同等效果。本研究發(fā)現(xiàn)對國才考試的評分員培訓項目開發(fā)和效度論證的相關(guān)研究具有一定借鑒意義。今后的研究可從認知視角比較兩種培訓方式對評分員的認知和評分行為的影響,以補充目前基于心理測量學方法的研究發(fā)現(xiàn)。
【學位授予單位】：北京外國語大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：H319

【相似文獻】

相關(guān)期刊論文 前10條

1 陳秋萍;;基層信訪服務滿意度的現(xiàn)狀評價及對策分析——基于RATER指標的研究[J];法制與社會;2009年36期

2 任瑞娟;高莉;;人、機評分相關(guān)性研究綜述——基于25篇西方“E-rater”文獻的元分析[J];內(nèi)蒙古師范大學學報(教育科學版);2018年06期

3 梁馨元;王秋波;魏春波;;基于RATER模型的高校財務服務對策研究[J];沈陽建筑大學學報(社會科學版);2018年05期

4 姚yN;劉養(yǎng)卉;;“互聯(lián)網(wǎng)+”時代“都市新鄉(xiāng)民”住房公共服務研究——基于Z市的RATER指數(shù)分析[J];四川理工學院學報(社會科學版);2016年06期

5 Nadia Barakat;Pallav Shah;Scott H Faro;John P Gaughan;Devon Middleton;MJ Mulcahey;Feroze B Mohamed;;Inter-and intra-rater reliability of diffusion tensor imaging parameters in the normal pediatric spinal cord[J];World Journal of Radiology;2015年09期

6 David Morgonsk?ld;Victoria Warkander;Panayiotis Savvides;Axel Wihlborg;Mathilde Bouzereau;Hans M?ller;Paul Gerdhem;;Inter-and intra-rater reliability of vertebral fracture classifications in the Swedish fracture register[J];World Journal of Orthopedics;2019年01期

7 毛世花;陳曉麗;;E-rater和句酷的對比研究及對提高大學生英語作文水平的啟示[J];高等函授學報(哲學社會科學版);2012年05期

8 Kavian Ghandehari;;Comments on Asian Stroke Criteria[J];Neural Regeneration Research;2009年11期

9 Michael Popplewell;John Reizes;Chris Zaslawski;Narelle Smith;;TCM DIAGNOSIS:CHOOSING THE CORRECT INTERRATER STATISTIC IS VITAL[J];Journal of Integrative Medicine;2014年03期

10 張根水;;檔案中介服務質(zhì)量評價指標體系構(gòu)建研究——基于SERVQUAL和RATER理論模型視角[J];浙江檔案;2015年02期

相關(guān)會議論文 前5條

1 王躍;林向進;徐三中;;Quantitative Measures of Modic Changes in Lumbar Spine Magnetic Resonance Imaging[A];浙江省醫(yī)學會骨科學分會30年慶典暨2011年浙江省骨科學學術(shù)年會論文匯編[C];2011年

2 程方升;;和諧社會取向下政府服務質(zhì)量:缺口與完善——基于RATER指數(shù)五緯度的分析[A];“構(gòu)建和諧社會與深化行政管理體制改革”研討會暨中國行政管理學會2007年年會論文集[C];2007年

3 Joy C.M. Lau;Cecilia W.P.Li-Tsang;;Application of tissue ultrasound palpation system (TUPS) in objective scar evaluation[A];第八屆全國燒傷外科學年會論文匯編[C];2007年

4 Gao Qinghui;;Many-Facets Analysis of Overseas Students' Evaluation of Teaching[A];2013年教育技術(shù)與管理科學國際會議論文集[C];2013年

5 Cecilia W.P.Li-Tsang;Joy C.M.Lau;Sally K.Y.Liu;;Validation of an objective scar pigmentation measurement by using a spectrocolorimeter[A];第八屆全國燒傷外科學年會論文匯編[C];2007年

相關(guān)碩士學位論文 前10條

1 袁雪寒;集體學習式與獨立練習式評分員培訓的有效性比較研究[D];北京外國語大學;2019年

2 謝麗君;語用能力測試中評卷人效應的研究[D];廣東外語外貿(mào)大學;2013年

3 張潔;用多層面Rasch模型分析做事測試的分數(shù)差異[D];浙江大學;2006年

4 陳文捷;漢語語用能力測試評分員效應的實證研究[D];廣東外語外貿(mào)大學;2014年

5 王占芳;高考英語寫作評分員偏頗性研究[D];山西大學;2010年

6 燕翔宇;高考英語寫作評分員培訓效果的研究[D];山西大學;2010年

7 周曼芝;寫作評分中評分員因素的多側(cè)面Rasch模型分析[D];湖南大學;2007年

8 陶育毓;基于rater指數(shù)的車險業(yè)務服務質(zhì)量研究[D];貴州財經(jīng)大學;2016年

9 曹琳琳;多面Rasch模型下機輔英語聽說考試人機評分差異研究[D];廣東外語外貿(mào)大學;2015年

10 王利國;以RATER指數(shù)框架分析唐山地稅系統(tǒng)納稅服務的改善[D];河北大學;2010年

，

本文編號：2632497