摘要:口语测试历来是语言教学和语言测试的一个难题。为了适应我国高等教育发展的新形势,数字化口语测试成为语言测试新的发展方向。英语教育工作者要运用口语测试的理论和方法,组织有效、可信、实用的大规模数字化口语测试。数字化口语测试的方案设计要满足信度的要求,信度要求主要是指该测试施测信度、内容信度和评分信度要一致。
关键词:数字化;口语测试;信度
一、引言
为了适应我国高等教育发展的新形势,高等学校正在深化教学改革,提高英语教学质量,培养学生的英语综合应用能力,特别是听说能力。在新的形势下英语教育工作者要运用口语测试的理论和方法,组织有效、可信、实用的大规模口语测试,科学、公正地反映学生的口头交际能力,而数字化口语测试即计算机化口语测试(Computerized Oral Proficiency Test 简称COPT)正是解决这一问题的有效途径。
二、数字化口语测试(COPT)的发展状况
随着社会的发展,英语学习者对英语口语能力的要求以及对此能力进行有效的测量的要求也越来越高。在英语专业和非英语专业口语测试方面,国内许多学者进行了各种口语测试方法的研究和实践,由传统的间接性口试(Indirect Oral Test简称IOT)和直接型口试(Oral Proficiency Interview 简称OPI)发展成半直接型录音口试(Semi-Direct Oral Proficiency Test简称SOPT)考试(刘润清,1991)。SOPT是指在语言实验室内进行的录音口试,熊敦礼(2002)等人的研究结果表明大规模录音口试是可行的;金艳(2002)等人研究初步论证了与CET-SET(Spoken English Test)相比,CET-SOPT具有较强的效度、信度和可操作性,因此,可以替代CET -SET。文秋芳(2002)也认为,英语专业八级口试可以采用半直接型录音口试的方法。随着教学改革的深入,基于现代化手段的计算机化口语考试(COPT)成为众多学者研究的热点。邱东林(2005)等则对口语机考的利弊做了分析(2005);蔡基刚(2005)对四、六级计算机口语测试的效度、信度和可操作性进行了定性定量的研究;程杰(2007)从定性的角度出发,提出口语考试的数字化方案正是解决大规模口语考试人力、物力高消耗的有效办法之一。
三、数字化口语测试(COPT)的实施方案
我们看到,由于教育技术的发展,口语考试经历了从面试型口试到半直接型口试,现在正在向计算机化口试(COPT即数字化口语测试)发展的历程(蔡基刚,2005)。目前,根据大规模的英语口语考试的需要,数字化口语考试体系的设计思想应以各高校实际开展的全校性口语考试为依托,实现整个口语考试流程的计算机辅助操作以及模拟传统“面对面” 对话进行口语考试。数字化口语考试系统需要实现的是“命题——考务安排——考试——批阅——公布成绩”五大步骤的计算机辅助操作。
1.考前准备
在考试之前,试卷命题相关教师按照要求出好一定套数的试卷, 并交主考审阅。考务管理确定考试试卷和参加本次考试的考生范围, 安排监考教师。同时,进行考试软件安装、试题库建设、考官培训、学生使用多媒体技术培训等准备工作,确保数字化考试顺利进行。
2.考试过程
整个考试严格按照统一程序操作。首先,监考教师确认学生身份;然后,学生输入考号进入考试系统并调试设备;进行完录音朗读试听后,考试正式开始。考试过程一键完成,考试过程简单到只要单击一次“开始”即可。在考试环节中, 将由计算机担当传统的面对面的考官的角色,按顺序呈现题目,考生逐一回答,进行人机互动,或考生之间进行小组互动,系统同时进行录音。计算机作为模拟考官,就可以利用网络资源材料和形式(如表格、图片、动画、电影剪辑等),并利用电脑屏幕的视觉界面和音响效果而使题型变得丰富多彩。最后,电脑自动将学生口试录音内容打包上传,考试结束。
3.考试结果
主考安排阅卷教师及阅卷时间, 教师在规定的时间内批阅考生答卷。考试结果的批阅可以采用两种方式完成:一种是集中式批阅,只要组织教师在一间数字化语音教室集中批阅即可;另一种是远程批阅,本系统支持通过上网登陆远程阅卷系统。参与阅卷的教师不必集中,只要登录考试中心的网站即可实现异地阅卷。另外,网上成绩处理按系别或班级发布、统计考生的成绩,并将试卷、答卷等考试资料刻成光盘存档。
四、数字化口语测试(COPT)的信度
对口语测试来说,信度(reliability)指测试的稳定性(刘润清,1991)。信度表示同一考生在不同的考试条件下,如在不同的考场、面对不同的考官,参加同一项考试后所得到的分数是一致的。信度的要求主要是指:1.施测信度;2.内容信度;3.评分信度要一致(蔡基刚,2005)。
1.施测信度
所谓施测信度,是指测试的准备形式和测试过程要具有可靠性。在施考的条件这方面,数字化口试具有很高的信度。该测试在统一时间进行,所有学生在条件相等语言实验室同时考同一套题,同时录音,保证了测试的公平与保密。避免了传统口试中题目难度系数不同,口试题目数量有限,考生考试先后次序不同而导致的分数差异。数字化口语测试统一预先录音提问,发音清晰标准,问题在屏幕上同时出现,尽可能把对听力的要求降到了最低。考生答题时屏幕上会显示剩余时间,保证每个考生的发言时间相同,最大限度地避免了考官、考生和试题、考场等各种主客观因素等问题。
2.内容信度
影响口语测试内容信度的因素主要有三方面:内容的长度、难度与区分度。测试的内容题目越多,覆盖面越大;长度越长,其信度越高。比起传统的口试,数字化口试的时间很充裕,大约是30分钟;内容覆盖面较大,话题涉及到学习、生活、社会和科学等方面;题型包括朗读、人机对话、故事或图片复述以及即席演讲,基本满足了长度要求,因此,它享有很高的信度。
由于测试过易或过难,都会影响区分度,所以高信度的测试应该是有难有易,先易后难。数字化口试几个部分的试题从易到难呈逐级递增,而且从学生成绩的分布也能体现区分度。该测试还采取措施,以控制试卷的一致性,并提高各套试卷的信度。首先,命题要详细。可以帮助命题人员了解和掌握各题的出题要求, 如所测试的语言功能与语言能力、选材的要求与范围等,保证多个命题老师的命题在内容和难度上尽可能一致。其次,采用科学的命题方法。传统方法是每个命题老师负责命制整套试卷的方式,可以调整为每个命题老师命制多套同一题型的题目,使同一命题老师对同一大题的内容与难度的一致性做到较好的控制。然后,再经过专家对同一题型所有题目的筛选和组合,从难易度、熟悉程度、文化背景知识等多方面进行考虑,最后选定试题,组成试卷。以这种方式组卷,各套试题在内容和难度上基本能够保持一致。
3.评分信度
数字化口语测试的信度高,还有一个至关重要的原因, 就是评分规范化。这包括两个方面评分标准的修订确立与评分老师的培训。
要提高效度较高的测试的信度, 一个有效的办法是确定评分标准。设计评分标准的方法可分为两类:整体评分法(holistic scoring)和分析评分法(analytic scoring)。整体评分是总体的印象分,可从语言表达、文化意识、完成任务的状况以及交际方式与否等角度来考察;分析评分标准可从语法、词汇、语音及互动交际等方面分项打分。数字化口语测试评分采用百分制。每个评分角度又采用百分制,10或15分为间隔分设优良中差四个档次,分别从语音语调、流利程度、词汇语法和交际能力等四个方面去考查学生的口语能力。评分标准具体,准确且便于操作。
评分信度取决于评分教师。评分教师经过了专业的口语测试评分培训;评分过程中,利用计算机技术进行实时监控和调整, 以确保评分质量;考官阅卷时,设置差异值。两位评分教师对同一份答题录音的打分差异超过标准值, 这份答题录音将会自动送往第三位评分教师重新评定。评分软件中这一系列的监控手段, 都对评分的质量起到了很好的保证作用, 加强了主观题评分的客观性。
四、结束语
目前,随着人们认识到在语言学习中培养语言使用能力的重要性和科学技术的进步,在数字化语音室进行的口语考试诞生了。由于可以同时对大量学生进行口语测试,从而节省大量的人力、物力、财力和时间,并且考生水平的发挥不受考官的影响,考试信度较高,这一口语测试手段是适合我国教育实际需要的一种口语测试方法,并且已经成为口语教学和测试的必然趋势。
参考文献:
[1]刘润清.语言测试和它的方法[M].北京:外语教学与研究出版社,1991.
[2]文秋芳.全国英语专业八级口试的可行性研究[J].外语界,2002,(4).
[3]熊敦礼,陈玉红,刘泽华,等.大学英语大规模录音口语测试研究[J].外语教学与研究,2002,(4).
[4]金艳,郭杰克.改革中的大学英语四、六级考试[J].中国外语,2004,(1).
[5]程杰.口语考试数字化的背景分析及方案实施初探[J].外语电化教学,2007,(10).
[6]蔡基刚.大学英语四、六级计算机口语测试效度、信度和可操作性研究[J].外语界,2005,(4).
[7]邱东林,季佩英,万江波.大学英语听说机考尝试[J].外语界,2005,(4).