作文评分员认知心理过程研究综述
姚园园
（福建师范大学 外国语学院，福建 福州 350007）
摘 要： 作文评分员认知心理过程是指为受测者评定分数的评分员属性，以及他们在评分过程中的有意识或无意识的心理过程。本文将在相关文献的基础上，对作文评分员认知心理过程相关研究进行梳理和综述，并指出其中存在的问题，如当前多数研究仅停留在行为或单纯的认知层面，没有揭示评分员认知心理过程与评分信效度的关系，少数相关研究得出的结论却不一致等问题，以期为今后的研究提供一些参考和启示。
关键词： 作文评分；评分员；认知心理过程
一、研究背景
评分员研究一直是语言测试研究体系中的重要组成部分。大约20世纪90年代初开始，越来越多的研究开始关注到特定评分所涉及的评分员的判断和决策过程。这些研究非常重要，因为它们为揭示作文评分过程如何与在操作评分背景下评估考生的表现建立了平台。本研究的重点是评分员对写作能力评估的“认知-行为”联系，因此，对口语能力评估所涉及的评分过程的研究不作详述。
①河流冲积主要包括下更新统(下部)浔江组(Q1x)、下更新统(上部)铜鼓岭组(Q1t)、中更新统白沙组(Q2b)、更新统望高组(Q3w)、全新统桂平组(Q4g)。
写作测试属行为测试，其评分通常由人工完成。对于写作能力行为测试（Writing Performance Tests）而言，由于评分员的认知水平和个体特点各不相同，能否保证评分过程中评分员自身以及各评分员之间的一致性成为这一测试方式受到质疑的重点。“回答这一问题的关键在于探究评分员评分过程中的认知心理过程及其影响因素。”［1］
二、作文评分员认知心理过程研究概述
作文评分员的认知心理过程研究主要涉及评分员风格［2］、评分顺序［3］、评分认知操作行为［4-5］等。这些研究从不同的视角对评分员认知心理过程的本质进行了探究。本研究将以这三个方面为重点，对相关文献进行梳理和综述。
研究人员主要采用定性的方法确定了评分员在作文评分时使用的一套广泛而多样的决策策略或阅读风格［4］。Vaughan［6］（P111-125）确定了一些阅读风格，如“第一印象主导风格（first-impressiondominates style）”或“语法导向风格（grammar-oriented style）”，并得出结论：尽管评分员经过相同的培训，但不同的评分员可能倾向于关注特定作文的不同特征，如内容、标点、结构。
在这一研究基础上，Wolfe［3］提出了一个由两个独立但相互关联的部分组成的评分员认知模型。第一个组成部分是评分框架，包括“与评分标准相对应，创建文本图像，并作为生成评分决策的基础”的心理过程。为了与 Freedman & Calfee［7］（P75）保持一致，Wolfe［3］将文本图像解释为在阅读被评估作文时建立的作文的心理表征。第二个组成部分为写作框架，是“包含在评分标准中的有关标准的心理表征”。根据Wolfe［3］的说法，每个评分员的两种心理表征可能大不相同。也就是说，评分员可能在他们创建的文本图像以及对不同作文水平上描述写作层次的特征的看法会有所不同。
McNamara［10］（P197-209）在讨论评分员之间差异的本质时指出，观察到的评分员之间不同的评分模式“可能会引导我们从评分员类型的角度去进行思考”。根据这种推理，Eckes［5］更深入地探讨了评分员评分观点之间的差异和共性。具体来说，Eckes［5］提出了一个评分员类型假设。经验丰富的评分人员，即经过多年评分员培训和认证的经验丰富的评分员在他们对评分标准的各个维度方面的关注程度可以彼此明显区分为不同的类型或类别。在Eckes［5］的这项研究中，64名积极参与大规模写作评估的评分员被要求以李克特四级量表（从一般重要到非常重要）来说明他们通常对使用多年的评分标准各个维度的相对重视程度。这些标准涵盖了写作的各个方面，如流利性、完整性和语法正确性。最后，Eckes［5］将统计出来的评分员对评分标准各个维度的重要性进行分析并产生了六种评分员类型，每种类型都有不同的评分标准。也就是说，每种类型的评分员对评分标准各个维度的相对重要性都表现出独特的感知。这些类型中有四种被定义为极其重要的类型：句法类型（Syntax Type）评分员，即对陈列出广泛粘着单元和句法结构的文本给予高度重视的评分员；正确类型（Correctness Type）评分员，即对只表现出少量句法、词汇或拼写错误的文本给予高度重视的评分员；结构类型（Structure Type）评分员，即对根据学术要求组织的文本给予高度重视的评分员；流利类型（Fluency Type）评分员，即对可以流畅阅读的文本给予高度重视的评分员。其余两种类型则根据评分员给出的具体权重较小的标准来确定，即非流利型（Nonfluency Type）评分员和非论点型（Nonargumentation Type）评分员。此外，某些评分员类型对评分标准的定义还存在明显的差异，这意味着不同类型的评分员的评分标准心理表征是存在显著差异的。
Bejar等人［9］（P49）提出了相关的概念认知建模方法。Bejar等人［9］（P55）用三位具有不同教学经验（分别是五年、二十五年和三十年）的教师的一个小样本，首先让每个教师列出一组他或她认为作文评分中重要的评分维度。然后，三位教师使用整体评分法为每篇作文打分。最后，利用非参数回归技术，将每个评分员的评分作为上一步建立的一组评分维度的函数进行建模。Bejar等人［9］（P81）证明，评分员会从不同的角度对各个评分维度的相对重要性进行评估。然而，也有证据表明，作文评估之间存在一些共性，至少就具有类似教学经验的评分员而言是存在的。也就是说，两个更有经验的评分员认为的重要评分维度能够高度预测另一个经验较少的评分员的评分。
孝文化是中国传统道德的核心，是大学生人格修养中必须恪守的伦理规范。孝道的核心价值在现代社会仍然发挥着不可估量的作用。它在维护家庭和社会稳定方面的作用不容忽视。《孝经》中提出“身体发肤，受之父母”，引导大学生在人格修养中，首先要爱惜自己的身体，尊重生命。其次，孝的内涵从“善事父母”的家庭责任和义务出发，开始由家庭伦理泛化到处理人与人之间关系的社会伦理道德规范，形成多重的文化内涵，甚至上升为国家意识形态，渗透于社会生活的方方面面，比如当今社会推崇的敬老、爱老、养老风气仍然在大学生人格修养中得到继承和发扬。
关于评分顺序，研究人员已经概括出他们认为评分员在给第二语言作文评分时遵循的一条共同的评分程序。Cumming等人［4］调查了托福作文评分员的评分过程，这些文章是用整体评分法进行评分的。首先，评分员浏览并快速评估文章。然后，他们会重读文章以便进一步地理解和作出判断。最后，评分员给出分数，并重新解释他们的判断。Lumley［11］（P187）调查了经验丰富的评分员如何使用分项评分表对澳大利亚移民英语测试的写作部分进行评分，并得出了类似的结论。不论测试的目的是什么，Freedman & Calfee［7］（P98）提出的评分过程的三阶段模型似乎都适用于整体评分和分项评分。然而，在个体层面上，通过有声思维或问卷数据却不断观察到评分行为的变量［4-5］，因此，不能确定三阶段模型在写作测试中如何适用，单个评分员可能符合也可能不符合这一通用模型。
在随后针对评分员认知模型的研究中，Wolfe等人［8］引入了评分焦点的概念，并将其作为写作框架的关键组成部分。这一概念是指当评分员解释和应用评分标准时涉及的心理加权方案。Wolfe等人［8］假设评分员采用不同的评分焦点，并且可能不同于评分规则中包含的标准。Wolfe等人［8］通过有声思维提供的证据表明，采用特定的评分焦点至少部分取决于评分员达到的评分效率水平。高度专业熟练的评分员倾向于使用自上而下的方法进行作文评分，侧重于更一般的写作特征。不太熟练的评分员则倾向于使用自下而上的方法进行作文评分，侧重于更具体的写作特征。此外，不太熟练的评分员似乎更倾向于采用评分标准中未包含的写作特征。
自从易非买了房后，他们的关系就不知不觉地进了一大步，有一天陈留送易非回来，老妈正好在家，他们就这样见面了，陈留表现得大方得体，母亲似乎也很喜欢。再后来，易非过生日，陈留带了蛋糕和鲜花来，就算是正式见面了。
综上所述，评分员认知研究提供了充足的证据证明评分员会以不同的方式对作文进行评分。需要注意的是，这些评分差异可能会增加测试结果的可变性，并使评分解释复杂化，因为不同的评分可能会细微地影响总体结构。此外，以上绝大多数研究对评分员认知心理过程的认识仅停留在行为主义或单纯的认知层面，没有很好地揭示评分员评分时认知心理过程的差异与评分员评分信效度之间的关系。即便有些研究试图揭示了评分过程和评分员间信度的关系，但是至今还未就其二者的关系达成一致意见，例如：Wolfe［3］认为评分过程的差异可能导致评分员间信度较低，相反，有些研究认为不同的评分过程不一定会导致评分员间信度较低［11］（P217），因此，我们仍需对评分员认知心理过程及其对评分信效度产生影响的机制进行进一步探究。
三、结语及启示
本文从评分员风格、评分顺序和评分认知操作行为等方面对作文评分员认知心理过程的相关研究进行了文献梳理和综述，目的在于进一步引起各方对作文评分员研究的关注，使作文评分朝着更加科学合理公正的方向发展。就像Spolsky［12］（P451）期盼的那样，未来的测试应该更人性化，关系到受测者前途的重大决策能够建立在公正有效的测试基础之上。
安和庄所属连连点头，因为他们知道萧飞羽意指实力永远是江湖讨价还价的唯一筹码，并且连天问大师也无法战胜就谈不上与黑旗会较劲，可由谁应战呢？
正如 Lumley［11］（P202）强调的，评分员是评分活动的中心，评分员认知心理过程研究无论是对评分员还是对受测者都具有积极的意义。一方面，评分员认知心理过程的研究有利于更好地揭示评分认知操作行为，有利于分析评分员类型及其特定的评分模式，识别出评分员在评分过程中出现的问题，以便对各类评分员进行有针对的培训，进而提高评分员的评分信效度，保证考试评分的公平科学。另一方面，评分员认知心理过程的研究有利于教师更好地指导学生进行写作，根据评分员在特定文本中对不同部分的关注程度，引导学生更好地组织文章结构，使用合适恰当的词汇充实文章内容。
参考文献
［1］ 陈建林.高风险英语考试作文评分员社会心理因素研究［J］.外语教学理论与实践，2016（1）：47-54.
［2］ Lim G S. The Development and Maintenance of Rating Quality in Performance Writing Assessment: A Longitudinal Study of New and Experienced raters［J］.Language Testing，2011（4）：543-560.
［3］ Wolfe E W. The Relationship Between Essay Reading Style and Scoring Proficiency in a Psychometric Scoring System［J］.Assessing Writing，1997（1）：83-106.
［4］ Cumming A，Kantor R ， Powers D E. Decision Making While Rating ESL/EFL Writing Tasks: A Descriptive Framework［J］.Modern Language Journal，2002（1）：67-96.
［5］ Eckes T. Rater Types in Writing PerformanceAssessments: A Classification Approach to Rater Variability［J］.Language Testing，2008（2）：155-185.
［6］ Vaughan C. Holistic Assessment: What Goes on in the Rater’s Mind?［M］//L Hamp-Lyons (ed.). Assessing Second Language Writing in Academic Contexts.Norwood：Ablex Publishing Corporation，1991.
［7］ Freedman S W，Calfee R C. Holistic Assessment of Writing:Experimental Design and Cognitive Theory［M］//P Mosenthal，L Tamor & S A Walmsley (ed.). Research on Writing: Principles and Methods.New York：Longman，1983.
［8］ Wolfe E W，Kao C W，Ranney M，et.al. Cognitive Differences in Proficient and Nonproficient Essay Scorers［J］.Written Communication，1998（15）：465-492.
［9］ Bejar I I，Williamson D M & Mislevy R J. Human scoring［M］//D M Williamson，I I Bejar & R J Mislevy (ed.). Automated Scoring of Complex Tasks in Computer-based Testing.Mahwah：Erlbaum，2006.
［10］ McNamara T F. Measuring Second Language Performance［M］.London ：Addison Wesley Longman Ltd.，1996.
［11］ Lumley T. Assessing Second Language Writing: The Rate's Perspective［M］.Frankfurt：Peter Lang，2005.
［12］ Spolsky B. Measured Words［M］.Oxford：Oxford University Press，1995.
中图分类号： B848.9；H319
文献标识码： A
文章编号： 1008-9640（2019）07-0169-03
doi: 10.3969/j.issn.1008-9640.2019.07.075
收稿日期： 2019-07-03
作者简介： 姚园园（1995—），女，内蒙古兴安盟乌兰浩特人，福建师范大学外国语学院外国语言学及应用语言学专业2017级硕士研究生。研究方向：心理语言学。
（责任编辑：李汴红）
标签：作文评分论文; 评分员论文; 认知心理过程论文; 福建师范大学外国语学院论文;