论知识的分类、计量与评价_内容效度论文

论知识的分类、计量与评价_内容效度论文

论知识的分类测量与评价,本文主要内容关键词为:测量论文,评价论文,知识论文,此文献不代表本站观点,内容供学术参考,文章仅供参考阅读下载。

测量与评价是教学流程中的重要一环,教育测验是实现这一环节的主要手段。教育测验旨在测量学生对某学科或某组学科经学习或训练后所获得的知识和技能,从而为评价教育目标实现的程度提供依据(注:戴忠恒.心理与教育测量.华东师范大学出版社.1989.86)。 故对知识、技能本质的理解直接影响到教育测验的研究。关于知识和技能本质的研究是同时在哲学、教育学、心理学等几门学科中展开的,目前我国中小学教育界中普遍流行的知识、技能观还停留在哲学或常识的水平上(注:皮连生.智育心理学.人民教育出版社.1996),现代认知心理学的知识、技能观更深入地说明了知识、技能的心理实质。知识、技能观的变迁促使我们重新思考教育测验的实质及其手段等一系列问题。

一、知识分类测评的思想核心、历史背景及其现实性

(一)思想核心 现代认知心理学将习得的知识概括为三类:陈述性知识、程序性知识和策略性知识。从教学的角度来看,这是目前为止对知识的一个最佳分类(注:皮连生.知识的分类与教学设计.教育研究.1992.6.45)。 知识分类测评也就是在相应的知识分类教学情境中,针对三类知识的不同性质测试和评价学生三类知识的学习状况。这种状况不仅反映了学生的外显学习结果,而且对学习的内隐过程作了一定程度上的推测。

(二)历史背景 关于知识分类测评的思想及其一些相关的研究很早就有了。主要体现在知识分类学习论与教学论的思想之中。在西方,知识分类学习论的思想最早可以追溯到第二次世界大战后期,当时许多从事学习实验的心理学家帮助军事人员进行训练。在训练中,他们发现由于学习的类型很多,如不突破传统的学习理论而企图用单一的学习模式来指导一切教学,只会使教学夫败。在当代教育心理学界,奥苏伯尔(D.P.Ausubel)和加涅(R.M.Gagne)对知识的分类作出了较大的贡献。奥苏伯尔提出了有意义言语学习理论,加涅首次提出了系统的学习分类学,均对教育实践产生了重大而深远的影响。奥苏伯尔的有意义言语学习理论实质上是知识的分类学习论,但由于没有阐明知识与技能的关系,而暴露了它的缺陷,而加涅的分类理论恰好弥补了奥的不足。加涅的这一学习结果分类形成了当代认知心理学家对知识进行分类的基础。在这一基础上,针对加涅没有能够探讨不同类型的学习结果是如何在大脑中表征、贮存、激活、提取及言语信息与技能的本质关系这一缺陷,当代心理学家们将知识分为三大类,即陈述性知识、程序性知识和策略性知识(注:Gagne,E.D.,Yekovich,C.W.,& Yekovich,F.R.(1993).The cognitive psychology of school learning (2nd ed.).New York:Harper Collins College.)。 在知识分类学习这一思想演变过程中,心理学家们也曾提到过对这几类学习结果的测评问题,如加涅在他的《学习的条件》一书中曾有多处叙述(注:Gagne,E.D.(1985).The cegnitive psychology of school learning.Boston:Little,Brown.),奥苏伯尔在他的代表作《教育心理学——一种认知观》中也谈到了相应于有意义言语学习的测评问题(注:Ausubel,D.P.,Novak,J.D.,& Hanesian, H. ( 1978) . Educationalpsychology:A cognitinve view (2nd ed.). New York: Holt,Rinchart and Winston.),但都是浅尝辄止。相反, 在一些认知科学的研究中,对于程序性知识及策略性知识的测评却研究得比较深入,建立了诸如BUDDY系统之类的自动化认知诊断系统(注:Mager,R.F. (1990).Preparing instructional objectives (2nd ed.).Belmont,CA:Kogan Page.),然而这些研究却较零散, 且很多难以用到实际教学中来。在教学情景中如何操作是一个现实性很强的问题。

(三)现实性 首先,由于知识分类的教学思想已开始向教学中渗透(注:华东师范大学心理学系.第一届“知识分类与目标导向教学”全国研讨会资料.1995.12)(注:华东师范大学心理学系.第二届“知识分类与目标导向教学”全国研讨会资料.1997.6),必然要求有相应的测评方法。如果测评方法跟不上教学的需要,依然停留在传统的测评方法上,必然会导致知识分类教学难以发挥它的优势。其次,认知理论的发展为这一研究奠定了坚实的理论基础。因为知识分类测评,它不仅仅测试和评定学生的学习结果,而且也包括学习的内隐过程,而这些内隐过程的测评没有认知理论作基础,是难以进行的。今天认知理论的发展虽很不完善,但依据现有的理论,在学习的内隐过程测评方面已取得了长足的进步,上述的一些自动化诊断系统就是明证。再者,测评技术的发展从实践上提供了保障。关于学习的测评方法,目前主要是三种,即:行为目标技术、任务分析技术和认知分析技术(注:Gagne,E.D.(1985).The cegnitive psychology of school learning.Boston:Little,Brown.)。行为目标是一个学生在教学结束时应该能做的事的明确陈述。马杰(R.E.Mager)认为目标就是行为方式的描述, 目标应当(1)定义行为,并给学生加上某些条件;(2)陈述最低的可接受的作业水平。最广为使用的目标系列是布鲁姆的教育目标分类学,主要体现在它既可以作为一种教学方式又可以作为一种评价方式的掌握学习中。然而,以掌握学习为基础而编制的学业成就测验受到了批评。格林诺(J.G.Greeno)认为掌握测验所涵盖的材料与教学中所呈现的材料极为相似,不利于考察学生的迁移。如果测验学生在不同材料上的迁移能力,那么大量的个别差异就会出现。我们也曾就布鲁姆的教育目标分类学在国内教学实践中的效果作了十年(85—94)的文献回顾,发现该理论对改革传统教学发挥了巨大作用,增强了教学目标的可操作性,便于对教学目标的检测,但该理论致命弱点就是没有能够揭示能力的内在心理机制。这导致在指导设计教学目标、教学过程及测量学习结果中存在许多混淆的地方,甚至连科研工作者也很难分辨各层级水平(注:张春莉,高民.布卢姆认知领域教育目标分类学在中国十年的回顾与反思.华东师范大学学报(教育科学版).1996(1)57—70。)。 任务分析技术是把一个任务分解成若干个亚任务,再分出每个亚任务的亚任务如此下去,目的是明确各个任务的先决条件。同行为目标技术一样,任务分析既可以指导教学,也可以作为评价的依据。莱斯尼克(L.R.Resnick)对任务分析技术作了如下的概括:“加涅(R.M.Gagne)的层级分析似乎考虑到了心理学中的信息加工概念,但没有完全把握它们。这里有一种与层级产生方法有关的隐性过程的分析。 梅耶(R. E. Mayer)认为加涅的工作刺激了认知心理学的新发展, 这些发展已经提供了分析技术的“新一代”。认知分析就是对学生所掌握的知识的一种描述,知识的三种类型是:陈述性知识、程序性知识、策略性知识。认知分析技术基于对学生的三种知识的准确描述,这种描述“所学的是什么”的方法比起早先的诸如描述目标的技术来是一种进步,因为它更加精确。从以上评价技术的演变过程,不难看出认知分析技术具有行为目标技术、任务分析技术无法比拟的优越性,它是当今教育测量中的一个重要取向。它落实到教学中来就是知识的分类测评。

二、知识分类测评的基本方法

知识分类测评依然要遵循编制教育测验的一些基本原则,首先要制订明确的教学目标,然后依据教学目标,把握住良好测验的基本特征编制测验。

(一)准备教学目标 制定明确的、可检测的教学目标是教学的第一步,也是任何测评技术的本质所在。因为有效的测评必须能够测到学生的学习结果,而学习结果的描述正是由教学目标所确定的。故教学目标明确了,测量的目标也就明确了。关于三种知识的教学目标制定的问题是知识分类教学论研究的主要问题之一,这里只作简要介绍。1.根据陈述性知识的特点确定教学目标:陈述性知识是指个人具有的有关世界是什么的知识。它又可分为三种形式,有关事物的名称或符号的知识、简单命题知识或事实的知识、有意义的命题的组合知识。陈述性知识主要以命题网络的形式在大脑中表征。此外,也可以表象形式存储。据此,在确立陈述性知识的教学目标时,是要求学生达到能够回答“是什么”的问题。但这并不是让学生死记硬背。因为要学生陈述的是符号成语词表达的意义,而不是词句本身。如果只能陈述词句本身,说明学生只形成了简单的S——R联结(一种最低级的学习形式)。故大部分陈述性知识要经过有意义学习而达到理解的目的。2.根据程序性知识的特点确立教学目标:程序性知识是个人具有的有关“怎么办”的知识。关于程序性知识的类型主要涉及概念和规则。学习程序性知识的先决条件是必须掌握陈述性知识,即关于概念和规则的陈述,然后经过练习转化为程序性知识(注:Anderson,J.R.(1990).Gognitive psychology and its implication (3th ed.).New York: W. H. Freeman andCommpany.)。不是所有的陈述性知识都能转化为技能的, 如关于人名、地名、历史年代的知识、具体事实的知识等是不可能转化为技能的。能够转化为技能的主要是概念、规则(包括原理、定律法则等概括化的命题知识)。程序性知识在头脑中是以产生式来表征的,形式为“如果——则”。正如命题网络一样,许多产生式可以组合成产生式系统,经过充分练习后的产生式系统的一系列动作能自动发生。可见,程序性知识的表征、储存和再现的方式都不同于陈述性知识。根据程序性知识的这些特点,在进行教学设计时,应确定教学目标是应用概念和规则办事的能力。这样,检测这种能力的行为指标不是学生能报告学到了什么,而是在面对各种必须应用学过的概念与规则的情境时,能顺利进行运算和操作。如将事物分类、解释与教材中出现过的现象不同的自然或社会现象等。只有看到学生顺利地运用规则办事,才能认可他掌握了程序性知识(或技能)。3.根据策略性知识的特点确立教学目标:策略性知识也是回答怎么办的知识。策略性知识也是一种程序性知识,不过,一般程序性知识所处理的对象是客观事物,而策略性知识所处理的对象是个人自身的认知活动。前者是对外的,后者是对内的。策略性知识的获得也需要由陈述性知识转化而来。策略性知识也必须通过产生式来表征并组成产生式系统,才能贮存。尽管目前关于认知策略的研究刚刚起步,理论基础比较薄弱,但这也是知识分类测评的一个重要方面,不容忽视。既然策略性知识是程序性知识的一种,那么关于策略性知识的教学目标总体上应该是与程序性知识的教学目标一致的,因此它们的检测行为目标也应该是一致的。

(二)把握良好测验的基本特征

当我们建构或选择测验时,最重要的是要考虑在运用这些测评结果时,对这些结果的解释在多大程度上是合适的、有意义的、有用的。而这取决于测验的基本特征,即测验的效度、信度、难度及区分度等。

1.效度。效度是以上特征中最重要的一个,是指对测评结果解释的有意义性和合适性。在运用效度信息时,重要的是要记住效度是指对测验分数的解释而不是对测验自身的解释,它呈现的是一个程度量数,它总是针对某个特殊的用途来说的。它是一个整体的概念,可以作为效度证据的主要有三种:内容效度、结构效度、准则关联效度。在学科测验中,主要考虑的是内容效度。内容效度是指测验的目的代表所欲测量的内容和预期反应所达到的程度。“所欲测量的内容”是指教学目标所规定的内容,“预期的反应”是指学生经过教学后的行为变化。实践证明,在编制测验时,内容效度是编制测验中一个相当复杂且难以解决的问题。但如果将知识分类的观点引进内容效度的估计中,必然会提高对内容效度估计的精确性。这主要是由于以前所采用的知识分类不是含糊的,就是对教学来说不实用的。这样就造成在用“逻辑分析法”或“建构双向细目表法”等方法对教材进行分析以取得内容效度证据时,产生很多含混的问题(注:张春莉,高民.布卢姆认知领域教育目标分类学在中国十年的回顾与反思.华东师范大学学报(教育科学版).1996(1 )57—70)。譬如,从大的方面来讲,有的人将知识与技能混为一谈,从小的方面来说,有的人将有关事物名称或符号的知识误认为是事物的概念,等等。这些混淆就会造成在教学时教师将需要大量练习的技能降低为理解,将要求理解的降低为机械记忆等等类似的教学目标的混淆。这必然导致教师在考虑内容效度时混淆了很多行为目标。看起来,他们编制的测验中的行为标准是和教学目标一致的,但教学目标本身就不科学,尽管编制出来的测验的内容效度很高,但却犯了一个系统错误。因为从编制测验的第一步就产生了较大的偏差,最终形成了系统偏差。所以这样的内容效度必然导致预测效度同样产生系统偏差。故有必要按知识分类的理论建立统一的教学大纲,明确三类知识的教学目标。

2.信度。信度是指测量所得的测验分数或评价结果和另一次测量所得相应结果的一致性。在解释和运用信度信息时,要记住信度估计是指测量的结果,估计信度的方法不同表明一致性的类型也不同,可信的量数不一定是有效的,信度是一个严格的统计概念。信度估计主要靠信度系数或测量的标淮误。影响信度的因素很多,如果不重视控制,那么就会破坏对结果的解释。传统的信度量数依赖于分数的变动性。但因为在标准参照掌握测验中分数的变动性很小(如,大家都得高分),故而传统的估计信度的方法是不足的。然而现在还没有发明出适合标准参照测验的技术。当将标准参照测验用作将学生区分为掌握或非掌握者时,简单而有效的方法是将学生在两个等值测验上回答一致性的百分比作为信度指标。通常可以通过扩大每个目标下的测题数来提高标准参照测验的信度。但这种方法较牵强。如将知识分类进行测评,可以测评陈述性知识的语义网络的各种特性,可以测评程序性知识的产生式系统的各个环节及策略性知识的各种指标。这样相对来说,比行为目标技术和任务分析技术考察得就比较深入。这样分数的变动性也比较大,要比将学生区分为掌握与非掌握的标准参照测验来说大大地提高了测验的信度。

3.难度和区分度。难度是指测验的难易程度,难度太大或太小都会造成信度的降低。区分度是指测验对考生实际水平的区分程度,要想达到理想的测验信度,提高试题的区分度是一个好方法。而提高区分度又可以通过调整难度来达到。我们用传统的测评方法测得某个学生已掌握了某种知识(如行为目标技术中以通过百分比为指标),然而我们依然看不出他们在掌握的方式、程度等方面的大量个别差异,知识分类测评就可以将这些方面作一些区分,这样区分的结果就达到了提高区分度的目的。故如果采用知识分类测评的方法,将会提高学绩测验的区分度。

(三)测验的编制 1.确立测验目的:测验的目的是多种多样的,一般有四种,即:安置性测验、形成性测验、诊断性测验、总结性测验。每种类型的测验要求不同的测题抽样、项目难度和所使用的评价工具的类型(如,标准参照或常摸参照测验)。对于知识分类测评来说,同样首先要明确测验的目的。但对于知识分类测评来说,安置性测验、形成性测验、诊断性测验和总结性测验的含义就改变了。它们不再是基于原来的行为目标或任务分析技术基础之上的含义了,它们分别是针对三类知识来说的。

2.制定测验目标:测验是为教育服务的,测验的目标必须和教学的目标一致起来。既然将知识分为三类,由于这三类知识有自己的特性,所以在教学目标的制定上也应该重视各自的特性,不能一刀切,这一点正如前面所述。所以在制定测验目标时,同样也应该是这样。

3.编制测验细目:可以分别对三类知识进行三维细分,三个维度分别是:教学内容、知识类型、测验目标。我们可以先确定教学内容,然后确定教学内容是三种知识类型中的哪一种,接着就对教学内容的知识类型进行细分,最后根据细分的结果,确定测验目标。关于所测各项内容的权重,可以综合三项指标(即:教学内容、知识细类、测验目标)进行分配,具体的方法可以多种多样。

4.选择合适的题型:从以上的分析中,可知测验目标主要是测量学生的迁移能力,迁移能力本身是一条连续体,从无迁移现象一直到高水平的迁移。从这条连续体上,我们可以作各种划分,如可以分出(1 )简单的S—R联结,表明无迁移发生,(2)低级的运用, 表明有低级的迁移现象发生,(3)高级运用,表明有较高级的迁移现象发生。 既然陈述性知识、程序性知识、策略性知识它们各自的特性不一样,那么在选择题型时,就要因考察的知识类型而宜。试题分类的依据很多,最常用的方法是依据试题评分是否客观,把试题分为“客观性试题”与“非客观性试题”两大类。客观性试题往往适用测试大部分陈述性知识和部分程序性知识,因为大部分陈述性知识主要考察的是较低级的迁移能力,是有意义学习之后的回忆、再认能力,答案往往很明确,所以采用客观性试题比较合适。部分程序性知识,如一些概念、规则,是区分一些正反例,此时答案也是比较明确的,采用客观性试题也是妥当的。非客观性试题比较适合予考察小部分陈述性知识、部分程序性知识及大部分策略性知识。因为在回答非客观性试题时要运用到陈述性知识,然后进行按一定的策略性知识办事(即回答问题),所以非客观性试题是比较适合的。但非客观性试题比较难以批阅、记分、评定。此时往往采用加大客观性成份的方法来减轻这种难度,如设立子题目、规定范围等,但往往又破坏了考察学生策略性知识的原则,这时可以采用让学生选题做的方法,这样相对来说较好一点。当然这种适合性是相对的。总之,客观性试题和非客观性试题的选择主要由知识的类型、测量的目标来决定。

5.构造测题:构造测题时主要注意以下几点:(1 )尽量使测验和学习结果相匹配;(2)有一套学习结果的代表性样本;(3)选择合适的难度水平;(4)排除掉对回答问题无关的障碍;(5)防止产生对解答有利的但不应该给出的线索;(6)重点放在改进学习和教学上。

6.记分与解释:知识分类测评如何记分也是一个较复杂的问题。因为这种测评技术更加侧重学生学习的内部过程,传统的记分方式是否适用、如何用等一系列的问题是值得深思的。可以借鉴的是, 前述BUGGY系统是以“症结”的数目来评定学生的等级,这是一个既简单又实用的方法,可以引进到纸笔测验中来。另外关于测验结果的解释也是很重要的一个方面。教学的实践中,人们往往会歪曲分数的意义,所以对分数的解释主要依据编制测题前所确定的测验目的和制定的测验目标。这同样是一个值得深入讨论的问题。

7.施测中的问题:施测时除了遵循一般测验的原则外,还必须根据三类知识各自的特点,明确它们在测试时应该注意的事项,比如说陈述性知识的测评往往是不要时限的,而程序性知识很多是要有时限的。

三、存在的问题及构想

知识分类测评理论来源主要是知识分类教学论及测量理论,它们的发展情况直接影响知识分类测评理论的成长。知识分类教学论又依赖于认知心理学的发展,而众所周知目前虽然认知心理学主宰着心理学的命运,但它毕竟很稚嫩,很多问题依然还处于艰难的探索状态。另一方面测量理论对知识分类测评的影响也是至关重要的。由于认知心理学强大的渗透力,几乎心理学的每一分支都受到了影响,测量理论也不例外。认知心理学对测量理论的影响已导致测量理论的侧重点发生了转变,如从结果定向的评价转向过程定向的评价等,而这种转变必然造成测量理论自身的改革以适应新形势,如必须形成适合评价心理过程的测量理论,而这种理论尚未成熟。由于这两方面的原因限制了知识分类测评理论的发展,但它的发展前景是光明的,因为作为它的基础认知心理学必然会壮大起来。在教学实践中,由于知识分类理论正处于逐步被人们认同的开始阶段,故而知识分类测评技术的推广依然是需要时间的。此外,由于受理论发展的限制,很多问题尚无较先进的办法来解决,只能依靠一些较妥协的方法。但这些困难只是暂时的,相信随着各门学科的发展,这些问题一定会得以解决的。

标签:;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  

论知识的分类、计量与评价_内容效度论文
下载Doc文档

猜你喜欢