关于高等教育评价指标体系质量的探讨，本文主要内容关键词为：指标体系论文,高等教育论文,评价论文,质量论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
面对高等教育的变革，高等教育评价的理论与实践有许多问题需要反思和深入研究。对此，我们曾在《江苏高教》（1996.6／1998.2）作了系列探讨。随着研究的不断深化，我们越来越认识到：指标体系的质量优劣程度直接关系到整个评价活动的质量。
一、指标体系质量的含义与衡量标准
“指标体系质量”，一般意义上是指指标体系的设计质量和应用质量，也就是指标体系建立后其自身所具有的目标、结构、功能状况和投入应用后人们对其“尺度”、“标准”的掌握程度。指标体系质量的高低，最终体现在为获得评价结果而提供的信息上，体现在其自身为评价使用者提供的效用上，最根本的标准是评价信息是否为对评价对象做出价值判断提供了充分的依据，评价是否对评价对象起到了切实的推动作用。因此，“指标体系质量”这个概念比人们在日常生活和工作中所理解的产品、工作优劣程度这一质量的含义要复杂、广泛得多。
按照系统理论的观点，我们可以把指标体系自身看作是一个由指标项目、权重集合和评价方法等三个要素组成的系统。在系统与环境相互作用的关系（见图1）中， 指标体系将评价者或评价对象采集的评价信息，经过加工处理后，便获得了人们可以利用的具有价值意向的信息。显然，指标体系对外输出的这一“产品”与通常所说的物质产品是不相同的，其质量衡量具有了模糊性、迟效性和动态性等特点。但是，指标体系质量并不是不可捉摸的，可以通过对指标体系的本质及任务的分析，确定比较具体的衡量标准。指标体系的本质是教育评价中，进行价值判断时质和量方面的尺度。也就是说，指标体系在将教育目标加以具体化行为化的基础上，确定相应的权重与量化方法，使人们的价值认识取得一致，进而有可能获得一致的评价信息。其基本任务是将所收集到的必需信息经加工处理后，以获得可行的、准确的、有用的评价信息。虽然，一个评价信息对评价使用者，如评价对象和决策者的贡献大小，要受到评价环境、评价条件等各种因素的影响和制约，但具有良好的可靠性、有效性和应用性的评价信息，却是其产生效能的重要基础。因此，指标体系的可靠性、有效性和应用性程度的好坏，就可以作为指标体系质量高低的衡量标准。
可靠性（Reality）， 反映了评价结论与评价对象真实情况之间的一致性程度。可靠性好说明评价结果是稳定可靠的，否则评价的一致性较差，其可靠程度就不高。指标体系的可靠性可从以下几方面来考察：一是内部一致性。即指标项目与评价内容、指标与指标之间应具有较好的一致性。二是评价者与被评价者的一致性。即评价者之间或评价者与被评价者之间应具有较好的一致性。三是信息来源的一致。即信息收集和量化、统计技术的可靠性。
有效性（Validity），反映了评价结论能准确表达它所要评价的教育活动的程度。有效程度高说明评价正确，较好地实现了评价目的，否则评价的准确性就差。指标体系的有效性可以从以下几个方面考察：一是指标体系设计的有效性。即在指标体系设计过程中评价的内容、评价的标准和评价的理论依据符合要评价的教育活动的程度。二是指标体系实施的有效性。即评价实施过程中，依据指标体系所进行的信息采集方法和信息处理技术所具有的代表性和准确性。三是评价结论的有效性。即分项评价结果、综合评价结果及评价结果的标准是否反映了评价对象的教育质量水平和评价目标的需要。
应用性（Utilization），是指某一指标体系建立后， 它是如何得到评价者或被评对象使用的，其使用效果达到了何种程度。讲究应用性是指标体系不断改进完善的最基本的要求。如果指标体系没有得到大家认可，其评价结论受到怀疑或抵触，那么不论该指标体系在技术上多么严谨，也不论它实际上是如何使用的，都是没有意义的。可见，一个指标体系的应用性，与评价活动的背景需要和评价目的有关；与评价参与者（如评价组织者、评价专家组、被评价者）之间的信赖程度及其高质量投入有关；与评价活动在人、财、物及时间消耗方面的效益有关，等等。
二、影响指标体系质量的因素及其控制
1.影响指标体系质量的因素
影响指标体系质量的因素是多方面的，大致可分为内部因素和外部因素。内部因素可以从指标体系的组成要素来分析，外部因素可以把指标体系放在教育评价系统中来分析。
从指标体系的组成要素来看：一般讲，指标体系是由指标项目、权重集合和评价方法三部分组成，它们之间的相互联系而构成一个有机的整体。按照系统理论的观点，系统的整体功能是由系统中各要素和系统的结构共同决定的。于是，我们可以认为指标体系这个系统中，指标、权重和方法三个要素的状态（也可以说是要素的品质）以及它们之间相互联系方式（即组合方式）将对指标体系的整体性能——指标体系的质量变化有重要的影响（见图2）。
在上述三个组成要素中，指标项目是指标体系的主体部分，它保证了评价活动按照预定的目的、内容来进行。指标项目的品质，即指标的选择、指标的内涵、指标的评价标准等方面的品质对评价质量起着根本的作用。权重集合在评价过程中，将指标项目的多级多条评价项目有机地联系了起来，它不仅使指标体系具有了整体性，而且还对人们的价值取向有引导作用，所以权重设置方法是否科学、权重分配是否合理等是影响指标体系质量好坏的关键因素。同时，评价活动离不开科学有效的评价方法，只有减少信息采集、信息处理等方面带来的误差，才能为指标体系发挥应有的效能起到保障作用。
从教育评价系统的运行机制来看。评价者、评价对象及评价指标体系，构成一个完整的教育评价系统（见图3）。 评价者和评价对象在对指标体系的设计达成共识的基础上，通过共同的积极投入，使指标体系得到有效的应用，从而实现评价活动的预期目的。在指标体系的设计与使用过程中，由于评价者和评价对象的主观或客观行为，因此会带来某些信息来源的随机误差和系统误差。比如，在对高等学校进行的外部评价中，校外专家组是评价者，被评学校是评价对象。校外专家组和被评学校由于受到与评价无关的偶然因素——像注意力不集中、错看信息、数据说明不贴切等因素的影响，而导致被评学校提供的信息出现偏差，导致校外专家组判断出现误差。而校外专家组和被评学校由于受到与评价无关的变因——像宽容误差、防卫心理等一些恒定而有规律的变因的影响，而导致评价结论的准确性降低。无疑，这些误差会对指标体系的可靠性、有效性和应用性产生不利的影响。
2.指标体系质量的控制
以上分析表明，指标体系质量的改善是顺利开展高等教育评价活动的必然要求，它贯穿于整个评价活动之中。所以，对指标体系质量的控制，也就成为保证高等教育评价质量的重要措施。指标体系质量的控制，好比工厂制造物体长度测量工具，要在制造者、制造工具、原材料、环境温度等方面控制其质量一样，其主要任务就是要在宏观与微观上对指标体系的设计与使用加以控制，使其质量得到不断改善，以推动高等教育评价理论与实践的发展。
指标体系质量的宏观控制，主要突出以下方面：
首先，要确立正确的指标体系设计思想。指标体系设计思想决定了教育评价工作的方向和评价方案设计的原则，是指导任何类型教育评价活动有效开展的根本保证。正确的设计思想必须充分体现高校实际情况和社会发展的客观需要，也就是说评价要有助于高校教育质量的提高，社会的发展又要求高等教育建立教育评价制度。只有在符合上述设计思想的指导下，才能使设计出来的指标体系有明确的应用环境，指标体系也才有存在的意义。
第二，要确保指标体系设计者的学术权威性。指标体系设计者的学术权威性，要求指标体系设计者必须具有丰富的高等学校教育工作经验，必须具有很高的高等教育评价理论和实践水平。
第三，要确保评价者和评价对象高质量参与评价活动。评价者的高质量参与，能够更好地把握指标体系的“测量尺度”和“测量标准”，使评价结果公正、合理。为此，要成立评价工作专家组，并建立专家组培训制度，定期实施评价工作培训。评价对象的高质量参与，是由高等教育评价对象的复杂性和模糊性所决定的。高等教育评价对象不同于一般的物体，在评价活动中要求高等教育评价对象必须主动适应评价要求，只有这样才能充分发挥出指标体系的功效。为此，要制定相应的政策措施，发挥政策的导向作用。要善于运用正确的政策导向，以调动主管部门、高校领导和教职工参与评价的积极性。
第四，要制定严格的评价工作程序。评价工作程序规定了评价过程各个环节所必须执行的工作步骤及具体实施细则，是指标体系得到客观公正应用的制度保证。只有这种评价工作程序操作指标体系，才能更好地控制指标体系使用过程中的误差。严格的评价工作程序应该对评价者和被评价者都具有约束力。评价者和被评价者按照严格的评价工作程序实施评价，有助于减少评价过程中的随机误差和系统误差，提高评价结果的可信度，增强指标体系的可用性。
指标体系质量的微观控制，主要突出以下几点：
第一，控制指标项目以数量最少化完成评价目标任务。由于按照目标分解设计的指标项目可以保证指标项目与评价目标具有较好的一致性，因此控制指标项目与评价目标之间实现最佳融合，便成为控制指标项目品质的一项重要任务。首先，要仔细地分析指标的内涵以保证指标的独立性与整体完备性。其二，要在满足指标项目独立性和整体完备性的前提下，以求得指标项目数量的最少化，使指标体系简单易行，从而实现指标体系质量的最优。
第二，要确保权重的确定与利用的合理性。从以上的介绍我们已经知道，权重实质上是指标项目之间的关系，权重集合的科学性程度影响着评价的科学性程度。由此也可得知，确定权重与使用权重对改善指标体系的品质同样具有重要的意义。在权重的利用上，要以有利于发挥指标体系的导向作用、鉴定作用和诊断作用为原则，着重研究改进权重在分项评价结果分析和综合评价结果输出等方面中的适用性，使指标体系的整体得到进一步的优化。
第三，要采用科学合理的评价方法。作为指标体系组成部分的评价方法，必须具有与指标体系应用范围、评价目的相适应的特征。另一方面，由于高等教育评价是专家组与被评高等学校共同参与的一项群体活动，涉及到的人力较多，运用的物力和财力较大，因而评价方法就必须力求简易可行，能为高校多数人所接受。否则，评价指标体系将缺乏应有的生命力。
标签：评价指标体系论文;