学术期刊质量评价具有多元性与复杂性，本文主要内容关键词为：多元性论文,复杂性论文,学术期刊论文,评价论文,质量论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
人文社会科学(以下简称“文科”)与自然科学相比，既有共性，更有个性。两者都有一定的研究对象、研究方法、研究目的和研究成果——论文、著作、研究报告等。两者的区别在于：自然科学研究对象是自然界，而人文社会科学(以下简称“文科”)的研究对象是人的思想、精神现象和社会；自然科学力图给出自然界发展规律，文科试图给出社会发展规律和人类思维发展图式及其意义。自然科学者主体和客体分明，而文科学者则主客体混一，文科是客观性与主观性、事实与价值的有机统一。文科研究的对象具有民族性、本土性、历史性、区域性、意识形态性等。在研究方法上文科更强调定性研究方法；由于社会现象、人类思维的多样性、复杂性、模糊性，因此，人们发现社会规律、人类自身的本性、生命的意义等真谛更为困难，也更不容易取得共识，从这个意义上说，文科比理工科更为重要。①这从人类社会科技一日千里，但却不能很好解决人类自身的正义、平等、和平、污染等问题中得到证明。因此，文科的特性决定了对文科评价，包括对文科学术期刊质量评价的多元性和复杂性。 学术期刊不同于其他期刊，它是以探讨学术问题为中心、以学术交流为宗旨，以刊载学术论文(被同行评议过)、学术评论、学术动态为主要内容的学术载体。其特征是学科性、学理性、探索性、专业性、资料性、准确性、规范性和交流性。众多作者学术研究的目标是多元的，研究的内容、观点是多样的，研究的层次、深度也不一样，如何将个性鲜明的学术期刊分组分类评价本身就是一个国际性难题。这些特点决定了学术期刊质量评价的多样性和复杂性。此外，论文形式的多样性、思想观点表述的多样性和复杂性、文章内容的交互性等都十分明显。 从“质量”含义上看，质量是“产品或工作的优劣程度”。②或是满足或符合一些既定的标准或适应目标或达到目标的程度。按GB/T6583-1994和ISO8402：1994《质量管理和质量保证的术语》的定义：“质量(quality)：反映实体满足明确和隐含需要的能力的特性总和。”这里的“需求”，在合同或法规或其他情况下，都需要明确规定，且需求会随着时间而变化，这就意味着要对质量要求进行定期评审。一般根据特定的准则，会将需要转化为特性，例如，性能、合用性、可信性(可用性、可靠性、维修性)、安全性、环境、经济性和美学要求等。“质量”不应作为一个单一的术语来表示在比较意义上的优良程度，也不应用于定量意义上的技术评价。为了表达这些含义，应使用恰当的形容词。例如，“相对质量”，“质量水平”和“质量度量”(如验收抽样)。质量涉及质量环中的所有阶段。这些不同阶段对质量的作用有时为了强调而加以区别，例如，有关确定需要的质量产品设计的质量、符合性质量和全寿命周期产品保障的质量。在某些文献中，质量是指：“适用性”、“适合目的性”、“顾客满意”或“符合要求”。按上述定义，这些仅表示了质量的某些方面。可见，质量的评价具有多样性。 按ISO9000：2000《质量管理体系基础》的定义，“质量(quality)：一组固有特性满足要求的程度。”常以“卓越”、“优秀”、“第一流”等词来描述，它涉及价值论领域。这里的关键词“一组”、“目标”、“程度”，都暗含着多元性和复杂性。质量既可以从外部视角出发，更应该从内部视角出发，比如，可以采用研究问题难易程度、专业知识掌握程度、论证水平、观点、方法和资料的创造能力等有关的尺度来进行学术质量的评价。学术评价的本质就是要根据不同的类型、从内容上制定不同的学术标准，从而判断与目标符合的程度。当评价一项研究时，不仅要确信两者是否有可比性，而且要理解和衡量该研究达到目标的程度。 笔者及其团队在近几年与有关全国学术性学会、机构合作，对中国经济学学科、学者、论文、著作，对中国高校外国语言学及应用语言学学者专家库及其论著，对中国法学学术期刊质量，对中国图书馆学情报学学术期刊质量与特色，对中国人文社会科学网站等进行过评价。下面仅以法学期刊质量为例论证学术期刊质量评价的多元性和复杂性。 2011年3月—12月，笔者及其团队对法学学术共同体(同行专家)，包括法学教师、研究员、研究生、法律实务工作者进行问卷调查，对具有CN号的60种法学学术期刊的质量(主要是内容特色、价值、效用、声誉)进行评价。调查问卷的设计以期刊学术质量和特色为评价重点，突出期刊的内容评价和效用评价，兼及形式评价。从期刊共性中抽取能够反映法学学术期刊学术质量特性的提问，突出期刊的特色与风格、作用和学术声誉的评价。在期刊特色与风格、作用的提问中，采用开放性的方式，允许填写其他特色。 为保证诚实回答预期的实现，调查问卷除了在提问设计中进行相互验证，同时允许被调查者对未阅读过、不了解的期刊，不了解的内容可以不填写，也允许专家不填写姓名等内容，目的就是尽可能保证调查问卷得到的数据真实、可信。同时，根据事先预设，如果调查问卷回收比例低于30%时，将不再继续相应的研究。 法学问卷调查的重点部门确定为法学学术机构、法学期刊编辑机构和司法实践部门。具体包括高等法学(院)校、中国社会科学院法学研究所、江苏省社会科学院、上海市社会科学院的法学研究所、法学期刊研究会、中国法学会法律信息部及60种期刊编辑部。 司法实践机构主要包括法院、检察院和重要的律师事务所。重要律师事务所的确定是从网络搜索的十佳律师事务所为基本依据，并根据其网站提供的研究状况和出版物状况来确定。原计划科学研究机构发放数比例占50%，期刊编辑机构占30%，司法实践机构占20%。在实际操作过程中，由于考虑到期刊杂志社在期刊评价过程中的作用，期刊编辑机构调查问卷发放比例略微上调至33%，科学研究机构的比例下调至48%，司法实践机构的比例下调至19%。在考虑调查问卷发放对象类别的同时，兼顾地域因素，其中，北京无疑是法学研究活动的中心，因此，北京调查问卷的发放数量占发放总量的1/3强。高校法学院系的问卷通过院系发放，其他通过邮寄方式发放。共发放调查问卷300份，回收129份，占发放总数的43%，符合事先规定的要求。 调查问卷中，期刊的特色或风格项下有6个选项：具有理论研究方向引导性；侧重关注学科热点、前沿问题；侧重典型案例深度分析；侧重法律分析解释和比较；侧重倡导学术批评与争鸣；有重点专业或选题方向。在期刊的作用项下有4个选项：自己订阅该刊；最愿意向该刊投稿；对审判等司法实践有帮助；对该刊文章组织过(教学、研究)讨论。在对调查问卷整理、统计时，对调查者多种表述中的“专业方向”、“职称”、“数据”等进行规范修正合并，比如，法学类下合并成13个专业方向：法理学、法学、法制史、国际法学、国际经济法、国际私法、环境与资源保护法、经济法学、民商法学、诉讼法学、宪法与行政法学、刑法学和其他。“职称”分为五级：教授级、副教授级、讲师级、研究生、其他(本科及未定职称者)。经过汇总、统计、分析，得出各专业、各职称等级对60种法学期刊的特色和风格、作用的单项评价排序表18个。 根据同行专家评价情况，综合单项评价结果，最终将60种期刊分成4个层次：第一层次3种；第二层次11种；第三层次14种；第四层次32种。将此次专家评问卷调查评价法的评价最终结果与北京大学、南京大学、武汉大学、中国社会科学院的核心期刊来源期刊评价法(文献计量法为主，辅以专家法)以及中国知网、万方影响因子评价(单纯文献计量法)的结果对比，发现这三种代表性评价体系的评价结果既有相同点又有不同点。此次专家评价出的12种学术水平较高的法学期刊，在北京大学、南京大学等4家评价体系中均有；《环球法律评论》被3种评价体系认同；只有《清华法学》在4家评价体系中没有，究其原因，其他4种评价体系均是以文献计量学指标为主要依据评价期刊，其中引文指标占有相当大的比重，而《清华法学》是2007年才获得正式刊号的期刊，基本属于新创刊的期刊，如果单纯从定量指标来看，由于定量数据的滞后，显然不足以反映新创刊期刊的学术水平。但同行专家无论是从专业方向来看还是从职称角度来看，普遍认为《清华法学》是学术水平较高的法学学术期刊。这也从一个侧面反映出专家评价法独特的评价优势。此外，尽管5种评价体系中共有的期刊较多，但还是有比较大的差异，这种差异主要体现在期刊的排列顺序上。应该说，专家评价出的结果被同行认同度较高。③ 质量评价涉及多个要素，每个要素又有多个子要素。评价目的、主体、客体、方法、指标和制度六大要素及其子要素多种多样，要搞好一项具体的评价，关键是要明确评价目的。从此次评价实例看，由于明确了此次评价的目的，即为验证“全评价”体系，对法学期刊质量进行全面评价。评价目的确定后，评价主体等要素就好选择和确定。为了进行特色、价值、效用、声誉评价，评价主体被确定为是经过遴选的法学研究、期刊编辑和司法部门实践部门的专家，评价的客体是60种正式出版的法学学术期刊，不包括内部期刊和集刊，采用的方法是专家抽样调查问卷法，评价的指标是基于内容和效用为主体的学术水平、声誉、特色、作用等定性指标，采用的评价程序(制度)是基于取得可信调查数据的相关规则。 多样性还表现在“特色”评价的结果上，各刊各有侧重，各有特点。比如，在“具有理论研究方向引导性”方面，《法学研究》占有绝对的领先地位；在“侧重关注学科热点、前沿问题”方面，排列在前10%期刊的差距不是特别明显，说明这些期刊都特别重视学科热点、前沿问题以及将这些热点、前沿问题突出地用期刊的形式加以表现；在“侧重典型案例深度分析”方面，《法律适用》名列榜首，法官学院创办的期刊也榜上有名；在“侧重法律分析解释和比较”方面，《比较法研究》、《中外法学》、《环球法律评论》排在前三位，但注重“精细”研究中国法律问题的《法学研究》仍排列其中。可见，多样性是期刊质量评价的一个基本属性。面对多样性，关键是要明确评价目的，进而善于在多样性中有所选择，有所作为。 学术共同体对期刊的关注度，一定程度上反映了期刊在对应专业领域的影响力。不同职称群体对期刊关注度的差异，一方面缘于对不同期刊学术声誉或学术水平认同的差异，另一方面可能也缘于各自需要的区别。也就是说，期刊得到的关注度，一方面是自身学术声誉或学术水平的体现，另一方面也是自身的某种特色迎合了对应职称群体的需求。 从评价的复杂性看，此次评价，历时10个月，比如设计调查问卷表，课题组反复讨论，就花了三个月时间。因为要把数十种期刊纳入到一张表中，提问(指标)精准、简洁、适中，节省被调查者的时间，确实不易。这不仅需要设计者熟悉法学知识，而且具有期刊学、心理学、研究方法等知识。提问的设计，更是绞尽脑汁，煞费苦心。提问多了，影响回收率，回收率低于30%就没有意义了；提问少了，不能反映评价目的所要求的内容，即使有高的回收率，也无意义。由于此次评价是专家评价，因此，选择合适的专家至关重要。有无合适的同行专家库，选择哪些机构的哪些专家发放问卷，各机构、各地区发放比例是多少，以何方式发放，是邮寄、网上、电话，还是座谈会、访谈，开放提问如何加权、计算，如何保证数据的最大可信度，如何对专家评价进行监督等问题，都需要仔细权衡，就连被调查者是署名还是匿名，都思量再三，因为每个细节都会影响整体评价工作。 比如，尽管此次总体问卷回收率达到43%，符合预期要求，但是，某些局部回收率不高，来自于法学期刊研究会及律师事务所专家的答卷几乎没有，司法实践部门的调查问卷回收也不是特别理想，期刊编辑部的问卷回收也只不过刚刚超过10%。究其原因，当然很多，但肯定与调查提问较多不易回答、发放方式等工作做得还不够细有关。又如，本次评价客体限定在有正式刊号的法学学术期刊，不包括学术集刊(以书代刊)和内部期刊。其实这些期刊，普遍具有较高的学术水准，比如《民商法论丛》、《北大法律评论》、《南京大学法律评论》等都具有鲜明的学术特点，尤其《北大法律评论》是由学生编辑的学术出版物，注重理论性和思想性，具有较高的学术声誉。但如果包括所有法学期刊，数量会非常庞大，是否需要初选，问卷如何设计，更为细致与复杂。 总之，期刊质量评价，即以期刊内容、效用评价为主的评价，远比单纯的形式评价、文献计量评价和以文献计量为主，辅以专家的评价要细致、复杂得多。由学术共同体对学术期刊进行评价，相比于形式评价，可以更客观地认识各种学术期刊的功能与特色，反映出不同学术期刊目标定位的多元性，学术研究层次和深度的差异，以及学术期刊功能实现的多样性。类似这样的较为深入、细致的精细评价是形式评价所不能体现和反映出来的。 从以上分析可以更清楚地看出，首先，明确评价目的是面对质量评价多样性和复杂性，有效选择评价主体、评价标准等的关键一环。由于明确了评价目的是期刊内容、效用的评价，主要对期刊学术水平、学术地位、特色、风格、专长的评价，因此，评价主体的选择、评价标准及指标的确定等均围绕评价目的来进行，就使类似一组的期刊有了可比性。其次，要突出同行专家作用。质量评价主要是同行专家的评价，同行专家的评价与文献计量的评价，不是并列，更不是对立关系。引文、文摘等计量指标，与同行专家直接的评价具有很大的正相关性，法学评价实例也证明了这一点。再次，要强调内容、效用等指标。有的文献计量指标，如引文在一定程度上能反映一些质量情况，但有的就不能反映，如一些“跟风”引文、负面引文等，因此，这些指标仅作为门槛，并可对同行专家的评价起到校验、补充作用。期刊编辑部工作的一些指标，也能在一定程度上反映期刊质量，但同样不能完全反映，比如，一定的办公条件是高质量的一个因素，但并非条件越好，质量越高。因此达标及以上均可。而创新性、前沿性、科学性、价值性、规范性等定性指标更为重要，甚至可以“一票”胜出或否决。 但也应清楚看到一些问题。比如，从“同行专家调查问卷”方面看，同行专家的选择有待加强，调查问卷表的设计、发放还需进一步优化，期刊及其论文的抽样审读尚未开展，同行专家评价监督等制度有待建立和完善，等等。这些问题也从一个方面说明了质量评价的复杂性。 目前国家出版管理部门正在准备评价学术期刊的质量，并制定了《报纸期刊出版质量综合评估办法(试行)》(以下简称《评估办法》)和《全国报纸期刊出版质量综合评估指标体系(试行)》(以下简称《指标体系》)，从评价目的、评价主体、评价客体、评价标准及指标、评价方法和评价制度这六个方面看，有的规定已体现出这些特点，但有的内容则没有或反映不充分。例如，《评估办法》第一、三和九条阐述了评价目的：“为了促进报纸期刊业的健康发展，提升我国报纸期刊整体质量，完善报纸期刊出版优胜劣汰机制，调整报纸期刊结构，优化报纸期刊布局，建立良好市场秩序”，“建立实现报刊优胜劣汰的科学长效的管理机制。鼓励优秀报纸期刊做优做强，对不合格报纸期刊实施退出，提高报纸期刊服务国家社会发展和满足人民群众多样性需求水平，提高报纸期刊的整体质量和效益，推动报刊业规模化、集约化发展。”对“认定的优秀报纸期刊，新闻出版总署予以表彰和奖励，在配置出版资源等方面予以政策倾斜。”“鼓励扶持报纸期刊(传媒)集团和有实力的报纸期刊出版单位做优做强，整合资源，优化结构，扩大产业规模，实现集约化经营；培育发展一批较强传播能力和舆论引导能力的优秀品牌报刊出版单位。对于评价不佳者，将采取较严格的末位淘汰制”，“在一个评估周期中，各省、自治区、直辖市退出的报纸期刊比例一般不得低于本区域报纸期刊总数的3%。”④ 可见此次评价目的既是“评优”，又是“劣汰”，既是“优中评优”的评价，又是“合格”评价，试图通过一次评价达到两个或多个不同的目的，愿望是好的，但实效可能未必如此。 从“全评价”体系看来，在六要素中，评价目的是龙头，它制约其他各要素。质量评价的目的多种多样，是一般性的过关评价，还是分级评价淘汰性或优中选优评价，不同的评价目的，决定不同的评价主体、不同的客体分类、不同的评价标准、指标、方法和程序、制度。在具体的一项评价中，必须明确评价目的，不能含糊，更不能将几个不同的目的混在一起。否则就会在评价主体、客体等选择中，出现“简单评价复杂化”、“复杂评价又简单化”的弊端。 又如关于评价主体，《评估办法》第三、四、八条涉及评价主体。评价主办方是出版总局及各省(市)出版管理部门，评价主体是“专家组或评估机构”。这里明确提到“专家组”，是值得肯定的，但“或评估机构”，就比较含糊。评估机构只是一个组织者，也要请“专家”评价，因此，评估机构不能与“专家组”相提并论。再者，根据“全评价”体系，评价主体也是多元的，“专家”也有各种：学科专家(大同行和小同行)、期刊编辑、期刊管理者、期刊评价专家、各学科领域实际应用者、研究生(准同行)等都是评价主体，但起主导作用的是学术共同体，即学科专家学者。学术共同体或同行专家是指具有科学精神，积极从事某学科或主题领域研究，有成果发表，学术造诣较高、人品好的小同行专家，而不论他或她暂时兼任什么职务、在何岗位，因为诸如期刊主编、科研管理者、评价机构负责人等岗位是暂时的，不能将临时性岗位与专业完全等同。因此，在《评估办法》中应对“专家”及其类型有明确的规定，以便各省(市)出版部门实施。 关于评价客体、评价标准及指标、评价制度，《评估办法》明确了“分类评价原则”，《指标体系》还注意到了学术期刊与非学术期刊的区别，既有定性指标，亦有定量指标，这值得充分肯定，但没有区别文科与理科学术期刊，没有将“分类评价”的原则贯彻充分，指标之间的逻辑关系不清晰，指标缺漏较多，引文指标与质量间的关系把握不定，没有强调专家对期刊文本的“审读”，更没有强调学术期刊的质量评价应该以专家评价为主这一得到学界共识的观点。在评价制度建设方面，如何建立同行专家库，如何选择哪些专家作为代表评审，如何建立“元评价”(对评审专家评价的再评价)，如何公开、透明评价信息，以利于业界监督，如何反馈被评者的意见，对有理有据的申诉如何裁定、由谁裁定等制度建设，都没有提及。评价制度是评价合理公正的保障，目前我国在评价制度上有许多空白，制定和落实这些制度，涉及许多方面，都需要沉下心来精细来做，此次质量评价是个难得的机遇，应该借此机遇将评价制度建设推进一步，为搞好此次学术期刊质量评价奠定基础。 ①以前是重理轻文，2004年中央文件明确两者同等重要，具有重大意义。当社会问题、人的精神、理念问题为发展的主要障碍时，这时文科更为重要。 ②中国社会科学院语言研究所词典编辑室：《现代汉语词典》，北京：商务印书馆，2012年，第1679页。 ③参见曹明：《法学学术期刊阅读情况调查》，《法律文献信息与研究》2011年第3期，第16—22页。 ④新闻出版总署：《关于印发〈报纸期刊出版质量综合评估办法(试行)〉的通知》(新出字[2010]294号)，2010年7月12日；新闻出版总署新闻报刊司：《关于印发〈全国报纸期刊出版质量综合评估指标体系(试行)〉的通知》，2010年12月8日。