人文社会科学研究成果评价主体研究_科学论文

人文社会科学研究成果评价主体研究_科学论文

人文社会科学研究成果评价主体研究,本文主要内容关键词为:研究成果论文,社会科学论文,主体论文,人文论文,评价论文,此文献不代表本站观点,内容供学术参考,文章仅供参考阅读下载。

引言

科技部《科学技术评价办法》中将评价主体定义为:“科学技术评价工作的行为主体包括评价委托方、受托方及被评价方。委托方是指提出评价需求的一方,主要是各级科学技术行政管理部门或其他负有管理科学技术活动职责的机构等;受托方是指受委托方委托,组织实施或实施评价活动的一方,主要包括专业的评价机构、评价专家委员会或评价专家组等;被评价方是指申请、承担或参与委托方所组织实施的科学技术活动的机构、组织或个人”。① 该办法明确界定了评价工作有关各方的职责,指出“受托方接受委托后,应当根据合同约定制定评价工作方案,在取得委托方认可后,独立开展评价工作,任何组织和个人不得干涉。评价费用应由委托方支出,不得由被评价方支出,以保障评价工作的公平、公正”。②

与科技部所定义的评价主体略有不同,本文中的评价主体是相对于人文社会科学研究成果这一评价客体(评价对象)而言的,指的是从不同的评价视角对研究成果进行价值判断的各种评价行为主体。根据信息哲学中的信息构建说,对学术成果的评价并不具有绝对的客观性和超利益的公正性,而其评价结果也不具有唯一性。不同的评价主体有不同的评价标准与评价能力,甚至同一评价者在不同的环境和背景下也会对同一科研成果做出不同的评判,同一学术文本在不同的语境下会被解读出不同的意义或“价值”。简而言之,有什么样的评价主体,就有什么样的评价标准与评价结果。

所以,人文社会科学研究成果评价问题,首先是评价主体的选择问题。本文根据成果产生的流程与影响范围,将相关评价主体归纳为书刊编辑、学界同行、社会受众、科研管理者及科研评价中介机构,并分析每一类评价主体的评价视角与评价特点。其中,编辑选稿、专家评审、同行引用及政策影响是人文社会科学研究成果评价的重要环节。

一、书刊编辑

书刊的编辑出版是论著得以传播的主要途径,而编辑部与出版社则充当着科研成果“把关人(gatekeeper)”的角色。评价目标的差异,使书刊编辑对科研成果的评价具有不同于学术界的考察视角与评价标准。

1.图书编辑

著作能够得到出版与传播,需要图书编辑人员对著作的价值评估与质量筛选。一般来说,图书编辑出版部门主要从社会效益与经济效益两个方面评价著作类社会科学研究成果。社会效益考核图书内容,经济效益考核图书销售净额。评奖(如“五个一”工程奖、国家图书奖)则以“双效”量化得分为依据,分为不同等级,对应不同的得分。

作为对图书自身质量价值的评价,对社会效益的考核相对比较复杂,主观性较强,基本原则是主要看先进性、关键看创新性、适当看超前性,并突出考察其文化价值和应有的特色功能。先进性是创新性的基础,创新性是先进性的升华,适当超前是先进性和创新性的具体反映。根据社会效益的标准要求,专业类图书的内容方面主要考核创新见解和学术价值,形式方面分为篇章结构、字词句、装帧设计、印装质量。篇章结构主要考察叙述(论述)水平、谋篇布局、详略剪裁、承转起合,提倡简洁行文,论说缜密,反对拖沓重复,为文造字;字词句考察按照《图书质量管理规定》执行;装帧设计按照装帧形式服务于图书内容的根本要求,结合装帧设计的艺术性和新颖性打分;印装质量按照印刷物质量标准给分。对经济效益的考核关键是取得权威的统计数据,客观性较强。最可行最现实的办法是确定每类图书的经济效益考核基数并据此确定其经济效益得分系数。那就是分别取四类图书几年来每种图书(用一个书号即为一种)的平均销售净收入额即销售收入扣除成本支出的余额为该类图书的销售净额基数。除以销售净额确定经济效益得分系数之外,诸如印数、发行数、回款额等因不同的原因均不能表示真实的经济效益而不能作为考评依据。印数一方面是出版单位的主观市场预测,另一方面会因定价不同而差异极大;发行数由于高退货率的存在与实销数出入很大;销售额因成本的不同也不能代表真实的经济效益。③

2.期刊编辑

随着期刊评价与论文评价越来越被密切地联系在一起,以及文献计量评价方法被越来越广泛地用来评价论文成果质量,论文能否通过编辑初选而顺利进入匿名专家评审(假设期刊实行匿名专家审稿制),是决定论文得以公开发表并接收后续评价的第一关,期刊编辑成为研究论文首先面对的第一个评价主体。

与图书编辑类似,期刊编辑也要考虑期刊的经济社会效益,但对某一具体论文成果则注重其质量与创新性评价方面,而这要靠编辑人员的专业敏感性与学术选择能力。这种敏感与选择能力首先依赖于编辑的知识积累,要具有对该学科领域的知识框架和发展现状的基本了解。但是,专业学术期刊的编辑人员不可能是通才,大部分人的知识结构是有限的,特别是当今学科的分类越来越细,一个编辑人员要成为该学科诸多研究领域的专家很难做到。所以,编辑初选之后的稿件还需要交由学科领域专家来评审。而编辑主要从以下几个方面着手审查来稿:是否符合本刊的刊载范围、主要读者对象以及办刊宗旨,查看来稿与已经发表或准备刊登的同类文稿相比有无独到之处,对来稿质量和发表价值做出初步评价。

所以,期刊编辑对论文的评价除了创新性等质量标准之外,还要考虑该论文与期刊的学术定位、栏目设置、整体布局等是否相符。更为重要的是,这篇论文发表之后是否会有很高的被引次数与期刊排名(我国目前的期刊评价指标包括影响因子、论文转载率、基金论文比例等),也是学术期刊编辑较为用心的文稿采选标准。可见,论文评价与期刊评价在一定程度上是可以循环解释的,二者的关系是互为因果的。

另外,二次文献摘要类期刊与原始发文期刊的编辑在选稿时又有不同的评价视角与标准,前者评价主体除了评价的创新性标准,更为看好所转载研究成果的理论综述性、研究规范性与语言文句的可读性,因为他们主要考虑的并非期刊论文的被引率及期刊的影响因子,而是所转载文献的更广泛传播与更大范围的学术交流。

二、学术同行

学术同行既包括“大同行”(广大学界同行),也包括“小同行”(同行专家)。“小同行”的评价既有奖励性的也有准入性的,主要在期刊论文的匿名审稿、学术成果评奖、项目鉴定等成果评价活动中履行着权威评价主体的职能;“大同行”的评价职能则以成果的被引用这种潜意识的评价方式表现出来。

对人文社会科学基础理论研究成果的评价来说,学界同行最有发言权,是应然的评价主体。伴随着学术共同体的形成和科学研究的社会建制化,对基础理论研究成果的评价,已经形成了一套比较符合科学规律和学术共同体普遍遵循的评价准则与模式,并得到社会承认,成为通行的国际惯例。这种评价模式是一种“公开发表、自由评议”的大同行评议制度,即由学术共同体在自然状态下、独立进行研究成果的真理性评价制度。这种评价模式可以概述为:从事基础研究的科学工作者,可以自由在公开发行的刊物上(或以专著形式)公开发表自己的研究成果,其他科学家可以自由发表评论意见,进行学术讨论和争鸣,或否定、修正,或肯定和引用;经学术共同体讨论、争鸣后被确认为是科学真理的研究成果,将得到学术共同体和社会的承认,同时承认最先发表公开研究论文的研究者拥有对研究成果的完成权或发现权,并将依据学术共同体对研究成果的反响程度判断其学术水平高低和科学意义大小。

整体来看,学界同行的反响程度有多种判断形式与评价依据,常用的有引文分析法、“命名”法、发表论文期刊质量、获奖情况、邀请作学术报告等。引文统计分析在学术共同体和国际社会上应用最为普遍,也被认为是比较客观的一种评价社会科学研究成果质量的判断依据(但当引文动机不良时,此命题不存在)。“命名”法判据是指用科学家的名字命名其科学发现、提出的新定律、定理或公式,如文献计量学中的“布拉德福文献集中离散分布定律”等,是科学界采用的一种最持久和最高荣誉度的承认形式。各种学术期刊质量是分等级的,在权威性高的刊物上发表的论文,一般被认为可信度高、价值大(相对而言)。科学建制中的科学奖励系统是判定对科学理论成果承认程度的另一种主要形式,是评价研究成果的一种重要判据(前提是评奖的方法科学、程序公正),如“孙冶方经济科学奖”、“诺贝尔经济学奖”等。被邀请在学术会议上作报告、索取论文影印本等,也是研究成果质量的一种评价依据与参考。

学术共同体在自然状态下开展学术争鸣的同行评议制度,以及一些行之有效的评价指标与评价程序,已得到学术共同体的广泛遵循与社会的认同,形成了通行的国际惯例。作为领域专家的“小同行”,其对研究成果评价的标准与方式较为正式与权威,研究成果的发表(出版)、获奖、通过鉴定等,都离不开同行专家的评价结论。但是。尽管同行评议是目前学术界通行并被广泛认可的评价方法,它也并非无懈可击。为了揭示论文发表过程中的专家评议制的问题,曾有国外学者选择了在最终被某一期刊录用之前而先后被若干杂志退稿的围绕一个主题的四篇原始论文,研究了拒绝发表这些论文的期刊的把关人们(gatekeepers)对这些文章的评审意见,发现很多专家评议人根本没有认真阅读原文,他们仅靠对以前相关论文的经验就对它们判了“死刑”。不少评议人误解了作者的原意,疏忽了论文的重要内容,或者根本就没有注意到作者提出研究的问题,而作者的新观点更是没能得到重视。④

三、社会受众

社会受众作为人文社会科学成果的评价主体,既包括普通社会大众群体,也包括政策制定者与决策部门。对社会科学研究来说,好的社会科学研究成果应该是既“科学”又“社会”的。公开发表或出版的论著能广泛影响到广大社会受众群体的思想意识与价值观,而针对性强的研究报告则可以对资助方或政策制定者产生直接的社会效益或决策影响。社会科学把思想、价值、人际关系等等置于它们所构成和反映的社会过程的中心位置,所以它在本质上应是参与的、民主的。社会科学只有作为“社会”的科学时才有用,如果拿独立的探索、严谨的方法、公正的评判为代价去取代现实意义,只是一种不可实现的设想。因为,关键问题不是把知识简化为行动,也不是把行动简化为知识,而是想些实际的办法,最好以制度的形式保证知与行都能以各自内在的动力运行,而彼此又不乏交流。⑤

我们不能认为仅有理论的考虑就足以发展出可行的模式,因为社会科学是各个学科各种问题的汇聚,一个问题就招来一群社会视角,一项成果也会有各种各样的评价主体。真正的问题是,自称政策取向的研究有相当一部分无法影响它力图影响、并为其出资的评价主体,而且概念和方法的上乘也并不意味着能产生良好的政策影响。因为决策者作为社会科学研究成果的一个重要评价主体,它具有与研究人员不完全相同的评价标准,研究资助者和研究人员必须以能够引起政策制定者注意的方式去思考、实施并传播其研究成果。

公共政策的决策过程包含了诸多因素,指望社会科学研究超出其他利益、意识形态与以往的信息储备而一下进入决策者的视野是不现实的。只要决策者对研究成果做了认真考虑就可以算作被“利用”,至于遵行与否暂不考虑;如果研究成果得到了认真的听取,那就意味着它们是有机会改变决策者对问题及其轻重缓急的理解乃至接下来的行动的。⑥

古今中外,对社会科学研究(即便是专为政策目的而实施的)利用不足的现象比比皆是。导致问题的因素主要有以下三项:

——政策层面对研究缺乏兴趣。委托研究不是为了获得成果,而是出于其他原因,如政治习惯、象征性的合法化、政府隶属关系等等。

——研究者对研究影响政策缺乏兴趣。他们不管出于何种原因,与政策过程保持距离。

——政策制定者与研究者在语言、时间安排和兴趣方面存在差异,缺少沟通。

那么,如何让研究成果更好更快进入决策者的视野而被认真考虑或采纳利用?这是国外“知识利用”(Knowledge Utilization,KU)学派一直在探索的问题。他们总结出的影响因素包括:⑦ 由著名研究机构的著名研究者承担的研究成果更引人瞩目;方法新质量高的研究比低质量的研究成果被采纳的机会更多;定量研究比定性研究更有政策说服力;多元分析或综合研究比单一研究更具影响力。

为了使研究发现与成果更快传播及更有针对性,最后被决策者看重,除了一般的学术发表(研究成果登载于学术刊物)以及呈交给出资方的研究报告之外,第二种办法是从一开始就把利益相关方拉进研究过程,直到成果发表都一直关系密切,这会使研究对使用者的需求联系更密切,他们在研究过程中便对成果耳濡目染,从而使成果出来后很快被采纳。国外学者研究的第三个办法是建立网络,类似于政治游说,靠的是与有影响的精英群体真人对真面的接触。在美国,一些瞄准了国会成员的研究小组,就是跟国会主要委员会的成员接触,向他们讲解其研究成果的现实性及其对于政策的意义。最后一个办法是交给其他方面(如媒体、思想库)以及由来自不同机构、彼此接触、共享信息的积极分子所组成的“话题网络”。

最后,政策制定者的学科背景与工作时间等特点都对研究成果能否被倾听被采用有重大影响。美国和加拿大有证据表明,学法律的决策人对于社会研究、社会评估就不如学其他出身的决策者关心。决策者的另一个特点即他们在问题领域工作时间的长短。新来乍到的一般对研究发现要更喜闻乐见,而年深月久的则认为自己已经知道得够多了。

社会研究成果能否被政策制定者利用与被认真对待,在于政治环境而非具体过程。当政策圈子处于分裂竞争的状态,新的社会角色呼之欲出,以往关于政策性质的共识受到挑战的时候,研究发现则更有机会被人听取。这种状况并不意味着最好的社会科学成果便最具影响力;正相反,在政治意味十足的环境中,社科研究很可能被工具化,不过环境的开放可以造就或许有利的机会。但是,社会科学研究虽然可能得益于这样的环境,却无法直接造就这样的环境。关键是要制定出各种制度程序,这样的程序需要依赖各种各样的论坛,让研究者、政策制定者和所有社会相关方能通力合作,互相接受与容纳对方的评价标准与问题视角。社会科学研究者当然不愿意把自己的工作交给外行人去点评,认为外行人对经世致用的理解是过于功利与粗鄙的;同样,政策制定者自然也不愿意为他们的计划而被科学家盘查。所以,要真正提高社会科学的形象、促进社会科学的政策相关性,必须认真研究政策制定者这一评价主体的特点,寻找合理可行的研究与合作形式。

四、科研管理者

国外对社会科学研究及其成果的管理问题具有很好的研究传统,非常重视研究活动规律、研究成果对国家政策的贡献以及研究投入产出的效益问题等。⑧

我国全国性的人文社会科学科研管理机构主要是全国哲学社会科学规划办公室与国家教育部社会科学研究与思想政治工作司。全国哲学社会科学规划办公室制订了《国家社会科学基金项目管理办法》,对国家人文社会科学研究基金项目的申报、评审、进展质量与经费管理、鉴定与奖励等过程进行了全面规范。《国家教育部人文社会科学研究项目管理办法》规定,国家教育部社会科学研究与思想政治工作司负责全国高等学校社科研究项目的组织和管理工作,主要包括:组织制定和发布全国高等学校社科研究中长期规划、课题指南;组织和指导国家教育部社科研究项目的申报、评审、立项资助、中期检查及成果验收;管理国家教育部社科研究项目经费等。

这些部门职能类似于国外的科研基金管理委员会,他们主要关注项目基金管理与成果鉴定验收工作中的问题,如社科基金制的设立、资助政策问题、重大项目的立项与管理机制问题、成果管理与转化推广问题、资助项目的科学计量学分析问题以及促进社会科学与自然科学交叉融合问题等。

但我国目前存在着项目评审重于成果评审现象,现行的科研体制注重课题的申报和立项,表现出重申请过程和过程管理、轻成果验收和项目鉴定的倾向。这就诱使一些科研人员不是把精力放在科研,放在做出成果上,而是放在项目评审的“公关”上,一旦项目批准,资金到手,就敷衍了事,到结项时请几个熟人朋友象征性地验收、鉴定一下,然后把评议材料束之高阁,封存起来。由此可见,科研管理者作为学科建制与科研资助体系中一个重要的评价主体,重视项目成果的评审,强化科研资金的投入产出分析,将评价重心由投入指标转向绩效指标,是未来科研管理与成果评价的发展方向,也是当前迫切需要解决的关键问题。所以,科研成果评价体系的设计,成果价值总分值应该是成果质量分值与研究投入分值二者之比,这是从科研管理投入产出分析的角度得出的成果评价分值合成模型。

另外,各级社会科学管理部门及各高校文科处或社科部,出于管理的方便与评价的可操作性,对成果的评价一般以间接指标评价方法为主,比如发表刊物(或出版社)、被引用情况、被转载情况、获奖情况、被采纳证明材料等。这些间接指标之所以可用,或者说其可用的假设前提,是该研究成果已经经历了被评价与被选择的过程,而其被评价被选择的评价主体则是上述的书刊编辑、学术同行、社会受众等评价主体。发表刊物指标(或出版社指标)与被转载指标的评价主体一般是书刊编辑与同行专家(即小同行);被引用指标的评价主体主要是广大学界同行(即大同行);获奖指标的评价主体以同行专家(即小同行)为主;被社会采纳指标的评价主体则应该是社会受众(这里主要指社会政策制定者)。

五、科研评价中介机构

在《教育部关于大力提高高等学校哲学社会科学研究质量的意见》中,特别指出要建立鼓励高质量研究成果的评价体系,鼓励建立民间中介性学术评价机构,维护评审机构的独立性和权威性。⑨ 学术评价中介机构作为一种专业性的独立评价机构,其最大的优势在于其专业性与独立性,具体包括:评价方法的科学性、评价操作的规范性、评价标准的价值中立性,以及与评价主客体之间的中介性关系。国外各种各样的中介性评估机构很多,内容涉及方方面面,如工程评估、财务评估、上市公司评估、社会政策评价、科技评估与科研成果评价,等等。我国近几年也在逐渐兴起这种评价模式,不断强化评估活动的独立性与评估机构的中介性,已经形成科学评价理论研究与实践探索的一个发展趋势。

针对人文社会科学研究成果评价,目前相应的中介性评价主体也有一些,而且也大都有了很好的发展基础,只不过针对人文社会科学研究成果进行评价并非这些评估机构的唯一功能。国外最著名的要数美国的科学情报研究所(ISI)。ISI负责编制了科学引文索引(SCI)、社会科学引文索引(SSCI)、美国艺术与人文科学引文索引(A&HCI),三者共同构成ISI的三大核心数据库,在国际学术界得到了高度认同。同时,他们还有基本科学指标(ESI)等数据库。这些数据库不仅有文献检索功能,而且有强大的科学评价功能。但其最大的缺憾是对人文社会科学文献的收录范围主要以美国为主,国际覆盖面不够大。据统计,A&HCI目前在世界范围内共收录艺术与人文科学28个学科共1100余份期刊,绝大部分为美国和欧洲的学术性较强的学术期刊,目前中文期刊仅大陆的《外国文学研究》和台湾地区的《历史语言研究所集刊》被收录。

国内的人文社会科学研究评价机构主要依托于文献信息管理与情报研究部门,由情报分析研究人员采用文献计量方法开展评价活动,并研发相应的数据库产品与评价工具。其中发展基础较好的有:南京大学社会科学评价研究中心、中国社会科学院文献计量与科学评价研究中心、武汉大学中国科学评价研究中心,以及清华同方知网技术有限公司。南京大学社会科学评价研究中心与香港科技大学合作开发的中国人文社会科学引文索引(CSSCI)对我国社会科学管理影响很大,正在在全国推广使用并不断完善,预期发展成为“中国的SSCI与A&HCI”。《中国人文社会科学核心期刊要览》(2004年版与2008年版)是由中国社会科学院文献计量与科学评价研究中心研制的核心期刊表,采用具有自主知识产权的“中国人文社会科学引文数据库(CHSSCD)”和其他大型文献数据库作为统计数据源,运用文献计量学的理论和方法进行综合统计分析,邀请各学科权威专家进行评审,力求客观地反映期刊的“学术影响力”,包括核心期刊表、研制报告、综合性核心期刊学科引用分布表、核心期刊中英文简介,以及各类期刊影响因子排序表等,适用于期刊部门、科研管理部门和图书资讯部门的选刊工作,为读者、作者和科研工作者推荐各学科使用率和影响力较高的学术期刊。武汉大学中国科学评价研究中心不仅开展科技评价、教育评价、期刊评价,还进行了卓有成效的人文社会科学研究的评价,相继研发出“中外人文社会科学研究评价系统”、“中国人文社会科学研究竞争力评价报告”等产品。清华同方知网技术有限公司专门开发了“中国学术期刊文献评价统计分析系统”,主要统计内容包括:中国正式出版的7000多种自然科学、社会科学学术期刊发表的文献量及其分类统计表;各期刊论文的引文量、引文链接量及其分类统计表;期刊论文作者发文量、被引量及其机构统计表;CNKI中心网站访问量及分IP地址统计表。虽然统计分析的内容不是针对人文社会科学,但它为各学科期刊之间的比较与评价提供了一组客观、全面和公正的数据参考。

注释:

① 编者按:《国际社会科学杂志》2004年第4期。

② 孙自法:科技部发言人就《科学技术评价办法》答记者问,中新网[2007-2-27],http://www.cutech.edu.cn/rexian/000286.asp。

③ 张慧君、杨建军:《建立科学的图书评价机制——“三个代表”重要思想对图书出版工作的根本要求》,《太原理工大学学报(社会科学版)》2004年第1期。

④ Harcum,E.R.,Rosen,E.F.:The Gatekeeper of Psychology:Evaluation of Peer Review by Case History,Praeger Publishers,1993.

⑤ 编者按:《国际社会科学杂志》2004年第4期。

⑥ Weiss.C.H.and Bucijvalas.M.J:Social Science Research and Decision Making,New York:Columbia University Press,1980.

⑦ Weiss.C.H.“Evaluation:Methods for Studying Programs and Policies,”2nd.edition,Upper Saddle River,NJ:Prentice Hall,1997.

⑧ Claire Donovan,“The Governance of Social Science,” Refered paper presented to the Australian Political Study Association Conference University of Adelaide,29 September-October 2004.

⑨ 教育部:《教育部关于大力提高高等学校哲学社会科学研究质量的意见(教社科[2006]5号)》,2007年10月21日。

标签:;  ;  ;  ;  ;  ;  ;  ;  

人文社会科学研究成果评价主体研究_科学论文
下载Doc文档

猜你喜欢