论同行评审的改进_科学论文

论同行评审的改进_科学论文

论同行评议的改进,本文主要内容关键词为:同行论文,此文献不代表本站观点,内容供学术参考,文章仅供参考阅读下载。

[中图分类号]C919 [文献标识码]A [文章编号]1000-4769(2008)03-0086-06

一、科学评价与同行评议

在科学界,如何评价和确认一项研究的价值很重要,因为它决定着一项课题能否获得经费支持和一项成果能否获得社会承认。在知识生产中,获得经费支持和获得社会承认是对一个科学家研究生涯影响最大的两件事。

在我国,目前科学系统评价事物使用最普遍的方法就是同行评议,同行评议不仅被广泛用于课题评审和成果鉴定,还被广泛用于审稿、职称评定、学位授予等方面,许多单位、部门、高校、科研院所甚至把它作为唯一的科学评价模式。在科学的社会运行中,评价的功能是要实现资源和承认的公正合理的分配。默顿对科学社会学的开创性研究表明,科学评价的模式是用普遍主义规范来解释的,即对一项研究的评价应该唯一地依据其本身的价值来进行,其他各种社会属性(或称先赋变量)不应对评价产生大的影响。这就使得同行评议的健康运行以及改进成了科技界乃至全社会共同关注的一个焦点。[1]

同行评议的英文表述为Peer Review。“Peer”指同资格、同能力的人,“Review”是指鉴定性地或审慎性地审阅或检查。同行评议实指“由从事该领域或接近该领域的专家来评定一项工作的学术水平或重要性的一种机制”[2]。在科学研究领域,同行评议的内容主要是研究项目的评价和研究成果的评价。正如美国国家研究委员会、美国国家科学基金会在《科学质量的评估》中指出的:“它是影响确定诸如谁学、谁教、谁领先、谁将进行科研工作,以及什么结果应被发表和应用等一系列关键决策的基础。”[3][作者简介]张彦,上海财经大学人文学院教授,博士生导师,上海200433。

同行评议具有鲜明的社会学色彩。首先,同行评议体现了科学的自主性。因为该制度要求科学家在评价其同行的工作时,惟以研究本身的价值为依据,而不为其他因素(包括科学以外的力量或权威)所左右,独立地做出判断。历史上,同行评议形成和发展的过程(特别是其规范化和制度化的过程)是与科学自主性的形成和发展的过程相一致的。[4]如今同行评议在我国的科学研究中已全面实施,就此周光召指出:“至少在形式上,过去那种领导人说干什么就干什么的做法已经一去不复返了,科研立项和经费安排已经能够由科学家自己做主;不通过同行的专家评议,基本上拿不到项目。”[5]其次,同行评议体现了科学共同体在评价系统中的权威作用。同行评议中的“同行”是库恩所提出的“科学共同体”这个概念。同行评议属非个人决策,因而是一种社会学机制。社会学早已阐明“同行认可”的地位和作用,这就是:一项研究的价值,不取决于来自科学系统之外的力量,也不能依据哪几个权威的发话,只能靠科学系统本身并要由科学群体作出判断和裁决。无论在库恩的范式理论中还是在默顿的规范理论中,人们都被告知,科学共同体充当研究价值评判的“仲裁人”的角色,是任何科学家个人或其他社会角色无法替代的。

在历史上,培根曾就科学评价提出过两个标准:内部标准和外部标准。内部标准就是推理和证明,外部标准就是实际应用。培根认为,后者比前者更重要,因为结论之正确,没有比实际应用更权威的判断了。“只有把新概念成功地运用于实际,才是正确性的最终象征。”[6]但对究竟哪项研究会真正导致创新和哪项学术成果真正是正确的,至今尚没有先验的可靠理由保证它们与有用性可以同时并存。爱因斯坦在谈到基础研究时曾经指出:“作为一个普遍规律,科学所创造的知识和方法只是间接地有助于实用的目的而且在很多情况下,还要等几代人以后才见效。”因此后来人们悄悄地舍弃了把应用作为科学评价标准的看法,而培根把推理和证明作为科学内部特征的看法被保留下来,并在20世纪到来之前,几乎成为普遍有效的“官方”观点,这就是现代广泛采用的同行评议制。

二、同行评议遇到的问题

在理论层面上,采用同行评议评审科研项目和鉴定科研成果,在别无更好选择的情况下,的确是一种简便易行的方法。这是因为:第一,它是同行的集体评议,对“事”不对人。从决策角度看,同行评议属非个人决策。群体决策(或民主决策)可以形成一种个体科学家无法取代的功能,因而评价结果具有相当的公正性和可靠性。第二,同行有共同的范式、共同的是非标准和共同的道德要求,因而有共同的语言,容易裁决是非,就评议结果达成一致。第三,同行评议还具有自我反馈、自我调节、自我纠错、自我约束的功能。即使我们可以举例说明,甚至最权威的学者和学术机构也会犯错误,但我们一定要注意到,学术界所犯的错误最终都是由同行评议所发现、所纠正的。

但是在现实层面上,同行评议制在运行中出现的问题的确很多。尤其在我国,把同行评议普遍作为一种科学评价方法时间不长,同行评议尚处在最初的发展阶段,亟待完善。其中最突出的就是出现了一些严重违反普遍主义规范的问题,例如重人情、拉关系、礼尚往来、本位主义、名流免检、“权威”定音、鉴定走过场、搞平衡做交易、自行预拟鉴定意见、“合法”参考申请者的新思想,等等。如此一来,针对科研领域中浮躁浮夸、急功近利乃至学术腐败等问题增多,近年来国内各界包括科技界自身要求改进同行评议的呼声越来越高。[7]

笔者认为,造成上述问题的主要原因有三个:一是同行评议固有的缺陷;二是同行评议名不符实;三是同行评议在制度设计上尚不完善和在操作上尚不规范。社会学认为,只有从症结上弄清问题发生之原因,才能“通过改变其原因的活动来改变原因的结果本身”,从而标本兼治地解决问题。那么改进同行评议的着力点究竟在哪里呢?

首先,由于同行评议系由科学共同体充当评价、选择研究的“仲裁人”,这种方法毕竟与检验真理的实践标准有一定距离。这样,当科学家或专家作为同行评议人时,他们的主观判断不可能不受各种非科学因素的干扰,在有意无意间发生不客观、不公正的错误也就在所难免。例如:同行评议容易诱发“马太效应”[8],同行评议有利于评议人达成共识但不利于支持创新[9],交叉学科往往是同行评议的盲区[10],等等。这些偏差像抽样调查中的抽样误差一样,是同行评议本身固有的局限性,无法避免。但它们并不构成废除同行评议的充足理由。因为同行评议只要按普遍主义原则设计并进行操作,在评议人个人身上发生的偏差就会由于群体决策的制约而被大大消解,“同行认可”(即对个体的资源分配和荣誉分配)就会稳定地围绕着科学研究之价值上下波动。这恰似在经济系统中,价格稳定地围绕价值不断波动,从而使资源得到有效配置。国内外许多调查也一再证实了这一点:尽管同行评议存在着这样那样的缺点,但它仍不失为从一般研究背景下“过滤”出“好科学”的一种行之有效的社会学机制。[11]当然,同行评议固有的局限性也使我们认识到它并非科学评价的唯一模式,比如国家自然科学基金对具有超前性和原创性特点的项目而引起的“非共识”,就通过设立“预研项目”予以保护。[12]

其次,所谓同行评议名不符实,是指同行评议被空壳化的种种情况。例如:同行评议组成员过“杂”,大同行多,小同行少;而如果行政领导、科技管理干部喧宾夺主,就完全背离了同行专家的基本要求。特别需要指出的是,将专家评议等同于同行评议是目前我国同行评议中存在的一大误区。[13]同行评议所强调的专家是指熟悉本领域并有造诣的“同行专家”,而不是有高级职称者便是。在我国“教授”、“高工”头衔满天飞的今天,在高校、科研院所管理层中有高级职称者大有人在,其中长期远离科研第一线者众多,有的干脆就是行政干部出身。专家评议造成了对同行评议的误判,是同行评议名不副实的根源。有专家头衔而非“同行”,与同行评议的本质不相容,其破坏是根本性的,更何况“貌似”还蒙蔽了公众的视线,使同行评议在信任危机上承受了许多不白之冤。但是,“空壳化”并不由同行评议的实施所引起,恰恰是背离同行评议的结果。所以,纠正这种情况非改进同行评议的诉求所能为,只有靠领导层的政令以及它的严肃性与畅通才能解决问题。

第三,同行评议是一个相对简单的概念,一般人不难理解,但同行评议的运行却存在着两种方式:普遍性的方式和特殊性的方式。一个运转良好的科学评价系统应该是普遍性的。因此改进同行评议,我们真正需要重视的是在普遍性方面暴露出来的问题。如前所述,同行评议尽管避免不了评议人有意无意间可能发生的不客观、不公正的错误,但只要它遵循普遍主义规范,其公正性和合理性就能得到保障。但如果按特殊性的方式运行,“同行认可”在研究价值上下的稳定波动就会变成严重偏离。我们一定要明白,改进同行评议,不是要杜绝不公正和不合理的发生,而是要使之得到有效控制。事实表明,同样采用同行评议,具体实施的做法不同,结果会大不相同。多年来,人们一直呼吁要改进同行评议,但是由于没有抓住普遍主义是同行评议的核心,把重人情、拉关系等为世人所诟病的种种情况混同于同行评议固有的局限性,判断是非的能力反而下降了。正因为如此,本文认为,改进同行评议必须用普遍主义规范来考量,找准着力点(即从制度设计上的不完善和操作上的不规范入手),通过制度建设来最大限度地打破利益关系、屏蔽人情关系,真正从机制上解决问题。

三、从“人选”到“盲选”的改进

同行评议制工作处在何种状态, “评议人”遴选是关键。同行评议确定了科学共同体充当价值评判“仲裁人”的权威地位。因而,“选择好同行评议专家是第一位的、起决定作用的。”这些年来,对于改进同行评议的诉求,尽管仁者见仁,智者见智,但“评议人”遴选的重要性无疑是整个学界的共识。

应该指出,由于传统思维定式的影响,对于评议人如何产生,我们历来有一条思路,这就是“人选”。所谓“人选”,就是由“遴选人”决定“评议人”的做法。从表面上看,这种做法切中要害,因为它直指评议人的“选好”。我们完全可以就什么人才能成为同行评议专家提出严格要求,例如“一流的学术造诣”、“渊博的知识底蕴”、“高尚的道德品格”等等。如果同行评议的实施遭遇什么问题,我们还可以不断重申,并就德才兼备对评议人资格增加一些更严格的条款或规定。

但细究起来我们便不难发现,“评议人”由“遴选人”决定,不像同行评议本身被用于科学评价那样是一种机制,所以“选好”并不具有把握的可靠性。这种做法,实际上将置身后台的评审组织者、管理者推到一个道德完人的境地,非但如此,还要对他们的能力做出全知全觉、慧眼识珠的预设。显然,这样的预设就像上帝之手的预设一样是不能成立的。因而,不管我们对评议人资格提出的要求有多高,只要这些要求不是针对遴选人的,只要遴选人也有利益关系和人际关系,只要遴选人能力也有限,“选好”评议人的目标就保证不了。再者说,“人选”的做法也与同行评议的本质相悖。同行评议体现了科学的自主性,即要求评议人在评价其同行的工作时,惟以研究本身的价值为依据,而不为其他因素(包括科学以外的力量或权威)所左右,独立地做出判断。但是“人选”却使同行评议在其实施的第一步就被异化了:“评议人”或多或少听命于“遴选人”将不可避免。因为我可以选你,当然也可以不选你。

纵观我国同行评议的发展过程,要解决在普遍性方面暴露的问题,根本举措在于:抓住评议人遴选这个关键,变“人选”为“盲选”。所谓“盲选”,就是评议人从同行专家库中按随机原则产生的方法。“盲选”取消了遴选人的角色,也就取消了评议人遴选过程中的个人意志和暗箱操作,同时评议人遴选也不再被限于一个小圈子。这样做的好处是明显的:(1)公平、公正、公开使同行评议远离信任危机,保证同行评议的公信力;(2)各种错综复杂的利益关系、人情关系起作用的机会大大减少了,许多矛盾也会迎刃而解;(3)制度化、民主化、科学化使遴选评议人的方法能够与国际接轨,同行评议在评议人遴选环节上的开支也会大大减少。

评审专家按随机原则遴选,此乃在制度层面上改进同行评议的关键之举,这样一来,在操作层面上同行专家库的建设就成了一件大事。现在我国许多部门都已建立了自己的专家库,但由于质量参差不齐,又处于各自为政的状态,所以现在能在真正意义上普遍使用“盲选”方法的条件尚不具备。为此,国家应该从战略高度予以重视,由科技部牵头联合教育部等,在不久的将来办好这件事。而为了防止走弯路,同行专家库建设应该满足“质量兼备、整合共享、动态开放”这三个要求:

1.质量兼备

质量兼备的基本要求是:(1)凡有资格的专家都可入选专家库;(2)不合格者则可被有效排除。为此,必须在同一学科领域中广泛遴选同行专家。我国自然科学基金会与美国科学基金会近年来受理项目的申请数相近,2003年超过了3.5万项,2003年美国国家科学基金会(NSF)评议专家库的专家人数超过了29万人,而我国自然科学基金会专家库的专家只有4万人。[14]同时,凡是入选者在专家库中都要有两类准确的可供同行浏览和查询的关键信息:个人特征信息(姓名、年龄、专业、工作单位、职称职务)和个人成果信息(论文、著作、完成课题、获奖以及成果被采用情况)。关键信息(特别是个人成果信息)透明,就是认证同行专家资格的最好办法。

2.整合共享

要整合现有专家库资源,建立跨部门、跨地区统一的专家库及信息管理系统,实现资源共享,避免重复建设而造成的浪费。专家库要以通讯评议专家为基础,凡符合以下三条者皆有入选资格:(1)具有副高以上专业职称;(2)在选定学科有相当成果;(3)无不端学术行为记录。在此基础上,可搭建具体评议(包括跨学科评议)所需要的较高层次的(例如二审专家、评审组专家)各种选择平台。但是无论哪一级平台都不应该由人来划圈子,而应该在确定识别指示项后,借助专家库提供的信息,经由计算机搜索自动生成。

3.动态开放

同行专家库应当是动态的,专家可以随时更新自己的信息。对于评审专家的更新,特别是增加新的评审专家,可采用个人申请与单位推荐相结合的办法。专家库管理机构可以将“专家信息表”放在互联网上,任何人都可以登录专家库管理机构的网站,在“专家信息表”中填写科研成绩和基本信息,申请成为专家库成员,经所在单位与管理机构审核后,将是否接纳其成为评审专家的信息通过电子邮件反馈给专家本人。同时,个人和单位也可以登录专家库管理机构网站,通过填写“专家推荐表”推荐评审专家。单位科研管理部门应及时更新专家库,如专家的新近调入、调出、退休、去世等等。

为了搞好学科评审组专家(特别是评审组主任和副主任)的遴选,借鉴域外经验,有条件时“公选”也是一个好方法。例如,德意志研究联合会(DFG)用直接选举与学会推荐相结合的方法确定国家自然科学基金委的评审专家,对保证同行评议的质量起到了很好的作用。[15]在我国这样一个“人情大国”里,通过选举产生评审组专家,将会很好地提升同行评议的质量和公信力。另外,要求评审组专家在被提名后通过同行信任投票,也是在制度建设中可供采用的一个方案。当然,对评审组专家规定任期,定期换届,则是必需的举措。

此外,随着科学技术的发展和国际交往的深入,引入国际同行参与评审也是提升同行评议科学性、公正性的一种有效措施。例如,美国国家科学基金会专家库中的国外专家约占10%;澳大利亚研究理事会(ARC)从一开始就非常注重国际化评审,其同行评议专家库中海外专家占了近40%,这在一定程度上保证了ARC研究的国际化水平。[16]我国国家自然科学基金委在多年实践的基础上也引入了国际化评审机制,基金项目的整体研究水平由此得到了促进。但从整体上看,我国同行评议离国际化评审还有相当距离,如国家自然科学基金委邀请的评审专家也还主要限于华裔群体,提升的空间还很大。

四、改进的系统思考

同行评议是一种涉及许多因素、实施起来要求很高的制度。为了使之真正符合普遍主义规范,我们在推进评议人遴选制度改进的同时,还要在制度和操作两个层面上对其他举措做全方位的思考。

1.当事人回避

应当建立、实行当事人回避制度,即申请人不应该成为评议人。正如西方谚语所云:“任何人均不可为自己事务的法官”;也就是俗话所说,运动员不能兼任裁判员。利害关系人也要回避评议自己单位研究者所提出的申请书。如果评议人的亲朋好友是申请书的主要成员,该评议人在评审和讨论时也应该主动回避。

2.盲评在先

尽管“隐去申请人身份”在许多情况下都做不到,但是同行评议应该有匿名评审的导向,即凡是能盲评的采用盲评。最好的盲评是背靠背评议的方法,即评议人与被评人互相都不知道评何人、被何人评,也叫“双盲法”。如果采用“单盲法”,评议人知道评谁,被评人不知道谁评,评议人的本位倾向等仍难有效遏制。在评议人和论文作者的关系方面,现在许多杂志都采用“双盲”评议法,即论文作者与评议人之间相互都是匿名的,如此一来, “关系稿”自然难行其道。另外,采用信函送审的评议方式评价科学理论成果,也不失为一种可行的做法。这样不仅可以保证一定的匿名性,而且可以大大降低开支。

3.结果反馈

建立评审意见反馈制度,不仅能增加同行评议的透明度,维护申请者的知情权,而且能使申请者从同行的真知灼见中获益,同时增强评审专家的责任意识。NSF和ARC等都非常重视同行意见反馈。ARC已经把同行意见反馈贯穿到了项目评审的各个阶段,这种机制保证了申请者与评审组织之间的有效沟通,增加了同行评审的公正性和有效性。[17]但是,对评审意见反馈不应延伸到连评议人的身份也反馈。调查表明,这种更加“开放”的做法会对评议人给出客观结论产生不利影响。[18]

4.落选申诉

同行评议即使是群体决策,也不能保证其在理解申请书所陈述的研究价值上不出错,所以可以考虑建立落选申诉制度予以弥补。NSF近年来就设立了正式受理申诉的机构,并一直在行使职能。如果项目申请人对项目评审意见不满意,可以将意见反映给主任助理或主要官员,对项目进行重新审查。这个要求必须在申请者收到资助决策后90天内完成。如果申请者对项目助理的决策意见还是不满,可以在收到决策结果后60天内将其意见反映给NSF的副主任。这一措施使得申请者与评议者之间实现了交流与理解,保证了评审工作始终在透明与公开的环境中进行。[19]

5.投诉受理

改进同行评议,制度建设固然重要,各项举措的落实同样重要。比如,《科学技术评价办法》虽然规定了评审专家随机遴选的原则[20],但如果在某一具体评议活动中评审专家仍然是由指定产生的,那该怎么办?现在同行评议的许多问题不是出在无规定而是出在规定的不落实上,规定形同虚设往往比没有规定更可怕。就此,由科技部等五部门联合发布的《关于改进科学技术评价工作的决定》中提出:要制定严格的监督机制和责任制度。[21]但是,要对每一次评议、每一项规定、每一道程序都进行有效监督实际上又是不可能的,投诉受理制的设立将可使之疏而不漏,且更节省费用。因为公众的眼睛是明亮的。就此而言,首先要做到投诉有门,再就是要做到投诉必受理和核实必处理这两条。这样,让每一个科学社会成员都成为制度和规定的潜在监督者,会比三令五申更有效。

还应该指出,同行评议作为一种选优机制,用于项目评审和成果鉴定是不完全相同的。如果说同行评议对项目评审具有普适性的话,那么同行评议对成果鉴定却有一个是否适用的问题。特别是在今天大科学时代,由于科学、技术、生产日趋一体化,科研成果被物化的步伐大大加快。这样一来,直接依据成果的实际应用(即采用外部标准)来进行成果鉴定,就比“同行认可”要来得更合适、更权威、更公平。为此,我们在改进同行评议的同时,一定要避免同行评议在成果鉴定环节上误用或滥用。应该将同行评议的适用范围严格限定于理论成果或学术成果,对技术成果则更多地采用“视同鉴定”,即依据实施后取得的效益来直接领取市场签发的“合格证”。

明确这一点,对于科技成果大量转化为现实生产力具有至关重要的意义。一个时期来,对技术成果动辄召开鉴定会就是我们在科技管理上亟待走出的一个误区。因为从社会学来看,技术的社会角色是不同于科学的社会角色的。如果在技术领域也广泛采用同行评议,就会严重影响人们对技术社会角色的领悟,误将同行认可(而非市场接受)当作对技术社会角色的期待,最终使技术的社会角色不能实现。我国科技界目前理论成果“相对过剩”,应用成果“严重匮乏”,以及科技成果大量闲置,通过鉴定之日,就是打入冷宫之时,只开花不结果,皆与此有关。

采用科学评价的外部标准,其实质就是以实践作为检验真理的根本标准。这样一来,科技成果的评价就成了一个非常客观的过程。同时,这种评价模式非常好地体现了复杂劳动的价值,对科技工作者产生的激励作用很大。这种方式无需各级部门组织评奖,可减少许多形式上轰轰烈烈、实际上收效甚微的评奖活动,促使大家脚踏实地、实实在在地搞创新。让市场对科技人员论功行赏,是在经济建设主战场决定知识价值与报酬的方法,此乃加速科技成果转化为生产力的最有效的途径。

在成果鉴定环节,关于同行评议,实施“延迟评议”是另一个我们必须建立的基本认识。这就是说,要让理论研究成果经过一段或短或长的时间间隔才予以认定,因为“真理是时间的女儿”。对诺贝尔奖80年间授奖情况的统计表明,成果从发表到获奖的平均时间间隔,物理学是13.1年,化学为14.3年,生物学和医学是14.2年。也就是说,这些理论成果在发表后,平均要等待13—15年才能最后获得科学界的确认。实施“延迟评议”的理据在于:科学上有一个最无情的关口——时间,经过时间的考验,谬误终要被抛弃,真理一定会放出光彩。早在1980年,华罗庚和王元根据国际学术界的惯例,针对当时国内已露出苗头的不良倾向,提出“早发表、慢评议”的原则,并且“从我做起”,主动撤回研究所为他们评奖的申请书。可惜时潮淹没了他们的呼声,近30年过去,“滥发表、快评价”却成了相当普遍的现象。成果一完成即忙于鉴定,追求外显效应,长此以往,学术浮躁盛行和学术泡沫泛滥实属在所难免。

五、结语

自默顿对科学社会学作出开创性研究以来,人们就清楚地认识到,科学是一个具有独特精神气质的社会机构。在科学规范的结构中,有两条规范是严格强制的:其一是“诚实性”;其二是“普遍主义”。但是在科学的社会运行中,对普遍性原则的遵守比对诚实性原则的遵守要难,因为诚实性是针对个体提出的要求,普遍性则是针对群体(特别是权威机构)提出的要求。具体来讲,诚实性是科学共同体为其成员所规定的不可逾越的界限;普遍性则是科学为科学共同体充当“仲裁人”角色所规定的基本准则。这样一来,同行评议固然体现了科学共同体在评价系统中的权威作用,但是对于其在普遍性方面暴露出来的种种问题,我们尤其要加以重视。正如科尔兄弟所说:正确的评价是“支撑着整个科学的社会支柱”,如果评价在原则上出了问题,“科学就可能会堕落”。[22]

社会学大师韦伯认为,科学是一项神圣的事业,科学家献身真理,从而保证了科学的纯洁。社会学家迪尔凯姆认为,保证科学纯洁性的不是科学家个人,而是科学家群体。默顿进一步指出,科学的纯洁靠的是科研体制方面的制约。对同行评议加以约束,即如本文所讲在其各个环节上加以改进(评议人按随机原则遴选等),就是要把“仲裁人”及科学评价的组织者、管理者的行为也纳入制度化控制范围,从而使科学的纯洁性得到全方位的维护。

标签:;  ;  

论同行评审的改进_科学论文
下载Doc文档

猜你喜欢