基金项目与项目支持环境匹配的合理性&国家自然科学基金同行评审效果科学计量评价(一)_国家自然科学基金论文

基金项目与项目支持环境的匹配合理性*——国家自然科学基金项目同行评议效果的科学计量学评价(之一),本文主要内容关键词为:基金项目论文,计量学论文,合理性论文,国家自然科学论文,同行论文,此文献不代表本站观点,内容供学术参考,文章仅供参考阅读下载。

摘要:本文试图定量分析国家自然科学基金会对各地区的项目资助同这些地区的科研能力(以其科技论文数和论文的被引证数来表征)之间是否有良好的匹配关系。

关键词:基金;科研能力

1 研究背景

国家自然科学基金委员会自1986年成立以来,逐步建立了一套由同行通讯评议专家、学科评审组专家、学术和管理专家组成的,规模较大的专家评审系统,确立和坚持了“依靠专家、发扬民主、择优支持、公正合理”的评审原则,努力提高项目的评审质量,树立起科学基金制的良好信誉。作为科学计量学研究者,我们感兴趣并积极从事的相关研究是国家自然科学基金项目同行评议效果的科学计量学评价。

运用科学计量学方法评价国家自然科学基金项目同行评议的效果,主要针对项目、项目承担者、项目支持环境、项目成果、科学与社会需求等要素,以及诸要素(二要素、三要素、四要素、五要素)间的匹配合理性进行评价。分析工作可以分为个体和整体两种视角、微观和宏观两个层面、立项和结题两个时段考虑。由此,可产生许许多多研究课题。

关于国家自然科学基金项目同行评议效果的科学计量学评价问题,我们选择的切入点是从整体上考察国家自然科学基金项目与项目支持环境的匹配合理性。这项研究始于1992年,延续至今。计量指标由最初的五项增至八项, 考察的时间跨度由1988 —1990 年三年扩展到1988 —1993年六年,并将这一考察深入到化学与生命科学两个学科。

科学计量学应用研究有四个主要环节,即选择计量指标、采集数据、建构计量模型、解释计量结果。我们按照这四个环节,介绍近期完成的关于国家自然科学基金项目与支持环境宏观一致性的微观协调性的考察。

2 计量指标选择与数据来源

从广义上讲,国家自然科学基金项目的支持环境是整个社会。社会政治、经济、科技、教育的发展为国家自然科学基金项目的组织实施提供了安全的环境、经济的保障、科技的基础和人才的储备。在评价国家自然科学基金项目同行评议效果时,我们选择项目最直接的支持环境科技环境作匹配合理性考察。

国家自然科学基金项目的科技环境是立体的。项目所在学科及相关学科的发展状况、项目承担者所在机构的科技实力和所在地区的科学发展水平等构成了影响项目进展的科学背景。这其中,学术队伍、物质手段、信息条件等是主要影响因素。

我们可以分别选择科研人力、物力、信息等方面的计量指标作为表征科技环境优劣的指标。但是,考虑到研究人员的数量与水平、仪器设备的先进程度、图书资料的配备以及各因素作用的发挥等最终将综合表现为基础研究成果的数量和质量,考虑到跨单位、跨学科、跨地区合作研究已十分普遍,考虑到国家开放实验室、公共图书馆和计算机网络的作用已在一定程度上实现了资源共享,我们最终决定,不将人力、物力和信息指标作为单独的计量指标,而选择科技成果的数量和质量作为表征项目支持环境科技实力的指标。

国家自然科学基金的主要作用是资助和支持国内高水平的基础研究与应用基础研究。基础性研究的主要成果是科技论文和专著。据统计,在国家自然科学基金面上资助项目的成果中,科技论文的数量占98%以上,专著不足2%。这表明, 科技论文指标是表征基础性研究实力的主要指标。科技论文指标有数量指标和质量指标之分,由此,我们确定了国际论文篇数、国内论文篇数、国际论文被引证篇数和国际论文被引证次数四项指标作为表征国家自然科学基金项目支持环境的指标。由于我们选取整体视角对同行评议效果作评价,因此,基金指标定为国家自然科学基金项目项数和国家自然科学基金项目金额两指标。再加上国际论文篇均基金金额和国内论文篇均基金金额两项复合指标,共确定了八项计量指标。

各计量指标的数据来源如下:

指标1:国家自然科学基金项目项数

国家自然科学基金委员会一年一度公布《国家自然科学基金资助项目统计资料》〔1〕。 其中的“国家自然科学基金面上项目资助情况按地区和单位统计表”是指标1 的直接数据来源。国家自然科学基金项目项数按项目负责人所在省、直辖市、自治区(暂未考虑台湾省,下同)分类统计。重大项目与重点项目多为跨单位、跨地区协作,经费往往需再分配,受数据来源限制,我们暂未考虑。

指标2:自然科学基金项目金额 指标2的数据来源同指标1, 为指标1项目的对应资助金额。按省区分数统计数据。

指标3:国际论文篇数

我国国际论文篇数的数据来源是中国科技信息研究所《中国科技论文统计与分析(年度研究报告)》(1988 、 1989、1990、1991、1992、1993)。〔2〕受国家科委委托, 中国科学技术信息研究所自1988年起开始一年一度大规模的中国科技论文统计与分析工作。统计内容分国际论文和国内论文两大部分。其中,国际论文数据源为美国编辑出版的权威性检索刊物SCI(科学引文索引)、EI (工程索引)、ISTP(科学技术会议录索引)和ISR(科学评论索引)。 我国国际论文指的是以我国学者为论文第一作者,被上述四种检索刊物收录的论文。国际论文篇数按第一作者单位所在省区分类统计。

指标4:国内论文篇数

我国国内论文篇数的数据来源也是《中国科技论文统计与分析(年度研究报告)》。该研究报告国内论文的数据源是国内出版的1200多种具有代表性的科技期刊。国内论文篇数按第一作者单位所在省区统计。

指标5:国际论文被引证篇数和指标6:国际论文被引证次数 我国国际论文被引证篇数和国际论文被引证次数两指数据的直接来源与指标3和指标4相同。受数据来源限制,我们选用的国际论文被引证篇(次)数取样不太规范,为以下几部分数据之和:1985年SCI 收录的中国科技论文在1985、1986、1987三年间被引证篇(次)数、1986年SCI 收录的中国科技论文在1986、1987、1988三年间被引证篇(次)数、 1987 年SCI收录的中国科技论文在1987、1988、1989 三年间被引证篇(次)数、1985—1989年SCI收录的中国科技论文在1990 年的被引证篇(次)数、1988—1990年SCI收录的中国科技论文在1991 年的被引证篇(次)数、1987—1991年SCI收录的中国科技论文在1992 年的被引证篇(次)数、1987—1992年SCI收录的中国科技论文在1993 年的被引证篇(次)数。我们将国际论文被引证篇数和被引证次数按被引证论文第一作者单位所在省区分类进行了统计和分析(统计数据略)。

指标7:国际论文篇均基金金额 指标7为指标2与指标3的比值。

指标8:国内论文篇均基金金额 指标8为指标2与指标4的比值。

表1列出1993年高等院校与科研单位基金、论文、引文指标排序1—30位的统计数据。需要说明的是,这里只统计了SCI收录的论文, 不包括EI和ISTP收录的论文。SCI引文数据采用的是1987—1992年SCI收录的我国科技论文在1993年被引证的篇数。

表1

1993年高等院校与科研单位基金、论文、引文指标排序1—30位统计数据

3 计量模型建构与计量结果解释

3.1

建构排序一频度分布模型考察基金与论文分布规律的宏观一致性

排序一频度分布模型是科学计量学频度分布模型的一种,主要用于研究不同计量单元指标频度值随位次而变化的规律。计量单元可以是省区,也可以是高等院校或科研机构等。以x 表示各计量单元在某项指标排序中的位次,y表示相应的指标频度值,y与x 的关系可以用排序一频度分布模型描述。负幂分布与负指数分布是最常见的两种科学计量指标排序一频度分布模式。负幂分布y=cx[-α](α>0)在双对数坐标系lgx-lgy中可转化为线性分布lgy=lgc-αlgx。负指数分布y=ce[-αx]α>0 )在半对数坐标系x-lgy中可转化为线性分布lgy=lgc-αx。α值是排序一频度分布模型的核心参量,用于表征各计量单元指标频度值随位次变化的总体趋势,和各计量单元指标频度值的相对差异。经试算,我们选择负幂分布分别对基金、论文及引文指标按省区和按机构排序一频度分布规律进行拟合。

3.1.1 各项指标按省区的排序一频度分布

各指标值按省区的排序为全排序。我们选择双对数坐标系lgx-lgy 给出国家自然科学基金项目项数、国家自然科学基金项目金额、国际论文和国内论文四项指标按省区的排序一频度分布点列图(图1)。图1显示4 点列均为左上至右下的下拐走势,故需用分段折线拟合。我们统一划分各指标排序1—10位的省区为高资助或高产出段,11—20位的省区为中资助或中产出段,20—30位的省区为低资助或低产出段,并分段求出拟合直线lgy=lgc-αlgx。各相关系数│r│值表明,所作各分段线性回归都是有意义的(│r│值略)。参数α值列入表2。

表2 基金与论文指标按省省区排序—频度分布α值表(1988 —1993年)

两个引文指标按省区的排序一频度分布点列与国际论文指标点列相似。因点列太多,图1中略去引文指标点列。 引文指标相应参数值α列入表2。 我们将新近完成的《中国化学论文与国家自然科学基金化学项目地域分布的比较研究》和《关于国家自然科学基金生命科学项目资助状况的若干定量研究》两个研究报告中的相关参数值一并列入表2, 以便作比较研究。所统计的化学论文中含化工论文,生命科学论文包括生物学、医药卫生、农林牧及水产学论文。

图1 基金指标与论文指标的排序—频度分布

对表2中各指标、各段位的α值作横向和纵向比较, 我们得到以下结论。

第一,α[,1-10名]<α[,11-20名]<α[,21-30名]对各指标均成立。这表明,各指标排序1—10名省区指标频度的相对差距最小,而21—30名各省区间指标频度的相对差距最大。

第二,无论是中国科技论文总体、化学论文、生命科学论文,也无论是高产段、中产段、低产段(化学例外),国际论文指标的α值均大于国内论文指标的α值。这表明,各省区间国际论文数量的相对差距大于国内论文数量的相对差距,因而,国际论文数量是比国内论文数量区分度大的基金支持环境指标。同理,国际论文被引证篇数和次数指标比国际论文篇数指标区分度更大。因而,选择国际论文和引文指标作为表征各地高水平基础性研究实力的指标计量效果更好一些。

第三,总的说来,高、中、低三个资助段基金金额指标的α值均略大于基金项数指标的α值。也即是说各省区基金金额的相对差距稍大一些。因而,基金金额是比基金项数区分度大的投入指标。如果简化比较指标,二者择一的话,可选择前者。

第四,基金指标和论文指标相比较,两项基金指标的α值与国际论文指标的α值最接近,其次是国际引文指标,特别是在1—10 名段位和11—20名段位。这是基金与国际论文及引文排序—频度分布规律一致性的量化表征。考虑到国家自然科学基金是用于支持最高水平的基础性研究的科技投入,而国际论文及引文从总体上代表了我国基础研究的最高水平,这二类指标宏观分布规律的一致性从定量角度揭示了1988—1993年六年中国家自然科学基金资助地域分布的合理性。令人折服的是,国家自然科学基金是项目基金,是逐项申请,逐项审批的。除少量地区科学基金按项目倾斜到10个科技较落后省区外,各省的面上项目数都是逐项累加起来的,并没有人在省区间作平衡,也没有人有意使基金按省区的分布模式与国际论文按省区的分布模式一致。而且据我们所知,到目前为止,除本课题组外,没有人研究这两类指标的排序一频度分布模式。二者宏观分布规律的一致性完全归因于同行评议。是同行评议这只“看不见的手”在基金与其支持环境间起着微妙的调节作用。

第五,我们注意到,无论是总体还是分学科,在21—30名段位,基金指标的α值明显小于论文及引文指标的α值。这显然是地区科学基金人为调控的结果。

3.1.2 各项指标按机构的排序一频度分布 表1中高等院校与科研单位基金、论文指标的排序均为部分排序, 只排了高资助或高产出的1—30名。在双对数坐标系中相应的点列为直线排布,因而,不必再分段拟合。各点列线性回归方程参数α值列表3。

表3 高等院校与科研单位基金、论文、引文指标1—30名排序—频度分布α值表(1993)

机 构国家自然科学基金

SCI论文

SCI引文

国内论文

项目金额 (万元) 篇数

篇数 篇数

高等院校 0.500.59

0.65 0.31

科研单位 0.300.76

0.83 0.32

分析表3中各α值我们得到以下几点结论:

第一,无论是高等院校还是科研单位,SCI 引文篇数的α值均大于SCI论文篇数的α值。国内论文篇数的α值最小。因而, 各单位间引文数量的相对差距最大,国际论文数量的相对差距次之,国内论文数量的相对差距最大。对于计量各机构科技实力而言,国际引文数量指标区分度最大,国际论文数量指标区分度次之,国内论文数量指标区分度最小。

第二,科研单位论文与引文指标的α值均大于高等院校相应指标的α值,这表明科研机构间科技实力的差距更大一些。

第三,国家自然科学基金项目金额在获高资助的1—30 名高校间的分布规律,与SCI论文在1—30名高产出高校间的分布规律类似,两者α值很接近。而科研单位两个相应的α值却相差一倍以上,表明获高资助的1—30名科研单位间基金金额的相对差距远小于1—30名高产出科研机构间科技实力的差距。

第四,由于数据来源限制,我们仅分析了1993年一年的情况。若要得出具有普遍意义的结论,尚需将考察的时间跨度加大。

3.2 运用普赖斯定律计算基金与论文指标的集中度

集中度是一个建立在排序一频度分布基础之上的概念。它表征的是某项指标排序位次居前的若干计量单元,其指标频度之和占全部计量单元频度总和的份额。与经济计量中行业集中度的计算方法不同,科学计量学中科技成果集中度的计算方法是以普赖斯定律为基础的。普赖斯定律是这样表述的:若某一科学家群体有n位科学家,共计撰写了p篇论文,那么,最高产的n[1/2]位科学家撰写的论文数大约是p/2。 普赖斯定律也可推广应用于其他科学计量指标集中度的计算。

按照普赖斯定律的要求,我们分别计算了各项基金与论文指标排序居前的30[1/2]个省区指标值所占的份额。由于30[1/2]≈5.48,我们首先计算了排序1—5位省区的指标值之和,再加上排序第6位的省区指标值的48%,然后求出其占全国30个省区总指标值的份额。计算结果列入表4。

表4 基金与论文指标的集中度(%)(1988—1993年)

计量指标 国家自然科学基金项目 中国国际 中国国内 中国国际论文

论文 论文

引证

项 数 金 额篇数 篇数 篇数 次数

集中度

60.81 61.7463.0147.73 68.92 69.90

计量指标 国家自然科学基金化学项目 化学国际论文 化学国内论文

项数金额

篇 数篇

集中度 57.97

61.00 62.40 46.16

计量指标

国家自然科学基 生命科学国际论文 生命科学国内论文

金生命科学项目

项 数

金 额篇 数篇 数

集中度 63.20

64.8068.03 46.91

比较表4中的数据, 我们得到如下结论:除国内论文的集中度接近普赖斯定律的50%以外,其余指标的集中度均大于50%。基金金额的集中度与国际论文的集中度最接近。化学基金金额集中度仅比化学国际论文的集中度少1.4%。 而自然科学基金项目总体的金额集中度仅比国际论文集中度少1.27%。这表明基金在高资助省区与低资助省区间分布的不均衡性与国际论文在高产省区与低产省区间分布的不均衡性类似。这与前面所作关于论文与基金排序一频度分布α值比较的结论是一致的。再次显示了同行评议这只“看不见的手”在基金投入与支持环境间的调节作用。

此外,在计量中我们发现,化学论文与化学基金金额指标的集中度均呈现逐年减少的趋势。六年中论文集中度减少了5%, 基金金额的集中度减少了16%。这表明化学论文在高产与低产省区间分布的不均衡性正在缓解,高、低产省区间的差距在缩小。而化学基金在高资助与低资助省区间分布的不均衡性也在减弱。基金与其支持环境的变化再次表现出一致性。

3.3 借助序位比较法考察基金与论文分布的微观协调性

表5列出依据表1中数据所作的总体及化学、生命科学两学科基金与论文指标排序结构比较,从中可得到几点结论。

表5 基金与论文指标排序结果比较(1988—1993年)

第一,基金指标与论文、引文指标排序位次差不超过3 的省区占全部省区的2/3以上,平均相差2—3位。 这表明国家自然科学基金与支持环境在微观层次上存在一定的协调对应关系。

第二,基金与环境间在微观层次也存在不协调之处:

a.部分省区基金位次落后论文位次较多,例如,河北省各基金指标位次普遍落后各论文指标位次5—10位。统计数据显示, 河北省是位于论文排序中段偏后的省区,科技实力不强,但又不享受地区科学基金,因而所获资助往往被科技实力紧随其后,而又可申请地区科学基金项目的省区超过。

相反,部分省区基金位次超前论文位次较多,例如,贵州、新疆。这显然是地区科学基金的作用。地区科学基金对于提高科技落后省区的科技实力,培养高水平的研究队伍是必要的,应继续发挥这一基金的作用,但与此同时,为体现科技投入与支持环境一致的原则,避免基金与支持环境的明显不协调,能否对科技实力处于中等偏下水平省区的资助也给予适当倾斜呢?

b.部分省区基金与引文排序位次差较大,例如安徽和福建,基金位次落后引文位次7位以上。 这两个省是引文排序位次超前论文排序位次最多的省。这一事实提醒我们,在考察项目承担者实力时,应重视引文指标的作用。

图2 从直观上显示了各省区国际论文和国内论文百分比曲线围绕国家自然科学基金金额百分比曲线的波动。这既反映出国家自然科学基金与支持环境在微观层次存在一定的协调对应关系,也暴露出局部的不协调。

图2 国际论文与国内论文曲线围绕基金金额曲线的波动

3.4

关于国家自然科学基金项目资助中是否存在马太—波敦克效应的考察

马太—波敦克(Matthew—Podunk )效应涉及科学社会学中两个类似的效应马太效应和波敦克效应。科学家产出科学成果,科学共同体对成果予以某种承认,如引证或奖励,这正是科学系统(或曰科学的社会建制)得以运行的内在机制。然而科学社会学家发现,科学产出与获得的承认有时是不一致的。贡献近乎相等的科学家,获得的承认却不同。承认本身似乎更偏爱那些已获得承认的人,由此产生了一种优势积累效应。正如《圣经》中《马太福音》所描述的:“有的还要再给,而且多多益善。”于是,这种优势积累效应便被称作马太效应。有人成为马太效应的受益者,自然也有人成为牺牲品。故而,马太效应是一种使“富者更富,贫者更贫”的效应。对马太效应的功过,科学社会学家评说不一。可为多数人所接受的观点是,同样的贡献未获同样的承认,这对科学家个体具有负面影响。然而,这种效应使得某些已经得到承认的科学家由于优势积累而获得更多的承认,有利于科学权威的形成,而科学是需要权威的。马太效应也发生在科学子系统与社会大系统的互动之中,表现为科学产出与获得资助量之间的不一致——等量的成果,不等量的资助。

另一种与我们的讨论关系更为密切的效应是波敦克效应,又译小镇效应。该效应的命名者J·Gaston教授说,波敦克效应是一种假说, 常常被用来解释科学家在机构分层体系中因地位关系而带来的不利。在声望较低的机构或处于边远地区的机构中任职,可能得不到应有的承认,包括鼓励和经费。

马太效应和波敦克效应的作用对象都是科学家个体。但个体效应的叠加可以表现为对某一机构或某一地区整体分配的有利或不利。国家自然科学基金是项目资助,对课题组负责人和课题组成员成果的评价是关系到有关项目能否获得资助的重要因素。因而,国家自然科学基金资助中是否存在马太效应与波敦克效应,可从其与支持环境的比较中作出判断。我们考虑各省区每篇科技论文所对应的平均基金数随科技论文排序的变化。图3、图4分别显示按国际、国内论文排序各省区篇均基金变化状况。

图3 各省区国际论文篇均基金数随国际论文排序的变化

图4 各省区国内论文篇均基金数随国内论文排序的变化(图3、图4中虚线含地区科学基金,实线不含地区科学基金)

在图3和图4中我们看到的都是波动的折线。很显然,这是由于论文产出相近的省区获得资助不同引起的。

马太效应的受益者是高产者。北京、上海和江苏三省市是我国科技论文最高产的省区。1988—1993年六年三省市国内论文占全国国内论文总数的33.05%,国际论文占全国国际论文的50.91%。特别是北京市,全国国际论文的29.5%出自北京科技人员之手。因此,如果说国家自然科学基金资助中存在马太效应,我们倒希望北京、上海、江苏等科技高产出省市是受益者,以便加强这些地区作为我国科学研究核心力量的地位和作用。但是实际上,北京、上海、江苏国际论文篇均基金只分别排全国第16、27和19位。因此,我们认为,国家自然科学基金同行评议中不存在明显的马太效应。

地区科学基金的作用使国际论文篇均基金排序的前9 位被科技较落后的边远省区包揽。显然,波敦克效应在这些省区未起作用。国际论文篇均基金数排序28—30位的省区是河北、安徽和山西,这三个省区中,河北与山西两省论文排序居中段偏后,但又不能享受地区科学基金,于是,论文少,基金更少,声望低,获资助比例更低的波敦克效应在此生效。适当加强对这些省区的资助,充分发挥这些省区基础研究力量的作用,是今后国家自然科学基金资助中应予重视的问题。

表6给出高等院校与科研机构基金与论文指标统计数据。 比较各指标值所占百分比我们发现,国家自然科学基金项目资助中不存在机构偏见。

表6 基金与论文指标统计数据按机构分类表(1988—1993年)

4 后继研究设想

国家自然科学基金项目与项目支持环境的匹配合理性是一个很复杂的研究课题,今后还有许多工作要做。

第一,我们已做的工作是在简化、纯化指标的基础上完成的。实际上,国家自然科学基金项目的支持环境是很复杂的,重新选择一些计量指标,评价的结果又会是怎样的呢?

第二,受数据来源限制,已做的工作中留有不少缺憾。例如,重大与重点项目原来是不该忽略的,而分学科引文数据也应补充进去。这些只有留待后继研究去弥补了。

第三,关于国家自然科学基金项目与其学科环境匹配合理性的考察是一个政策性较强的问题,与我国的科技发展规划及基金资助导向密切相关。我们的研究回避了这一问题。但这又是一个很重要的问题,值得认真研究。

第四,引起基金与论文分布微观层次不协调的因素很复杂。国家自然科学基金是项目基金,申请到国家自然科学基金项目的一个很重要的前提条件是项目申请人在某一研究方向有深厚的积累,表现为在国际学术期刊和国内核心期刊上发表过相当数量的学术论文。因此,如果一个省区或一个单位虽然国际论文和国内论文数量不少,但很分散,没有在学科、机构和人员方面相对的集中,就很可能拿不到项目。考虑到这一因素,今后,在数据来源有保证的前提条件下,我们可借助论文的学科分布、机构分布和人员分布方面的指标,进一步分析各省区或机构基础性研究实力的分布情况,并考察其优势学科与国家自然科学基金“九五”优先资助领域的符合程度,以便使基金投放更合理。对基金项目与支持环境明显不协调的省区(如河北省)可作案例分析。

第五,国家自然科学基金项目的申报组织工作对基金资助与支持环境的匹配合理性有一定影响。科技实力方面的优势与先进的基金管理工作相结合是提高资助率的关键。因此,考察科学基金管理工作对基金与支持环境匹配合理性的影响是一项有意义的研究工作。

*国家自然科学基金项目,收稿日期:1996-09-20

An Examination of Match Level between NSFC Grantsand Supporting

Milieu of Grant—Aided Projects

Abstract:An attempt is made to quantitatively analyzewhether or not the amount of grants awarded to differentprovinces by the National Natural Science Foundation of China(NSFC) match with the research capacity of given provinces asindicated by its S and T publication and citation figures.Key Words:grants,research capacity

标签:;  ;  ;  ;  ;  

基金项目与项目支持环境匹配的合理性&国家自然科学基金同行评审效果科学计量评价(一)_国家自然科学基金论文
下载Doc文档

猜你喜欢