论基础研究成果评价中的三项文献计量指标及其关系，本文主要内容关键词为：研究成果论文,三项论文,文献论文,指标论文,评价论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
基础研究以探索自然界基本规律和法则为目的。从长远观点来看，基础研究的成果必能推动社会经济和科学技术的发展，它一般不可能在短时期内产生经济效益。因而基础研究成果的定量评价指标，必定不同于应用、开发成果评价中的经济效益指标，这就要涉及建立新的评价方法问题。目前，对基础研究成果的常规评价主要采用同行评议法，这种方法一般是同行专家参与评价，具有许多优点；但也不可避免地带有一些个人主观因素，在实际应用中存在着许多问题。文献计量可以为成果评价定量化提供新的思路和方法。在基础研究成果的定量评价中，可选择的指标有很多，目前最受学术界关注的文献计量指标有三项，即学术论著的公开发表与出版、学术论著的传播与反响程度、学术论著的被引用（或应用）与被评论量。本文拟对这三项指标及其关系进行讨论。
1 第一项指标——学术论著的公开发表与出版
基础研究是在科学前沿进行的探索。研究者一旦有成果，必然希望尽快地公诸于世，得到学术界的承认。无论是通过会议交流，还是以预印本等形式交流，都比不上公开发表更有价值。文献[1]指出：“在世界范围内，近代科学经过百余年的发展和竞争，每一学科都形成了一系列质量由低到高、水平各不相同的专业刊物。”因而，各种期刊所刊登的论文在学术水平上是不同的。同时，不同的出版社所出版的著作在学术水平上也是有差异的。因此，评价一篇论文或一部著作的水平，其公开发表或出版，特别是发表在高水平的期刊上或在高水平的出版社出版，自然就成为基础研究成果评价的第一项指标。这个指标可看作是基础研究成果评价中的数量指标。
仅仅是公开发表或出版，还不能完全作为基础研究成果评价的数量指标。特别是对论文的评价，目前科学界普遍公认论文发表的期刊水平，是论文水平的显著特征指标，这就不可避免地涉及到基于科研绩效评价中核心期刊——“等级期刊”的选择问题[2]。目前，我国高校和科研单位十分关注的理科“学术排行榜”，是中国科技信息研究所根据SCI的来源索引(Source Index)以及其他国外权威索引刊物为统计源，对中国科技论文被摘录的数量进行排序所得到的一种反映有关单位学术活动和发表论文数的名次表。SCI的来源索引，是从世界各国最优秀的期刊中精选3000余种构成的，因而这个“学术排行榜”是运用本文所述的第一项评价指标排序而得到的。从总体上看，一般刊物上的大部分论文水平趋于一般（不排除其中有某些高水平之作），而高水平的期刊上虽也有一些平庸之作，但大多数论文是具有较高水平和学术价值的。
虽然基础研究成果评价的标准应是国际公认的、统一的，可以采用SCI、Ei以及其他各专业学科权威索引刊物界定的核心期刊的标准和方法，但考虑到SCI、Ei等对中国期刊收录量极少，并不能囊括中国科学研究的所有学科；而中国某些基础研究的水平已达到国际先进水平，有的甚至达到国际领先水平；因此，应综合考虑各个学科的中外专业期刊的水平来进行分级。目前，我国还没有一个从质量、学术、技术水平等方面为期刊划分等级的标准，一般是按期刊主管部门划分为全国性期刊和地方性期刊，按出版形式划分为正式期刊和非正式期刊，以这两种划分标准作为学术评价的依据是不准确和缺乏科学依据的[3]。从我国目前情况看，基于基础研究成果评价的核心期刊选择是一个亟待解决的重要问题。
2 第二项指标——学术论著的传播与反响程度
本文所指的传播与反响程度是指公开发表的论文被转载、被摘录的状况。一篇论文发表后，若经过权威文摘和索引刊物收录，其传播面要广泛得多，被学术界重视、被同行引用的可能性能大大提高。可以说，一篇论文发表后，学术界对它有反响，则说明该论文有一定的学术或应用价值。因此，一篇论文（实际上就是一项科研成果）经过一定范围内专家同行的审读后，先发表在一种重要期刊上，然后为国际公认的检索系统、检索刊物、评论刊物、文摘刊物全文收录、摘录、作索引等，就意味着该论文具有较高或很高的学术水平。所以说“被收录”也即传播和反响程度是评价学术论著水平的一项重要指标。
例如，被SCI收录（SourceIndex部分），被CA（Chemical Abstracts，化学文摘）、MR（Mathematical Reviews，数学评论）等综合类和专业权威引文、文摘、评论刊物收录，都反映了学术论著的水平。特别是单学科专业索引刊物，更具有对本专业学术论著精选精录的权威性。一般来说，专业索引刊物对本学科文献收录的范围广泛，索引员和文摘员大都为各学科领域的专家学者和活跃在学科前沿的研究人员，能较全面、准确地对论文进行选择和摘录，这样在很大程度上保障了索引刊物的质量。需要指出的是，虽然SCI是世界上最具声望和最具权威的索引刊物，但由于其专业覆盖面有一定的局限性，并不能完全取代其他单学科索引刊物的权威性。例如，1994年SCI的500种核心来源期刊中仅有5种数学类期刊，而由同一编辑出版单位（美国科学情报所）出版的专业引文索引刊物CMCI（CompuMathCitation Index，计算机科学、数学引文索引），收录数学核心期刊多达300余种，相比之下，两者报道的数学论文数量大不相同；而相对于世界数学界公认的质量高、信息全、分类科学的MR（美国数学会编辑出版），它当年收录的核心期刊种数达到480余种，三者的报道量相差甚大。从反响程度来看，SCI、CMCI、MR均为国际性权威检索刊物，如果就三者的收录情况而言，显然，SCI＜CMCI＜MR。因此，SCI并不能取代CMCI、MR等一些专业检索刊物，在应用第二项指标时，应将它们视为基本等同。
3 第三项指标——学术论著的被引用与被评论量
被引用和被评论能从一定程度上反映学术论著的学术水平。一篇论文在正式发表的科学论著中被引用和被评论（或在权威评论刊物上被评论），能从一定程度上反映出它对学科发展的影响和在本学科研究中的重要性。所以，在评价一项基础研究成果时，不仅要看发表论著的数量、所载刊物是否为核心期刊、是否被权威索引类刊物报道，更重要的还要看其被引用、被评论的情况。
衡量一篇论文的学术价值的大小，主要应看它对本学科的研究发展能否起推动和拓展作用。若以文献计量指标来衡量，就要通过科学界同行的引证情况来度量。可以想象，若一篇基础研究论文发表后，根本不为本学科同行所注意，不被同行所引用，那就很难判断该论文有多高的学术水平和价值。一般而言，一篇有学术价值的论文，或迟或早总会引起同行的关注和引证。例如，数学大师陈省身先生的论著每年被引用的情况都超过CMCI的一页以上；又如，获得诺贝尔奖的基础研究成果，以及一些确有重要贡献的研究成果都曾被多次引用。但是，由于引用行为自身的种种缺陷，如为纠正某文献中的错误而引用（纠错性引用），为标榜自己或炫耀自己而引用（炫耀性自引），为崇拜名人而引用（崇拜性引用）等等，使得我们在以引用作为评价指标时，必须要注意：引文量是一种有限的表征质量的指标[4]，既不能把引文量作为评价学术论文的唯一质量标准，也不能由于消极引用行为的存在而否定引文量的评价功能。
关于评论，这里所指的主要是反映在综述文献或权威评论刊物中被评论的论著。如美国的《数学评论》(MR)，它既是具有国际权威性的数学检索刊物，又是单学科专业性检索刊物；相对而言，它比综合性检索刊物对数学论著的评论更具有可比性和可计量性。例如，1994年MR收录中国数学论著3858条，其中经分布在67个国家和地区的数学各分支领域的学科专家评论的论著为2477条，占当年MR收录中国文献量的63.43%。由于评论者大多是本学科的权威专家，一般能对论著给出中肯的评价。如MR评论员、美国著名概率学家T.M.Liggett对中国跨世纪攀登者陈木法先生所撰专著《从马氏链到非平衡粒子系统》一书的评论为：“……这些年来，中国概率学家对概率论的两个领域：连续时间马氏链和交互作用粒子系统作出了重大贡献。本书是关于这两个领域所获得的进步的一个总结，对于这两个领域里工作的概率学家是有用的参考书，也是对概率论国际交流的一项贡献。”[5]可以看出，这一类评论与引用相比有同等的功效，甚至比引用更具有评价效果。若是在MR类检索刊物中的评论，则这种评论量同引文量一样易于统计。还有一类评论是出现在名家撰写的综述性文章中，如在情报学诞生100周年之际，由中国国防科学技术信息学会编辑出版的《情报学进展(1994—1995)年度评论》中的文章所论及的论著[6]。从实质上讲这也是一种引用，是为说明一篇论文或论著在学科发展中所起的作用而引用的。如果一篇论文能够出现在这类综述性、评述性文章中，而且给出它在学科发展中所起的作用和地位，那么它的水平必定高于一般研究文章。这项指标并不逊于被引用量，甚至可以说它是高于一般被引用和一般被评论的评价指标。但要注意的是，同引用行为一样，在评论文章和书评中，也存在着吹捧性评论等现象。
4 三项指标的关系
若一种期刊发表的论文被引用的次数多，则该期刊的绝对引用量和影响因子等指标就高，被选中为核心期刊的可能性就大；由于期刊的水平高，被国际权威检索刊物收录的可能性就大，使得该期刊的传播和反响程度提高，这样，该期刊上的论文再次被引用的可能性就会再增大。依照“堆加效应”、“马太效应”原理，高水平的期刊由于声誉高，作者争先投稿，这样它更容易获得和吸引大量的高质量稿件，使大量的优秀论文“堆加”在少数高水平期刊上[7]，使得这些期刊成为某个学科的核心期刊。因而，三项指标可以说是相辅相成、互相制约的。在基础研究成果的定量评价中，上述三项指标应综合使用。
(1)当单独使用“核心期刊”作为公开发表的依据时，武断地认为“核心期刊所载论文均为高水平”是不恰当的。因为核心期刊的评价方法是以文献计量学为理论指导，建立在统计分析的基础上，虽然以总体水平高来代表一种期刊的水平，但不能忽视“小概率事件”的发生。所以，绝对以一种期刊来衡量一篇论文或以一篇论文来否定一种期刊的观点都是不恰当的，是不符合统计规律的[8]。一篇论文，只要公开发表，哪怕是发表在一种很小的刊物上，也不能忽视其作用。
(2)仅用论文被引用这一指标来判断论文的水平，也显得不够全面和准确。引用的原因很多，仅从逻辑上就可分为肯定性引用和否定性引用；因此，它只能在一定程度上表征论文的质量。只有将这一指标和其他方法、其他指标结合使用，才能较准确地描述论文的真正价值。引入引文计量法作为同行评议和专家评议的补充，对提高基础研究成果评价的客观性和公正性是大有益处的[9]。
(3)三项指标使用时的控制可考虑为：
公开发表量：核心期刊、正式期刊发表论文的水平权值应大于非核心期刊、内部期刊发表的论文的权值；
传播与反响程度：被作文摘、索引的论著的水平权值应大于未被作文摘索引的论著的权值；
被引用与被评论量：①属于对学科发展起进步作用的被引文（含理论、公式、思想、方法等），其水平权值应大于一般被引文；②核心期刊上发表的论文所引用的被引文，其水平权值应大于一般期刊上发表的论文所引用的被引文；③学科发展类综述性文章中评论的论著应给予较高的水平权值。
在评价一项基础研究成果时，这三项指标的大小控制为：
公开发表量＜传播与反响程度＜被引用与被评论量
*本文中有关数学方面的资料均来自本人所主持的国家自然科学基金数学天元基金数学传播资助课题《中国数学发展的文献计量分析》1994—1996年度报告。