多维信息计量学视角下的学术影响力综合评价研究现状及展望，本文主要内容关键词为：多维论文,计量学论文,视角论文,综合评价论文,现状及论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
近期，《关于研究评价的旧金山宣言》和《科学》杂志社先后提出了“停止使用影响因子评价科学家或科研机构”的倡议，随后便引发了大量关于“让科研学术评价更加科学”的讨论。不可否认，发文与被引次数、h类指数、期刊影响因子等信息计量学类指标确实对科研学术的客观评价产生了巨大的推进作用。然而随着近来“指标异化”、“过度使用”、“狭隘评价”等问题频现引发科研价值导向偏移，单纯文献计量评价指标应用遭遇多方质疑。为此，信息计量学、科研评价与科技管理等相关领域学者都在不同程度地寻找科学地开展学术评价的新出路。 1 多维信息计量学视角下的学术影响力评价研究现状 学术影响力评价的研究议题由来已久。无论是从其激励、导向和规范等基本作用体现，还是在绩效考核、价值评估、资源分配、同行认可、人才引进与选拔乃至战略决策支撑等方面的具体应用来看，科学有效的学术影响力评价都是必不可少的。信息计量学的理论与方法应用于学术影响力评价，尤其是传统文献计量学中引文分析的使用，一直是学术界的热点话题。特别是E.Garfield创立引文索引并提出期刊影响因子指标以来，各学科领域科研工作者以及科研管理机构人员便普遍使用发文数量、论文被引频次、h指数或其变种指数、期刊影响因子或等级划分等方法来直接或间接地评判学者、机构或地区整体的学术影响力情况。但随着纯粹定量评价结果的不当使用，单纯文献计量评价指标应用遭遇多方质疑，如何进行科学合理的学术影响力评价已然成为科学界、学术界乃至政府管理部门广泛关注的重点。面临这一来自理论、方法与应用的多重挑战，信息计量学、科研评价、科技政策管理等相关领域的学者也开展了一系列的探索研究。通过文献调研与资料搜集整理，可将目前国内外相关研究现状概括如下。 1.1 文献层面计量学内评价指标的对比优选与改进及互补综合应用 鉴于科学文献仍是学者科研产出的主要形式和对学术界的主要贡献与影响载体所在，文献计量学指标仍是学术影响力评价的主要定量依据，从最初的发文量、被引频次、载文期刊的影响因子[1-2]等指标，到综合发文与被引的h指数[3]以及从跨学科、科研生涯长短、自引、机构规模大小和论文合著者荣誉分配等多方面对其进行改进的20余种h类衍生指数[4]；再到从文献施引角度建立的ch指数[5]以及综合多种常用引文评价指标并致力消除学科差异影响的通用指标[6]；进一步到网络科学影响下的引文网络相关评价指标迭出，如期刊特征因子与论文影响力指标[7]、SJR指数[8]，作者引用网络中的类PageRank排名[9]、网络中心度指标以及效率系数与集聚系数等个别化与综合性的社会网络指标[10]，等等。这些都是信息管理领域的学者在对文献计量学基础上的学术影响力评价指标不断改进、完善、追求卓越的结果。 另有相关指标的对比分析和优选组合应用也是学者关注的重点，如杜建等人[11]以医学领域为例结合对各指标进行了比较分析，并依据中国学者学术行为特点进行了指标优选；dos Santos Rubem等人[12]对多种个体评价指标在学者群体评价中的应用情况进行对比分析，解释了其适用性与选择性问题。 1.2 新兴信息计量学评价指标的理论探讨与补充应用 无论从当前的学术研究领域还是在实际的科研评价工作中，均可发现传统文献计量学指标遭受质疑的现象，如引文分析固有缺陷所致的评价公正缺失[13-14]，指标冗余复杂多样引发选择障碍[15]，评估成果类型单一不够科学全面[16]，指标异化与过分关注而使价值导向偏颇[17]，等等。鉴于此，信息计量学家们也致力在各个方面寻求科学评价的新出路或改进策略，使用计量学（Usage-based metrics）[18]、空间科学计量学（Spatial scientometrics）[19]、论文层面计量学（Article-level metrics）[20]、替代计量学（Altmetrics）[21]、实体计量学（Entitymetrics）[22]、出版层面计量学（Publication-based metrics）[23]等与科研评价密切相关的新型计量学概念应运而生。 其中尤以替代计量学的理论与方法对学术影响力评价的冲击最大，它被广泛认为是拓展学者学术影响力评价的新途径[24-25]，不仅是传统文献层面计量所未触及的社会影响力评价的补充[26]，甚至从广义层面上还可描绘学术影响力的全景[27]。但不可否认的是，该方法在涉及广度、多样性、及时性、开放性等方面具有明显优势的同时，在其应用中亦有数据操控、数据获取、数据信度及可追溯性等多方面的顾虑[28]，但从长远发展来看，这些问题也并非不能克服[29]。 1.3 基于多数据源、多成果类型以及多维计量指标的综合评价探索 当前国际主流的有Web of Science（WoS）、Scopus和Google Scholar三大文献检索数据库，以及Microsoft Academic Search、CiteSeerX等相对精细化或专业化的数据库。鉴于它们的功能特点及其在科研评价中的应用角度有别，国内外学者分别开展了不同层面的比较研究[30-33]，并揭示了不同数据源对科研评价的影响性，其中学者微观评价受影响程度更大[34]。随着替代计量学的研究深入，各类学术社交网络数据源不断涌现并发挥作用，主要包括四大类：一是公共社交网络平台，如维基百科、Youtube视频、Twitter、Facebook以及国内的人人网、各类微博等；二是在线科研交流网站，如BioStaro等专业问答网站，ResearchBlogging.org等学术博客网站，Mendeley、CiteULike等文献题录管理网站，Academia.edu、SlideShare、Peer Evaluation、F1000等学术分享与评价网站；三是学术资源开放获取系统，如专注开放预印本的arXiv网站以及致力于开放获取资源的PLOS网站等；四是专门的替代计量数据搜集与分析工具，如CiteIn、ImpactStory、TotalImpact、ReaderMeter等系统平台[35]。同时，传统的文献检索数据库也开始增设Altmetrics得分这一指标，国内也出现了科学网、万方学术圈、新科学网、数据堂等在线交流与数据获取平台。但这些数据源对科研评价的应用定位各有所异，因此对各种数据的甄别[36]、比较[37]与选择或结合使用[38]也成为该领域研究的重点。 科研评估应该基于多成果类型的多种指标，而不能仅依赖于论文发表量和引用量，这几乎是所有学者的共识，并有了“引用当量”指标概念的提出[39-40]。由传统的文献计量学发展到Web 2.0时代的替代计量学，这本身就是信息计量研究者对多类型产出综合评价的一种有效应对[41]，因为任何网上呈现的成果形式都可成为替代计量学评价的对象，包括论文、博文、书的章节、书、医疗实验、会议论文、政策建议、数据集、图片、访问、信件、媒体、专利、墙报、展示、源码、学位论文、视频和网页，对学术成果的使用也不限于引用，还包括浏览、关注、提及、链接、下载、评论、订阅等各种“利用”该学术成果的形式。这种可评价全面学术影响力的广义替代计量学的确是所有科研工作者的未来愿景，然而这种科学2.0[42]大趋势下科研评价2.0的实现是需要一个漫长历程的。 目前，有许多研究者开展了对现有多维计量学指标关系和功能定位的厘清以及应用策略的探索[43-46]。依信息计量学家Rousseau和Ye的观点[47]，文献计量、网络计量、专利计量、替代计量等都可视为信息计量学的分支，本文也认同并遵循这一观点。在绩效拨款制度推进、全球化市场的科研发展与内部研究评估系统建立、现实或潜在用户的使用测度获得、大型出版物资料库的构建与科学文献数据库获得与完善、社交媒体广泛应用、多指标涌现以及桌面科学计量学（Desktop scientometrics）[48]提出与实现等多因素影响下，多维计量学指标的综合评价应用已是大势所趋。在此背景下，Moed和Halevi[49]梳理了计量指标与分析工具的主要类型，如出版层面或引证层面计量指标、基于使用的指标、替代计量学指标、专利计量指标、基于网络的指标、经济类指标以及大数据的影响、评价成本分析等；归纳了定量评价的主要模型，包括评价方法的基本区别模型、项目评估-使能评价[50]、特定领域评价-贝克模型、大学排名模型等；揭示了涉及七种出版层面或引证层面计量指标、一种专利计量指标、两种替代计量指标共10种主要计量评价指标可能的实用性和局限性，并从评价单元、研究维度、评估目的与目标三个层面综合阐述了多维科研评估矩阵及其中各部分内容之间的关系；最后，指出这些多维信息计量学指标可在“元分析”（Meta-analysis）的思路下更好地应用于学术研究综合评价。 1.4 科研评价应用中定量方法优化以及与定性方法比较结合的研究 关于定量评价的应用与影响，Nature杂志曾做过一项调研，结果显示，多数人对现有定量评价方法虽有不满，但仍愿意接受它的公正与客观，只是希望定量指标能在一致性、清晰度和完整性等方面做出改善[51]。相关领域研究者也分别在主题建模应用下的影响力演化动态识别[52]、基于大众学术标注的跨学科学术影响力比较评价的社会框架提出[53]等方面开展了定量方法优化的研究。国内学者黄海认为[54]，定量评价相比最初单纯的定性评价虽有客观性优势，但也在“思维与现实的张力”、“公正计量与数字水分的矛盾”、“外行考核与内行评价的脱节”、“学术公正与学术腐败的悖论”等方面存在缺陷，有必要在定性与定量方法中寻找合适的结合与平衡点，进行综合评价，尤其在社科评价中更要注重定性方法的使用。 相应地，也有定量指标与同行评价之间的比较与互补应用的实践[55-56]以及“软同行评审”[57]、“客观同行评议”[58]等方法的提出。另外，对学术影响力评价结果的有效判定及其过程的科学审定也是研究者关注的重点，即“评价的评价”[59]，如利用“元评价”来提升评价质量[60-61]、评价指标与评价辨识度的测度研究[62]，等等。 1.5 综合述评 总体而言，在多维信息计量指标综合评价学术影响力的相关研究中，国外研究起步相对更早一些，国内研究也是紧随其后，并都取得了一定的研究成效，但仍有一些问题亟待解决和突破： （1）国内外学者都在不同程度或层面上开展了计量学理论与评价指标的完善创新，然而这也带来了使用者的迷茫，这些计量学理论及其基础上的评价指标之间的关系究竟是怎样的，同时各种计量运算所倚赖的数据库功能各异、来源信度也未可知，如何根据特定的需求，选择恰当的方法、工具和数据源，成为信息计量学应用拓展的关键。 （2）评价指标与方法的比较融合以及跨数据源、涉及多成果类型的综合研究已见端倪，然而这类研究多停留于理论探索阶段，且多集中于学术生产与利用过程单一视角下的比较与融合，缺乏更为全面系统的理论研究和深入现实的应用实践，这些恰是科学评价研究工作的重点。 （3）关于学术影响力评价的结果利用与二次评价反馈已经成为国内外学者们关注的重点，然而除了元评价等相关理论研究还有待夯实和推广外，在实际研究中这种“评价的评价”往往与科学评价本身理论方法的完善相分离，且评价进程多从外在环境需求出发，结果利用也多以决策导向为主，对被评价个体需求导向下的使能驱动尚有不足，这些都是科研评价实施者或管理者关注的焦点。 2 基于多维信息计量分析的学术影响力综合评价研究展望 针对国内外相关研究现状，在从文献计量、专利计量、网络计量、替代计量等多维信息计量学分支发展演化和并行应用的当下，综合整合多维度计量分析思路，融合多种计量评价指标开展全方位综合性的学术影响力评价是非常必要的。总体研究框架设计如下页图1所示。 2.1 多维信息计量理论方法的系统化整合 通过对信息计量学各分支理论中与学术影响力形成所对应的客体对象（包括文献、专著、专利、网络和社会效应等）和主体单元（包括学者、机构等）进行分解，并对不同角度下具体方法的特性和应用范畴及其所倚赖数据源情况进行深入剖析，从而形成多维信息计量分析的方法体系。 2.2 多维信息计量评价指标的比较分析 在信息计量学的相关理论指导下，特别是综合运用文献计量、科学计量、网络计量与替代计量的思想与方法，首先对科研评价相关的计量性指标进行系统化梳理；然后通过特定的指标属性、评价对象单元、目标层次与影响力测度维度之间的关联映射比对，对学术生产与利用过程视角下的发文类、引文类、技术类、网络类与社媒类等多类型指标的相关性和单独适用条件与组合应用情况进行深入剖析（如图2-a所示）；进一步提出能力演化持续发展视角下各指标的属性特点与应用途径，主要包括反映学术传播与反馈的替代计量学指标和揭示能力发展的学术网络演化与时序变化类指标以及项目资助-学术产出的交互指标等（如图2-b所示）。
