社会网络环境下的计量研究综述_评价体系论文

社会网络环境下的计量研究综述_评价体系论文

社交网络环境下的计量学:Altmetrics研究进展综述,本文主要内容关键词为:计量学论文,研究进展论文,社交论文,环境论文,网络论文,此文献不代表本站观点,内容供学术参考,文章仅供参考阅读下载。

      随着计算机网络技术的深入应用,社交网络已经成为大众获取信息和交流信息的重要媒介,也深刻地影响着科学交流和科技评价的各个方面。传统的学术评价方法已不能满足网络时代科研评估的要求,于是,Altmetrics应运而生。其客观、公正、及时、高覆盖性等特点,受到了研究人员的追捧,在国外掀起了研究热潮,并于2012年起被引入我国。目前,国外研究主要集中在对Altmetrics的定义、起源、发展、研究对象、数据源等的阐述,以及Altmetrics指标与传统评价指标关系的实证研究,而国内研究相对较少。本文对Altmetrics的研究进行较为系统的梳理,归纳和总结其进展,并展望未来的趋势。

      1 一个概念——Altmetrics

      Altmetrics是Alternative metrics的缩写,最先由Priem J于2010年提出,引入国内后,国内学者对其翻译不尽一致,大多认同为“替代计量学”,也有“社媒影响计量学”、“补充型指标计量学”、“选择计量学”、“替代测度”等叫法。

      对于Altmetrics的定义,站在不同立场和角度的研究人员对其进行了解释:①Altmetrics是利用社会网络来衡量学术成果更广泛影响力的替代性方法,等同于社会媒体计量[1]。②Altmetrics就是从多种渠道中获取学术成果的相关数据,包括主流新闻、博客、社会媒体、参考文献管理网站、同行评议网站和政策文件等,并对在线分享、保存、评论、采用和社会媒体使用进行计分,全面反映学术成果的影响力[2,3]。③Altmetrics是相对传统同行评议和文献计量学而言的,它来源于论文层次计量和替代性计量指标,既可以用于反映单篇论文的影响力,也可以在更广泛的情境下替代传统评价方法,可视为网络计量学的子集[4]。对于Altmetrics的定义,虽然目前尚未最终达成共识,但是可以将其初步划分为广义和狭义两种。广义的Altmetrics强调研究视角的变化,旨在用面向学术成果全面影响力的评价指标体系,替代传统片面依靠引文指标的定量科研评价体系,同时促进开放科学和在线科学交流的全面发展;狭义的Altmetrics专门研究相对传统引文指标的在线新型计量指标及其应用,尤其重视基于社交网络数据的计量指标[5]。

      在Altmetrics还未明确定义的情况下,一些相关的术语相继出现,并有所差异。例如,Article-level metrics着重于单篇论文影响力的评价,而Altmetrics不仅衡量了单篇论文获得的在线关注度,而且是在论文层次计量之上更广泛计量指标研究的代称[6]。再如,与Altmetrics相比,Usage metrics有着更悠久的历史,体系较成熟,尤其在图书馆工作中发挥着重要作用,而Altmetrics仍处于起步阶段,对于怎样精确评估还未形成统一标准,并且Altmetrics从提及、链接到存取,有着更多指标,而Usage metrics偏向于下载量和阅读量[7]。

      2 两个发展阶段

      2014年12月24日,在Web of science三大引文数据库中利用主题=“Altmetrics”或“Alternative metrics”或“Alt-metrics”或“Altmetric”或“Article-level metrics”进行组配检索,得出检索结果为140条;在中文数据库中国知网中利用主题=“选择计量学”或“替代计量学”或“补充计量学”或“Altmetrics”进行组配检索,得出结果25条。总的来看,Altmetrics的相关文献不是很多,尤其是中文文献。检索结果显示:在外文中,2011年以前,相关论文很少,2011年后,论文数量快速增长;2013年以前,相关国内论文极少,2013年后逐渐涌现。根据相关论文增长情况,大致可以将其研究分为初始、正式确立两个阶段。

      2.1 初始阶段(2011年以前)

      本世纪初,互联网的发展使更多的资源以及信息交流网络化,传统文献评价指标已不能满足网络化时代的要求。在这种环境下,人们开始探索怎样在网络环境中更好地进行文献影响力评价,并关注单篇文献的影响力,也开始思考将博客、微博等的转发量、分享量、点击量等作为评价文献网络影响力的指标。在这一背景下,2008年,Taraborelli呼唤要形成一套基于社会软件的分布式科学评价体系[8],拉开了Altmetrics的研究序幕。2009年,Patterson等人认为书签、评论、标签、“星级”等指标在进行网络学术评价时有着重要意义[9]。最终Priem于2010年提出Altmetrics一词,随后Altmetrics:A Manifesto宣言发表,标志着Altmetrics正式提出[10]。

      2.2 正式确立阶段(2011年以后)

      Altmetrics提出后,立刻引起了相关研究人员的注意,而两次Altmetrics宣言,使Altmetrics得到普遍关注与认同并走向正式确立阶段。该阶段Altmetrics相关文献大量涌现,在理论研究[11]、实证研究[12]等方面都取得了较大的进展。这一时期,ISSI(国际科学计量学与信息计量学学会)对Altmetrics的研究进行了报道[13],PLOS、Elsevier等机构也对其进行了公开支持,还召开了大量有关Altmetrics的会议:如2012年6月,芝加哥召开了Altmetrics12会议,就传统计量学与Altmetrics的关系、Altmetrics的指标及工具以及其与同行评议的关系等问题展开了讨论[14]。同年11月,旧金山召开了ALM Workshop and Hackathon会议,就Altmetrics的工具、应用面临的技术问题和挑战等方面进行了讨论,之后相继在英国伦敦、美国波士顿、荷兰阿姆斯特丹、英国牛津等地展开了Altmetrics的主题讨论[15]。至此,对Altmetrics的研究达到新的高度,理论研究和实际应用全面开展。

      3 三大主要内容

      目前Altmetrics已逐渐成为学术界研究的热门话题,研究内容也涉及网络信息交流和利用的各个方面,目前相关研究主要集中在以下方面。

      3.1 指标体系研究

      Altmetrics指标有很多。按其广义上涵盖的数据源对其进行分类,包括使用、获取、提及和社交媒体等[16]。从指标的适应广度与分布密度变量进行多维尺度分析,判断哪些指标是相似的,可将其归纳为论文浏览与下载指标,引文指标,链接、社会书签、评级、注释和评论指标,博客指标四大类[17]。

      不少学者通过实证分析来对Altmetrics指标进行关系论证,其中以研究其指标与引用关系最突出。既有Twitter提及量与传统引文指标呈正相关的研究结果[18],也有两者关联度不高的研究结论[11]。Cabezas-Clavijo等人利用了PLoS网站中的8945篇文章验证了Scopus引用量与学术博客链接量、推文量之间有着正相关关系[19]。Eysenbach发现从JMIR中选取的55篇高被引文献有75%被推荐,并且谷歌学术引用量与推文量的相关系数高达0.69[18]。Zahedi等人则发现Mendeley读者数和被引量间,存在中度Spearman相关性(r=0.49)[20]。

      3.2 数据来源分析

      Altmetrics的数据来源涉及微博、博客、论坛、维基百科等各类型网络信息媒体,主要包括Menddldy、Twitter、CiteULike、Faculty of 1000等工具。这些工具使社会化书签和参照管理的功能结合起来,不仅能使用户实现对文献的使用与保存,还能使用户分享其所有的文献,并对文献添加关键词和评论,可较方便地分析信息利用情况。而要通过社交网络计量资源分析学术信息行为和过程,首先要对其可行性进行研究,即该工具究竟有多大的覆盖范围。2012年,Ganegan提到Mendeley拥有2.8亿条书签以及由180万用户上传的6800万篇文献[21],到2013年11月为止用户已增加到270万,有4.91亿条书签被上传。至于其对期刊的覆盖率,也有不少统计。2011年,Mendeley对社会科学和人文科学的覆盖率分别为58%和28%[1]。2012年Priem等人在研究中指出Mendeley与CiteULike对PLoS中论文的覆盖率分别达到了80%和31%[11]。另外,不同的工具在进行学术评价时的适应范围也是一个值得讨论的问题。Hammarfelt研究表明,在对文章类成果进行学术评价时,Mendeley得到的数据更具代表性;在对图书类成果进行学术评价时,Twitter更有优势;而在进行大型系统的学术评价时,CiteULike以及Facebook的数据并不能很好的反映情况[22]。

      3.3 相关应用探讨

      Altmetrics作为传统评价体系的一种补充,在学术评价方面有重要应用。目前传统评价指标遭受着众多的质疑,如引文分析固有缺陷所致的评价公正缺失,指标冗余复杂多样引发选择障碍,评估成果类型单一不够科学全面,指标异化与过分关注而使价值导向偏颇等。引入Altmetrics指标,在某种程度上能弥补引文分析的不足。不仅可从广义层面上描绘学术影响力的全景,如在生物医学领域,通过Altmetric.com,根据文章在社交网络中分享的次数、在文献管理软件中使用的次数和专家推荐的次数等来对文章打分,进而排名;发现那些高分的论文不再局限于专业学者使用,而是更广泛地进入了期刊出版者、馆员以及普通用户的视野,并且更快速地走出了国界,体现了成果影响力的全景[23]。Altmetrics也可用于传统文献层面计量所未触及的社会影响力的评价,如Altmetrics指标可以对用户规模和使用频率进行统计,反映研究的社会和经济效益影响力[24]。

      在科学交流上,Altmetrics的运用提高了检索效率,也使更多的文献突破各种限制,高速度、大范围传播,从而促进了学术信息交流与共享。因此,有学者对其在线科学交流新模式进行了积极的探索,认为这种新模式包括传递机制和过滤机制,从而使科研成果能快速传递给学者,保证了学者获取高相关成果,并且可使学者更好地在线学术交流[25]。

      在信息服务上,更多的是探讨服务性机构利用Altmetrics来完善服务的可能性。如图书馆可以在本地资源库中整合Altmetrics指标,拓展开发功能模块及服务软件,Lisa提到美国麻省州立大学医学院图书馆通过Altmetric.com的免费API对全校师生的开放学术成果进行评价[26]。国内学者也积极探讨Altmetrics与图书馆的联系[27],认为图书馆可以从推广和宣传Altmetrics理念和进展,在本地机构库、学术出版平台和个人知识管理系统中整合Altmetrics指标,利用相关工具和软件开展资源推荐、文献检索和分析决策服务这三个方面来展开工作。

      4 四个方面的优势和缺陷

      新事物的产生,必然有其合理的地方,这部分集中表现在其优势方面。但Altmetrics从产生到现在才经历了四年的时间,其发展有一个循序渐进的过程,因此也存在一些缺陷。

      4.1 优势

      适用范围广。传统的评价体系进行学术评价时,不能对人们撰写的博客、上传的代码、分享的视频、开发的软件、研发的新技术等科研成果进行有效评价。而Altmetrics却可以弥补传统评价体系在这方面的不足,对这些科研成果进行评价,并且通过各Altmetrics指标实现对各种学术活动的追踪。与基于引文的评价体系相比,Altmetrics可实现面向学术利用行为和全过程(包括浏览、下载、收录、链接、评论、引用等众多行为)的学术评价新体系。与基于影响因子的评价体系相比,Altmetrics的评价更具有针对性,例如可直接评价论文成果和学者。与基于同行评议的评价体系相比,Altmetrics可实现在线、开放的大众评议。

      反应速度快。传统评价体系,特别是引文分析进行影响力评价时,往往时滞性太久。但在科研成果出现几天之后,就可以通过Altmetrics指标的值,对该成果的影响力进行一个度量。而成果从完成到出版总是需要一段时间,在科研成果出版之前,作者可通过各类平台,如博客对科研成果的公布,从而使更多相关研究者提前获取有用的信息。这就使成果更快地得到大家的认同并在行业内产生影响力。通过Altmetrics的指标,人们可以更快速地获取高价值信息[28]。

      过程和结果公开。传统的评价体系进行科研评价时,往往会借助一些数据库,如Web of science、中国知网等。问题在于这些数据库不全是免费的,人们获取数据时往往会受到一些限制。但是Altmetrics适用于整个互联网,覆盖于全民范围内,在开放存取的环境下,人们对于信息获取的限制会相对较少。像Web APIs就允许人们免费获取信息,并且提供及时反馈平台。在这种环境下,加速了科学的发展。

      影响范围大。Altmetrics对成果影响力的反映超越了科学研究领域[29]。传统评价系统中的引文主要是本学科或领域内的学者贡献出来的,只能体现所属领域内的影响力。而在Altmetrics环境下,扩展了影响范围,非专业人士也可能对某些实用性的文章进行评论、转发、收藏等行为,即使这些文章被引数并不高,它取得的影响范围也可能很大。即Altmetrics可以揭示传统的评价指标不能显示出来的或隐藏的影响力[1]。

      4.2 缺陷

      语言阻碍的存在。在使用Altmetrics进行科研评价时,和传统评价体系一样,仍存在语言阻碍。这种阻碍表现在以下两个方面:一方面,目前一些Altmetrics服务,包括Altmetrics.com大多是面向英语使用者,但是并不是所有人都精通英语,这就存在着使用障碍;另一方面,在Altmetrics工具收录科研或学术成果时,成果语言的比例存在很大倾斜,一些非英语类的成果很少被收录[22]。

      分析标准的缺失。Altmetrics具有众多指标,各指标在进行成果评价时都有自己的侧重面,不同的人由于身份不同对指标重要程度的理解也不一样,因此研究的时候会偏向选择自己认为的重要指标,这样得出的结论可能就存在较大的差异。而Altmetrics进行学术评价时公认计算方法的缺失,在一定程度上限制了其应用与推广。因此,在利用Altmetrics进行学术评价时到底应测量哪些指标,怎样对指标进行组合,并对各指标进行权重赋值才能达到最好的学术评价效果呢?目前还有待进一步研究。

      数据的可信度存疑。数据的真实性是进行学术评价的前提。Altmetrics是在互联网环境下兴起的,各种数据都于网络环境下产生,因此可能出现数据由机器大规模自动生成的现象。并且对于在传统环境下影响力较大的老一辈学者,由于种种原因,他们各方面的Altmetrics数据值并不高,使得评价存在偏差。另外,不像引文量随着年份的增加而逐渐积累,在社交网络环境下,Altmetrics数据可能面临着快速废弃的威胁,也存在数据被商业利益所操纵的风险[1]。

      学术行为动机不明。Altmetrics指标众多,并且在网络环境下,缺少某种制约手段,使人们的行为缺少思考性,可能会凭直觉而对某些学术或科研成果进行评价和传播,而缺少严谨性[5]。并且网络环境下的学术成果有一个特点,那就是作者可以对发表的相关内容进行删除操作。那么在这种情况下怎么用Altmetrics来进行学术评价呢?在没有制约的环境下,还有可能出现人为炒作的情况,到底是由于什么原因对某成果进行评价、传播、发布、删除等活动呢?这也是一个值得深入分析的问题。

      5 五个方面的发展趋势

      5.1 工具的改进与突破

      目前大多Altmetrics工具中展示的是各指标的数值情况,但数值并不能全面反映成果的好坏。如评论有好有坏,从总评论量上并不能看出成果的优劣。因此,首先,各工具在保存现有的版块的同时,应该开发更多具备分析功能的模块,从而突出各指标内容映射的方面,表明不同种类成果的用处。其次,各工具可使自己的服务划分为不同的模块,从而服务于不同的需求。如让用户根据自己的身份,选择进入不同的模块操作;建立问题讨论区、资源分享区等,让用户根据自己的目的选择进入不同模块[30]。再次,要加强工具的专指度,使工具收录的内容形式由全面兼顾到重点培养,使工具在特定的方面形成自己的核心优势。最后,要从技术入手,致力于突破语言阻碍,除了英语平台外,开发其他语言平台,如中文、法文、德文等其他语言环境。从而吸引更多用户参与到Altmetrics活动中,加大使用覆盖面,增加非英文成果的收录。

      5.2 数据与数据源的规范与挖掘

      拥有规范、可信的数据是开展研究的重要前提,因此Altmetrics相关人员应致力于规范数据的工作。首先,针对数据存在机器大量自动生成的问题,开发一个数据检测及监测平台,对Altmetrics数据进行检测、校准,并对数据产生的过程进行一个监测,规避数据由机器自动生成的风险。其次,为使数据标准化,统一数据的版本,应给各成果配置固定的标识符,即DOI,避免资源重复建设。最后,由于目前学术交流平台大多是发达国家在开发和维护,而不同国家之间网络并非完全畅通,因此,要积极挖掘新的Altmetrics数据源,开发具备创新科学交流模式的新数据源[5]。

      5.3 评价体系的改进与完善

      单个指标在进行学术或科研评价时存在缺陷,必须把各指标结合起来。而且,并不是所有Altmetrics指标在进行学术或科研评价时都能达到良好的效果[11],有些指标并不能得出有用的结论,因此,在未来的发展中,要致力于评价体系的改进与完善。首先,进一步分析网络信息交流和利用行为的机理、动因,在掌握规律的基础上利用各Altmetrics指标。然后,根据所要达到的目的,对各指标进行删选。最后,对选择的各指标进行权重赋值,构建综合模型,再通过大量的实证研究来论证模型,从而形成一套系统成熟的评价体系,能够针对不同的要求进行学术评价,使Altmetrics从定性走向定量,从理论探讨走向实践应用。

      5.4 与已有计量学的融合与超越

      Altmetrics作为一个新兴事物,目前还未形成广泛被认同的研究和应用体系。在现阶段,Altmetrics可以作为已有计量学的补充,发挥其科研交流效率高、速度快、民主化等优势,在成果完成后到被发表至拥有引文这一段时间内,成为在线科研评价的主要手段,以弥补传统文献计量学用于科研评价时滞长等缺陷。其次,要立足于自身充足的数据,以Altmetrics指标为线索,分析其数据背后的社交网络,分析是谁以什么方式影响了谁,进一步对各种研究团体进行对比。从而发掘成果之间的思想传递过程以及作者或团体之间各种关系,促进学者之间思想传承和知识网络的构建[31],形成一套自己的体系。最后,Altmetrics成为筛选成果的高效过滤器的同时,要努力寻求一种制度,使知识生产过程得到重视,并在评价的过程中具备同行评议社会、经济、政治以及认知上的功能,使建立高效过滤器与实现评议民主化并存[32]。从而在成果产生到及时高效评价,再到构建网络学术网整个过程中,形成自己的优势,使Altmetrics方式成为业界主流,从而完成超越。

      5.5 应用的深化与推广

      在社交网络环境下,Altmetrics有着得天独厚的优势,因此,应积极对其应用进行深化与推广。首先,立足于发达的互联网技术和庞大的数据网络,探索Altmetrics应用于构建更加便捷的检索平台,实现对资源的快速定位,提高检索效率,从而获得更多用户的追随。其次,Altmetrics要积极融入到科学交流的各个方面,渗透到不同学科领域内。一方面,与各种学术活动相挂钩,发挥其对学术活动追踪的功能,从前期对学术活动的宣传,中期对学术活动的及时传播到后期对学术活动的评价,实现全面把握,为学术活动提供快速获取、广泛推广以及及时评价与反馈的平台。另一方面,与各学科形成密切联系,成为学科内部知识的翅膀,使最新的成果能最大限度突破各种限制,达到在学科内部甚至不同学科间高效交流的效果。最后,Altmetric的应用不应局限于评价学术影响力,应该放眼于更广阔的世界,形成独立完整、广泛认可的评价体系之后,努力将其推广到社会影响力、文化影响力、经济影响力的评价之中。

标签:;  ;  ;  

社会网络环境下的计量研究综述_评价体系论文
下载Doc文档

猜你喜欢