国外数字馆藏使用及服务绩效评价指标体系述评，本文主要内容关键词为：指标体系论文,述评论文,国外论文,绩效评价论文,数字论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
1 引言
20世纪90年代以来，数字馆藏在图书馆预算中所占的比重越来越大，以ARL的成员馆为例，2000—2001年，ARL成员馆在电子资源方面的投入从3.6％升到16.25，几乎是1992—1993年的五倍[1]。我国的相关统计显示，一些地区的图书馆其电子资源的购买经费已达到总经费的30％左右。这使得图书馆迫切地想知道其在电子资源方面的重要投资是否真的对图书馆的用户起作用了？用户又是如何使用这些电子资源的？在资金方面，图书馆需要数据为其对数字馆藏不断增加的经费投入提供依据；管理方面，也需要使用数据及指标来进行判断、评价和决策，当图书馆（或集团）与数据库商进行谈判时，使用数据及评价指标值也非常重要，会直接关系到数据库的定价；另外，可靠的使用统计数据及评价指标值可以增强图书馆竞争机构内有限资源的能力。鉴于此，上个世纪90年代中期以来有关数字馆藏的使用统计及服务绩效评价的问题引起了国际图书馆界及专家的高度关
注，开展了很多这方面的研究。其中较有影响的项目如表1所示。
表1 国外有关数字馆藏使用统计及评价研究项目一览表
序号 项目英文名称
项目中文名称
项目研究组织或人员 项目支助机构 项目研究时间
Assessing the academ-
学术网络环境评价:策
Charles R.McClure等
Coalition for Netorked
1994.10-1995.12
1
ic networked environ-
略及选择 Information(网络信息
ment:strategies and 联盟)
options.[2]
MIEL2 (Management 电子图书馆管理信息中兰开夏大学图书馆 eLib(英国电子图书馆 1997年
2
Information for the E-
系统和绩效评价
与信息管理中心
项目)
lectronic Library Pro-
gramme)[3]
Guidelines for Statistical 基于Web的索引、文 ICOLC ICOLC(国际图书馆集
1998年
Measures of Usage of
摘及全文资源的使用 团联盟)
2001年修订
3
Web-based Indexed, 统计评价指标指南
Abstracted,andFull-
Text Resources[4]
4
Web Metrics and E- Web计量与评价
CENDI Metrics and E-
联邦科技信息管理
1998年
valuation[5]valuation， 集团
Task Group
EQUINOX Project[6]
图书馆电子服务的绩
Peter Brophy等
European Commision
1998.11-2000.11
5 效评价和质量管理的 (欧洲委员会)
绩效指标体系
standardized online公共图书馆的标准在
NICLIS
NICLIS(美国国家图
2000年
database usages statis-
线数据库使用统计数 书馆与信息科学理事
6
tics and reporting 据及报告机制会)
mechanisms (pulilic li-
braries)[7]
7
Network statistics[8]
网络统计数据
Judy Luther等
CLIR(图书馆及信息
2000.10
资源理事会)
Measure digital library
数字图书馆使用的 Denise Troll Covey等
Digital Library Feder-2000.11-2002.1
8
use[9]
评价 ation(数字图书馆联
盟)
ARL E-Metrics[7] 电子图书馆评价项目
Information Use Man-
ARL(研究图书馆协
2000.5-2001.12
9 agement and Policy In
会)
stitute
Developing National发展公共图书馆网络
Charles R.McClure,IMLS(美国博物馆与
2000.10-2001.9
Data Collection Mod-
统计数据及绩效评价
John C.Bertot
图书馆服务研究所)
10
els for Public Library
指标的国家数据收集
Network Statistics and
模式
Performance Meas-
ures[10]
11
NISO the library sta-
美国图书馆统计数据
NISO
NISO(美国国家标准
2002年增补版
tistics standard[11]
国家标准
组织)
COUNTER (Counter 在线网络电子资源使
COUNTER
图书馆、出版商及中 2002.3
12
Online Usage of Net-
用统计 Executive Committee间商
worked Electronic Re-
sources)[12]
ISO2789 Information国际图书馆统计数据
ISOISO(国际标准组织)
2003年修订版
13
and Documentation- 标准
International
Library Statistics[13]
本文主要对ISO2789标准附录A、EQUINOX及ARL E-Metrics项目的统计及绩效评价指标体系进行述评。
2 ISO2789附录A、EQUINOX及ARL E-Metrics项目背景及其指标体系介绍
2.1 ISO2789附录A：图书馆电子服务使用评价及其指标体系[14]
由于电子资源及电子服务在图书馆中所占的比例越来越大，ISO的国际图书馆统计数据标准ISO2789（Information and Documentation-International Library Statistics）在2003年的修订版中增加了一个附录A：图书馆电子服务使用评价，它主要针对的是图书馆中除传统服务外的电子服务的统计及评价，标准指定了图书馆电子信息资源和电子服务使用的不同形式。图书馆电子信息资源和电子服务的统计指标定义及其数据收集是该标准所包含的主要内容，标准认为电子服务的统计指标设定、统计指标数据的获取及统计方法等直接关系到图书馆电子服务绩效指标的计算。附录A把目前图书馆提供的相关电子服务分为7种，并且认为图书馆中最重要的电子服务内容是数字馆藏（电子馆藏）。
附录A首先认为统计中的主要问题是：用户访问一次图书馆电子服务需多长时间？每次检索有多少文献（题目或信息单元）与他们的信息需求相关？
据此，附录A先定义了可用于所有的服务、每一种服务或各种服务总合的四个核心统计指标（见表2 PI1—PI4）。另外，除了这四个核心统计指标外，附录A还建议如有可能也尽量收集另外四个指标的统计数据（见表2 PI5—PI8）。
表2 ISO2789标准附录A、EQUINOX及ARL E-Metrics项目的统计及绩效指标体系明细[1]、[6]、[13]
项目
ISO2789附录A评价指标体系
EQUINOX绩效评价指标体系
ARL E-Metrics评价指标体系
PI1
任务数
使用图书馆电子服务的人数占全部
电子全文期刊的数量
用户数的百分比
PI2
下载文献的数量
目标人群中平均每人使用图书馆电
电子参考资源的数量
子服务的任务数
PI3
下载记录的数量
服务人群中平均每人使用远程电子
电子书的数量
服务的任务数
PI4
虚拟访问次数 每种图书馆电子服务平均每次任务
电子参考咨询的数量
浏览文献及记录的数量
PI5
一次任务的检索时间 每种图书馆电子服务中每次任务的
登录电子数据库的任务数
成本
PI6
拒绝访问的任务数
每种图书馆电子服务中浏览每篇电
电子数据库的检索次数
子文献或记录的成本
PI7
检索次数
用电子方式提交的信息请求占全部
电子数据库请求的检索条目数
信息请求的百分比
PI8
通过因特网访问的任务数
图书馆内计算机工作站的使用率访问图书馆网站及目录的虚拟访问数
PI9 服务人群中人均使用图书馆工作站
电子全文期刊的成本
的小时数
PI10 被拒绝的任务数占全部任务数的百
电子参考资源的成本
分比
PI11 图书馆电子获取的成本占图书馆总
电子书的成本
获取成本的百分比
PI12 服务人群中平均每人参加正式图书
书目、网络及集团的图书馆费用
馆电子服务培训课程的次数
从事发展、管理、提供图书馆电子服
PI13 务及用户培训的图书馆工作人员占
书目、网络及集团的外部费用
其工作人员总数的百分比
PI14 图书馆电子服务的用户满意度 图书馆数字馆藏的容量
PI15
图书馆数字馆藏的使用
PI16
数字馆藏结构及管理的成本
PI17
参考咨询中电子参考咨询的百分比
PI18
所有图书馆访问中虚拟访问的百分比
PI19
电子书占全部图书的百分比
PI20
电子刊占全部期刊的百分比
（*PI即绩效指标performance indicator的缩写）
这八个使用统计指标均是针对图书馆电子资源的使用、图书馆网站、OPAC及通过图书馆对因特网的访问。附录A对以上8个统计数据指标进行了描述，并对每个统计指标的含义及在统计时分别应注意的问题作了详细的说明。
附录A特别指出，为了满足特定电子服务绩效评价的需要，对于不同的服务（如电子馆藏、Web站点、OPAC），既可按服务的种类来收集统计指标数据，也可按单个数据库来收集。
2.2 EQUINOX项目及其图书馆电子服务绩效评价指标体系[15]
欧洲委员会资助的欧洲图书馆绩效评价和质量管理系统项目EQUINOX是针对欧洲图书馆发展和利用新的网络及电子资源的现状，基于传统评价，在质量管理的框架内开展的研究工作，项目包括两部分的内容：一部分是设计一套用于普通复合图书馆电子服务绩效评价的指标体系。另一部分是设计一个用于质量管理与绩效评价的软件工具，图书馆可以将有关实际绩效和操作的原始数据输入系统，该系统利用这些数据可以计算出图书馆的绩效指标及预定目标的完成情况。
EQUINOX项目的图书馆电子服务绩效评价指标的设计目的是为了加强和完善ISO11620中传统图书馆服务的评价指标体系，以适应网络环境下图书馆对电子服务绩效评价的要求。
EQUINOX项目中所论及的图书馆电子服务范围基本与ISO2789附件A相同，并且同样认为其中最重要且花费最多的服务是数字馆藏（电子馆藏）。
EQUINOX项目图书馆电子服务绩效评价指标体系的建立首先是在接受EQLIPSE项目[16] 指标体系的基础上，仔细研究每一项指标在网络环境下是否适合，同时还参考了与该项目相关的研究，重点关注的是美国Charles R.McClure的研究及MIEL2项目， 通过研究这些相关的成果来建立图书馆电子服务的绩效评价指标。项目最初形成的图书馆电子服务绩效评价指标体系包括34个指标，进一步的研究讨论认识到这些指标中的一部分归入ISO11620标准[17] 中定义的传统指标更合理，还有一些指标由于可获取性很差也被去掉了，最后于2000年12月形成了由14 个指标组成的图书馆电子服务绩效评价指标体系（见表2）。
2.3 ARL E-Metrics项目及其电子资源使用评价指标体系[18]
由于图书馆中电子资源的比重越来越大，在2000年ARL的一次会议上，其成员们认识到图书馆和馆员需要一种评价指标体系来判断图书馆在电子资源上的投资是否对其用户有用？有多大用处？用户又是怎样使用这些电子资源的？等问题。E-Metrics项目就是在此背景下产生的。项目的研究任务由佛罗里达州立大学的信息使用管理及政策研究所（Information Use Management and Policy Institute）来承担，主要研究人员有Charles R.McClure、Francis Eppes、Wonsik“Jeff”shim和John Carlo Bertot，参与单位是ARL的部分成员馆。项目于2000年5月开始，2001年12月完成，分三个阶段进行：
①初始阶段（2000.5—2000.10）：弄清当前ARL成员馆有关电子资源统计数据、评价指标、处理方法及服务活动的详细情况。
②第二阶段（2000.11—2001.6）：进行统计数据和评价指标的推荐、统计数据收集文件的确认及评价指标的范围测试。
③第三阶段（2001.7—2001.12）：确定评价指标与教育产出研究及技术设施之间的关系。
项目的成果包括：一份关于统计数据收集的规则，一套推荐使用的统计数据与评价指标，一份数据收集处理指南，一份指导性文件及一篇论述图书馆评价指标与机构效用之间潜在联系的论文报告。
由于很多与电子馆藏有关的使用数据需要从数据库商那里收集，在项目进行的第二阶段有12家数据库商参加了指标的范围测试，并提供项目需要的指标统计数据。
评价指标最初定为15个，后在进一步修订时增加为21个，经过范围测试后最终定为17个，加上3个建议考虑的绩效指标共20个（见表2）。
范围测试主要考虑了以下四个方面的内容：①统计数据能否收集到（可获取性）。②建议的数据处理方法是否有效（有效性）。③收集指定的统计数据所花的时间与精力（可能性）。④是否值得花时间与精力去收集特定的统计数据（可行性）。
3 指标体系分析
上述三个项目关于数字馆藏使用统计及其服务绩效评价的指标体系集中代表了1998年以来国外众多研究数字馆藏使用、统计、绩效评价指标研究的成果。本文具体从下面五个方面对三者进行分析。
3.1 指标体系的统计及绩效特征
（1）共性。三套指标体系的一个共同特点是量的特征很显著。ISO2789附录A中的8个统计指标均是直接从服务器可获取的使用统计量。EQUI-NOX项目绩效评价指标体系的14个指标中前13个均是定量指标，PI14也可以认为是半定量指标。ARL E-Metrics
项目的指标中除“图书馆数字馆藏的使用”及“数字馆藏的结构”比较模糊外，其他的均是具体可获取的统计量或定量绩效评价指标（如参考咨询中电子参考咨询的百分比）。
（2）区别。ISO2789附录A的8个指标全能通过统计获取，从某种程度上讲，也许不能直接反映图书馆电子服务的服务绩效，但他们是构成数字馆藏服务绩效评价指标必不可少的基本统计量。而EQUINOX项目指标体系基本上是关于数字馆藏服务的绩效指标，指标能直接反映各项服务的服务绩效。ARL E-Metrics项目的20个指标统计的范围较宽，如果统计工作做得好，对以后的绩效评价工作非常有利，会使得评价比较详细具体，项目把对电子书的统计单独列了出来，而ISO2789及EQUINOX则把电子书归入到电子文件中。
3.2 指标体系的构成
（1）ISO2789附录A把8个指标按重要程度分为两类：
●核心统计指标（PI1—PI4），对所有的电子服务均应收集
●相关统计指标（PI5—PI8），条件允许时尽可能收集
从ISO2789附录A的指标看，其构成较单一，均是反映图书馆电子服务的统计指标，关于数字馆藏使用的统计内容比较全面、可行。
（2）依据EQUINOX项目指标体系的内容，可将其分为五类：
●与技术基础设施有关的绩效指标（PI9、PI8）
●与人力资源有关的指标（PI12、PI13）
●与成本有关的指标（PI5、PI6、PI11）
●与数字馆藏使用有关的指标（PI1、PI2、PI3、PI4、PI7、PI10）
●用户满意度指标（PI14）
从EQUINOX指标的构成可以看出，对图书馆电子服务绩效的评价自始至终离不开系统运行过程中的各种投入（包括人力、技术环境等）及运行结果的产出（数字馆藏的使用等）。
（3）ARL E-Metrics项目的20个指标可分为五类：
●目标用户群可获取的电子资源量（PI1—PI3）
●评价数字馆藏使用的指标（PI4—PI8）
●网络资源及相关设施的成本指标（PI9—PI13）
●描述图书馆数字化状况的指标（PI14—PI16）
●绩效指标（PI17—PI20）
此指标体系的前13个基本上是较易获取的统计量，内容较全，既包括电子资源的数量、使用，又包括电子资源成本方面的统计数据，这样直接用此指标体系即可直接生成绩效评价指标，但关于使用的指标没有ISO2789附录A全，这样对于一些电子资源服务绩效的评价会有困难，如：没有关于全文期刊下载文献量的统计，就无法算出电子期刊的使用绩效。PI17—PI20可以看成是绩效指标，但基本上没有很好地反映电子馆藏的使用绩效（只有PI17与使用绩效有关），只是静态的资源量的百分比，如PI19。E-Metrics项目关于成本的指标较多（PI9—PI13、PI16），但没有关于人力资源方面的指标。
3.3 指标的可获取性
评价指标体系在设计上无论怎样完美，如果其指标的可获取性很差，那么该指标体系的实际可用性就无从谈起。
（1）ISO2789附录A中关于数字馆藏使用的统计指标基本上均可通过图书馆自动化系统、本地镜像服务器、数据库商或集团较精确地获得，获取性较强。
（2）EQUINOX项目指标体系在设计过程中从最初的34个至最后定为14个，其剔除指标的一个重要原则之一就是指标的可获取性，基于此剔除的指标如：请求响应的速度（Speed of Response to enquires）等，剩下来的14个指标相对来说获取性较强。
（3）ARL E-Metrics的指标中只有PI14—PI16三个指标描述有些模糊，可获取性相对较差，其他的指标均较容易获取。
3.4 指标体系的实践发展
数字馆藏绩效评价指标体系的设计是个复杂的系统工程，不仅要求理论上可行，而且其最终目的是要用之于实践，必须经过实践的测试，用测试的结果反过来修正指标体系，多次大范围的反复测试、修正，最后才能形成一套科学的指标体系，除此之外，还要不断地随着实践的发展而发展。
（1）ISO2789关于数字馆藏使用的统计指标已经被很多研究项目及指标体系所采用（如EQUINOX），实践中的可用性很强。现在被采用最多的指标是：“任务数”、“下载文献的数量”及“检索次数”。
（2）在EQUINOX指标体系的设计研究过程中，参加该项目的图书馆方在他们的图书馆测试了这些指标的可用性及其与图书馆管理的相关性，测试中发现有些指标数据需要一点点地搜集，非常费力，还有一些指标计算起来很烦琐，很困难；有时，部分图书馆的某些电子服务需要的指标数据又不能获得，这使得指标体系必须要不断地进行修订和完善。该指标体系已经在欧洲的一些图书馆中进行实证测试和使用。
另外，该项目基于绩效评价指标体系设计了一个图书馆质量管理及绩效评价的软件工具，这个软件系统是为了帮助图书馆进行绩效评价和质量管理而设计的。这个系统使得图书馆可以为他们自己设定一个质量框架，详细说明任务状况、意图及目标，将有关实际绩效和操作的原始数据输入系统，系统利用这些数据可以计算出图书馆绩效指标和预定指标的完成情况，进而对图书馆的数字馆藏进行科学的质量管理。
（3）ARL E-Metrics项目的指标体系研究及建立过程也非常重视实践发展，在第一阶段项目参与方成立了一个数据库商工作小组来收集数据库商提供的数据，参与的数据库商包括Acdemic Press等12家；其中的11家数据库商及后来加入的Netlibrary参加了第二阶段的范围测试工作，有16家图书馆参加了指标的范围测试。项目研究人员为每家参与单位提供了一份包含每个指标的详细定义、实例及数据收集过程的范围测试指南。为了更清楚地了解图书馆测试工作的进展及测试中出现的问题，项目组还设计了一份自评表格。
范围测试的结果发现了很多关于统计数据收集的实际问题：从图书馆方面看，由于电子资源的购买、获取及租用方式的多种多样，给使用数据的收集带来了困难，研究项目对指标的定义及过程与很多图书馆的实践不一致，电子数据库系统的易变性及网络资源的分散性使得数据的收集和管理很困难；从数据库商方面看，他们提供的使用统计数据过于简单，使得做任何数据比较都很困难。为了使统计及评价指标更好地用于实践，2002—2003年ARL成员馆继续对这些指标进行测试。现在，ARL仍在不断研究，以便图书馆能更好地使用电子资源为用户服务。2002年以后ARL主要通过支持COUNTER（Counting Online Usage of Networked Electronic Resources）项目，发展了一套独立的国际上广泛接受的网络数据库使用统计“实施规范”（Code of Practice），目前有很多家出版商及图书馆参加了该项目，该规则使得网络信息产品的使用评价更加有效[19]。
3.5 三套指标体系之间的关系
EQUINOX与ARL E-Metrics项目指标体系的研究均是在ISO标准的框架下进行的，ISO2789也是它们遵守的标准之一，一方面，EQUINOX、ARL E-Metrics指标体系与其他数字馆藏服务评价指标体系的研究为ISO2789的完善提供理论与实证的基础；另一方面， 它们的共同发展与完善必将使得数字馆藏的评价越来越科学可行。
4 总结及启示
从以上对国外关于数字馆藏使用及其服务绩效评价指标研究项目的分析可以看出，国外对该问题的研究给予了高度关注，取得了非常显著的成就。其研究成果不仅应用于网络环境下图书馆的质量管理实践而且对数据库商的服务产生了很大影响，使得数据库商能定期按一定的格式及要求向用户提供电子资源使用报告，便于图书馆对其订购、租用的数据库进行绩效评价以做出更加科学的管理决策。通过对这些研究项目的研究背景、研究过程及研究结果的分析，得到以下几点启示。
（1）我国图书馆及图书馆团体应充分重视数字馆藏使用数据的收集
虽然目前一些数据库商已经开始向使用其产品的图书馆定期提供使用报告，但这并没有引起图书馆的充分重视，很多图书馆仍然对本地资源系统日志文件的维护不正规，统计数据的收集周期不固定，数据不全，有的甚至根本还没有做这方面的工作。这些使得绩效分析根本无法进行。所以，图书馆或团体在与数据库商签订协议时应增加一条关于统计数据的条款：应定期向用户提供所购数据库或电子期刊的使用统计数据，且要求提供的使用数据遵守一定的规则（如COUNTER实施规范等）。
（2）我国的图书馆组织应加强开展关于数字馆藏使用统计及服务绩效评价指标方面的应用研究，指导图书馆数字馆藏政策的制定。
目前CALIS团购的一些外文数据库是依据使用量来定价的（如Ei-Compendex），使用量大的机构定价就高，这样看来，电子资源的使用统计数据就显得非常重要了。COUNTER项目已经有很多家数据库商及图书馆加入，一些数据库商已开始遵守其“实施规范”向用户提供相对规范的使用统计数据。国内的图书馆组织应该通过开展应用研究来影响国内的数据库商，使其重视电子资源使用数据的提供及收集，使得中文数据库的使用统计规范化、科学化，以便于对其进行使用统计和服务绩效的评价，进而指导图书馆数字馆藏政策的制定。
（3）国内有关数字馆藏发展及评价的研究应注意理论联系实际。
数字馆藏评价研究应重视把一些有价值的理论成果应用于实践，有条件的可以扩大实践范围并推广之。关于数字馆藏使用及绩效的研究项目应吸纳数据库商参加，促进图书馆方与数据库商的合作，使得绩效评价统计数据的可获取性、实际评价的可行性和科学性更强。
（4）必要时我国可出台或修订相关的国家标准来规范电子资源的使用统计及绩效评价。
美国国家标准组织（NISO）的图书馆统计标准ANSI／NISO Z39.7已于2002年7月发布了新版标准草案，增加了有关电子资源评价的内容。
数字图书馆的不断发展使得图书馆电子服务的范围越来越大，对数字馆藏使用统计及服务绩效评价的研究已经引起了国际上相关组织与机构的高度重视，随着研究的不断深入及实践的不断发展，我们相信关于数字馆藏使用统计及服务绩效评价的指标体系会更加科学、可行，能更好地促进复合图书馆的质量管理。
收稿日期：2005年9月1日