科技项目评估专家支持系统设计，本文主要内容关键词为：支持系统论文,项目论文,专家论文,科技论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
中图分类号：G644.4文献标识码：A
文章编号：1004-6585-(2004)04-0014-03
科技项目评估是一种专业化的咨询活动，评估专家意见的有效性是直接影响评估结论正确与否的主要因素之一。即使评估专家个人采用同一范式评估科技项目，由于其个人信仰、阅历的不同，以及一些社会因素的影响都会使他们各自的评估结果发生偏差。但是，评估专家系统的“群体效应”却能把客观因素与主观因素、共同准则与个人准则有效地统一起来，形成由某一专家所无法取代的科学功能。这也正是评估专家支持系统一科学共同体，能够评价各种新理论、新发现的原因所在。因此，设计一套科学、合理的科技项目评估专家支持系统，对于确保评估结果的科学性和可信度至关重要。
1 科技项目评估专家支持系统的实质与运作模式
按照科技部《科技评估规范》、《科学技术评价办法》的要求，科技项目的评估专家应为来自科研院所、大学、产业界、政府管理部门及社会团体等单位的科学家、技术专家、经济分析专家、管理专家和市场专家等。所以，科技项目的评估专家支持系统实际上是由若干领域的个体专家所构成的专家群体，他们对涉及其所在领域的科技项目进行的同行评议，实质上就是一种建立在科学基础上的群体民主决策行为。
科技项目评估根据评估活动的性质、目的、管理机构的不同，有不同的评估方式和程序。但是，评估专家支持系统的运作方式和程序却大致相同。一般而言，科技项目评估专家支持系统的运作模式如图1所示：
图1 科技项目评估专家支持系统运作模式
可见，在科技项目评估专家支持系统的运作过程当中，筛选评估专家构建评估专家库、遴选评估专家组成特定项目的评估专家委员会或专家组，以及对评估专家业绩的评价，是三个重要的关键环节。
2 评估专家库的构建
筛选高水平的科学家、技术专家、经济专家、管理专家组成评估专家库，是建设科技项目评估专家支持系统的基础和首要任务。从国内外科技项目评估专家支持系统的运作实践来看，构建评估专家库应该满足以下基本要求：
(1)严格评估专家的资格审查制度。评估专家应具备下列条件：①具有较高的专业知识水平和实践经验、敏锐的洞察力和较强的判断能力；②具有良好的资信和科学道德。
(2)重视评估专家的互补性和代表性。评估专家库应该包括来自研究与发展机构、大学、企业等单位的科学技术专家、经济学家和管理专家等，并且应当根据科学技术的发展趋势和管理工作的需要及时更新。
根据上述构建评估专家库的基本要求，可以设计出一套评估专家筛选的评价指标体系（见表1所示），对特定专家的权威性进行定量化评价，为提高入库专家的整体水平，完善评估专家库，提供具有可操作性的评价标准。
表1 评估专家筛选的评价指标体系
一级指标
二级指标 三级指标
科研奉献精神
个人道 责任感 科研责任心
德品质 公正性 科研经费专款使用情况
个人诚实守信情况
专利申请量
研究成果 发表论文情况
与水平 出版著作情况
科研成果的国际检索情况
科技成果技术成果的转化率
成果 推广应用 技术成果推广转化产生的经济效益
技术成果产生的社会效益
课题与
国家级课题数
学术交流 省部级课题数
课题完成率
组织协调能力
科研管管理能力 决策规划能力
理能力培养研究生培养博士生
培养硕士生
获奖情 国家级
况及完获奖情况 省部级
成项目 厅局级
的满意完成项目 完成国家级项目满意度情况
度满意度完成省部级项目满意度情况
3 评估专家的遴选
如何从评估专家库中遴选出适合特定科技项目评估要求的评估专家，组成特定项目的评估专家委员会或专家组，是该项目评估能否成功的关键所在。在遴选评估专家时，应遵循以下基本原则：
(1)回避原则。与被评价方有利益关系或可能影响公正性的其他关系的评估专家不能参与评价。已遴选出的，应主动申明并回避。被评估方可以按规定提出一定数量建议回避的评价专家，并说明理由。详细情况可参见科技部《科技评估规范》。
(2)随机原则。参与具体评估活动的评估专家一般应从评估专家库中依据要求和条件随机遴选。遴选组成的专家委员会或专家组，应体现不同学科、不同专业技术、不同学术观点、不同单位和不同地区的代表性，并应当有一定比例的在一线从事实际研究与发展工作的专家参加。
(3)更换原则。评估机构组建的常设评价专家委员会或专家组应实行定期换届，其成员连选连任一般不得超过两届，并应当保持一定的更换比例。
为确保评估任务能够顺利完成，在从专家库中遴选评估专家组成科技项目的评估专家委员会或专家组时，其人数、年龄、知识结构甚至地域方面都应保持相对合理性。
4 评估专家的业绩评价
定期对评估专家以往工作业绩进行评价，便于随时更新评估专家支持系统，将评估业绩较差的专家从评估专家支持系统中删除，补充新的专家。使得可供遴选的专家的学术水平、创新思想、判断能力、职业道德都能长期保持在一个较高的水准上。总之，对评估专家业绩的反评估，将有利于科技项目评估持续深入公正地展开。
对评估专家业绩的评价，主要是通过评估专家业绩评价指标体系进行的。评估专家业绩评价指标体系（见表2所示）主要由参与率、离散率、命中率、成功率四项指标组成，较全面地反映了评估专家的学识、经验、政策水平、判断能力和道德品质。
表2 评估专家业绩评价指标体系
指标名称 指标内涵 指标的作用
参与率 评估专家受聘
参与率的高低，从经验
(
) 某评估机构后， 积累的角度反映了评估
历年来参与评
专家评估工作经验的多
估项目的累计
少，同时也在一定程度
数与该评估机
上可以反映出评估专家
构历年来评估
以往评估工作业绩的好
项目总数之比。 坏。
离散率 评估专家对评
离散率不仅能反映出某
(
) 估项目的评估
评估专家与其他评估专
结果与其他评
家对被评估项目在认识
估专家评估结
上的差异性，更重要的
果的离散程度。 是它还能较好反映出该
专家在评估过程中反映
出的水平和公正性。
命中率 评估专家对某
如果评估专家政策水平
(
) 评估项目的评
较高，深刻了解资助宗
估结果与最终
旨；学术水平较高，能准
评估结果的一
确判断项目的价值，并
致性程度大小。 认真负责，则命中率较
高。命中率的高低可以
反映出评估专家的能力
和水平。
成功率 评估专家赞成
成功率从最终结果的角
(
) 资助的项目中， 度对评估专家的水平进
经验收评估证
行了总体反映。成功率
明取得成功的
的高低能从本质上反映
项目的比率。
评估专家的水平。与其
他指标相比，具有更强
的说服力。
各项评价指标的具体计算方法如下：
(1)参与评估率
式中：表示评估专家i的参与评估率。
表示评估专家i第j年参与评估的项目个数。
表示评估专家i所在评估机构第j年评估的项目个数。
n表示评估机构、评估专家进行科技项目评估的年数。
(2)离散率
①收集专家委员会或专家组中各评估专家在某科技项目评估中的评估指标值，并进行指标转换、定值以后，可得到如下矩阵：
式中：表示评估专家j对某项目第i项评估指标的评估值。
m表示评估专家数。
n表示评估指标数。
②在[x]矩阵中，令
式中：表示评估专家j关于某项目的离散率。
表示评估专家j对某项目第i项评估指标的评估值。
表示评估专家k对某项目第i项评估指标的评估值。
m表示评估专家数。
(3)命中率
式中：表示评估专家j的命中率。
表示评估专家j的评估结果与最终评估结果相一致的项目个数。
表示评估专家j所评估的项目个数。
(4)成功率
式中：表示评估专家j的成功率。
表示评估专家j认为可以赞助，并且经实践证明确属成功评估项目的个数。
表示评估专家j认为可以赞助的评估项目的个数。
科技项目评估专家支持系统是当前科技评估项目在评估领域中的一个前沿和热点问题。构建科技项目评估专家支持系统，是对科技项目的一种全新探索。