美国的科技评价与科研事后评价概况，本文主要内容关键词为：评价论文,美国论文,事后论文,概况论文,科研论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
科技评价是科研管理工作的一个重要环节，涉及到评估内容、评估时间、评估环境、评估方法、评估者、被评估者、评估结果的分析和处理等许多方面的问题，是一项非常复杂、非常重要的工作。
1.美国科技评价总体情况
二战结束以来，美国政府对科学研究的投入不断加大，公众对投资的期望值也日益增高，因此，必然要求政府对其科研投入的预算进行严格管理，并以强有力的手段对科学研究的过程与结果进行绩效评估，以提高研究的质量、效益与效率。
(1)美国的政府科技评价机构
在科学研究领域，美国联邦政府提供了超过半数的科研经费，但政府中并没有一家负责全面管理科技评估的机构，也没有任何一个政府部门负责对评估机构的认证。但很多与科研管理有关的部门或政府管理机构设有科技评价办公室。
美国国会技术评价办公室(OTA)：创立于1972年，其主要任务是为美国国会提供深层次、技术含量较高的科技评估报告，为国会成员及各社会团体进行与技术相关的公共政策分析。由于美国立法和行政之间存在着明确的分权，因此，OTA同时成为政府和国会的重要工具，在资源分析方面协调两者的关系。为了便于OTA行使自己的权利和履行义务，保证客观性和独立性，每年由财政部拨款给OTA，1973年拨款为500万美元。一般需要一年半到两年完成一个评估报告，直接花费为50万美元。尽管1995年该机构已经关闭，但OTA在美国科技发展中作用不可忽视，至今仍具有很大的影响力。
国会预算办公室(CBO)：成立于1974年，是美国国会决策支持机构之一，向国会提供有关预算信息和对潜在备选方案进行经济影响分析。因此，它能够向国会提供关于预期政策方案、已有的政策和项目的评价，每年大约有1000个这种评价提交到国会。
国会研究服务部(CRS)：设在国会图书馆内。其职能是为国会议员解答大量、广泛的问题，研究采用各种不同的方式，如：报告、法律研究和分析综述、背景资料以及准备讲话材料等。国会研究服务部不为撰写报告而收集原始数据，而是用已有的评估报告，综合和提炼它们的主要结论，把有关材料提供给国会。
美国总审计署(GAO)：成立于1921年，主要承担对政府机构、政府组织、政府计划的审计和评估任务。该组织的最高负责人(总审计长)由总统提名，参议院批准。GAO进行的审计和评估工作大部分是应国会各委员会的专门要求而做的。其分支机构遍布全美国及世界各地，在华盛顿特区设有总部，在美国本土上设有14个地区性办公室，在美国以外有两个海外办公室。正式工作人员5000余人，每年美国审计总署开展1000多项后评价性质的工作。美国审计总署完成一项报告平均需要9～12个月，对特别复杂的评估，需要两年或更长的时间。
上面提到的不同评价部门其评价的侧重点也不尽相同，如美国审计总署注重项目、政策的事中和事后评估；国会技术评价办公室则注重项目、技术的事前、事中评估；国会研究服务部则侧重政策的事前、事中和事后评估；国会预算办公室侧重计划、政策的全过程评估。
除了以上国会层面上的评价机构以外，美国有关政府部门也都设有类似的评价办公室，如：卫生与人类服务部计划与评估助理部长办公室、卫生与人类服务部监察长办公室下的评估与监察办公室、环保署监察长办公室下的环境项目独立评估办公室、国立卫生研究院综合分析与战略计划办公室下的评估处，以及疾病预防控制中心评估工作组等。这些联邦政府部门下设立评估机构分别负责本部门内的宏观科研评价和评估工作。
(2)美国的民间科技评价机构
美国政府出资的科技评估，呈现了政府拿钱，委托科研机构代理评估的格局。美国联邦机构依据相关法律履行评估职责，政府委托一大批高水平、相对稳定的社会咨询评估机构(通常被称作Government contractor)，包括企业和营利机构，承担具体的评估活动。美国政府只是出资，由其他机构、部门负责评估活动。美国科技评估的这种出资人和执行者相分离的制度，在一定程度上能保证评估的公平性和合理性。出资人(政府)和评估执行者之间建立了相互监督的机制，提高了监督的效率，减少了徇私舞弊、暗箱操作的可能性。
美国有数量庞大的科技评估机构和能主持科技评估的科研院所，有大量的科技人员、专家、学者，保证了科技评估的硬件条件。
其中比较具有代表性的是世界技术评估中心，该中心最早曾是马里兰Loyola学院的一个部门，现已成为一个独立的国家水平的非营利性研究组织。主要从事技术领域的宏观评估，为美国政府的政策制定人员、科技管理人员以及各类科技项目开发人员提供有关国际技术项目状况分析，也进行国内外科技项目的立项、比较与评价服务。该中心自1989年以来发布了50余份宏观技术评估报告，项目来源包括NSF、EPA、NIH、NASA、NIST、FDA等与科研管理有关的政府部门，评估领域涵盖信息、电子、生物、制药、核能、深海等各个领域。
除了像世界技术评估中心这样的非营利评估组织外，美国还有大量高水平的面向市场的科技评价公司。仅以美国评估协会网站上所列能够提供科技评估的公司就有近300家。这些公司主要通过市场竞争来体现期评估能力和水平并赢得信誉，从而能够在科技评价市场上站稳脚跟。
(3)美国科技评估的一般步骤
美国的科技评估一般采取如下步骤：评估项目的前期论证、筹备阶段——根据被评估项目的原始资料，论证自己的评估机构是否有能力承担此项任务，然后由评估机构组建评估小组，聘请专家(一般是国内或国际相关学术领域的知名人士、风险分析专家、咨询专家等)；基础准备阶段——评估小组制定评估方案，同时遵循一定的方法，制定相应的评估指标，选择指标处理方法，设计详细的调研提纲；数据(资料)的收集阶段；数据(资料)的分析整理阶段；综合汇总阶段一根据专家根据分析后的数据起草评估报告，举行听证会，讨论评估报告，通过后签字生效，并根据具体情况决定是否公开发行。
(4)美国常用的科技评价方法
通过不断地总结与创新，多年来，美国科技界形成了一系列科研评价方法。美国国家科学院、国家工程院和医学研究所共同组成的科学、工程与公共政策委员会(COSEPUP)在其1999年形成的“评价联邦研究计划：科学研究与政府绩效和结果法案”报告中对目前美国最常用的科技评价方法进行了总结，该报告中提到的应用最广泛的科技评价方法主要包括以下几种：
文献计量分析
文献计量分析包括：对出版物、论文引用情况及专利等的计数分析，该方法的一个前提假设是任何一项科研都是具有价值，并认为，如果某刊物发表一篇论文，该论文一定经过专家或编辑评议认同其质量；而如果一篇论文被其他科研人员引用则表示对其权威性和真实性的认可，并且被引用得越多就越有价值。文献计量学最大的优势是其能够定量的特性。此外，美国一项研究表明：总体上文献计量分析与同行评议结果的吻合度大概在60％左右，该研究认为，这一比例的吻合度说明文献计量分析作为科技评价的方法还是比较准确的。
当然，文献计量分析作为一种科技评价方法也还存在一些问题，包括：该方法视所有的引用为同等重要，但实际上有很多引用可能只是用到某些常规的方法或统计学设计或对某些技术细节提出修改意见，甚至有的引用是为了提出反对的观点，但文献计量分析方法无法把这些因素考虑进去，而只能把这些引用都作为正面、积极的引用进行统计；一般在进行引用时只提到第一作者的姓名，而在不同的领域论文的署名惯例并不完全相同；目前某些国家，例如：俄罗斯的科研论文因语言的问题，不能完全真实反映出文献计量的方法；有些科研人员为了增加被引用的次数，而人为地采取一些手段等。
经济回报率分析
近年来，美国的经济学家陆续研究出多种方法对科学研究的经济回报率进行评价。该方法的优势是能够计算出科学研究的产出值。该方法也存在一些缺陷。美国企业研究所(AEI)1994年发表报告认为，现有的经济学方法只能在几个比较重要的维度上对基础科学的产出和影响进行评价，并且该方法只适用于对那些目标比较明确的项目和计划进行评价，而无法评价基础科学，尤其是对基础科学进行年度评价。此外，该方法也无法测定基础科学研究的边际效应或边际经济回报率。同时，有些研究需要很长时间才可能表现出其对社会、经济和科学的影响，对这类研究该方法就很难进行准确评价。
同行评议
同行评议是科学共同体进行自我评价和纠正的一种方法，是很多联邦机构对科学研究进行事前、事中和事后评价的最主要的方法。但因同行评议仍属于人类的一种主观判断，因此，也会受到评价人的个人好恶、远近亲疏和个人关系的影响。但如果能够进行严格的专家选择，提高评价人的诚信度和独立性，再辅以文献计量分析等其他的定量评价方法，同行评议受主观因素影响的程度有可能被减小到最低程度。
案例分析
该方法可以对重大科学事件和科学应用过程进行分析。该方法的主要优点是能够分析机构、组织或技术因素在科学发展过程中发挥的作用，能够帮助确定重要的非知识性产出，如某项计划或项目形成的机构间或研究人员之间的合作，培养了年轻科研人才，或某些比较高产的研究机构的发展过程等。该方法的缺点：一是成本比较高；二是容易受到分析者的主观因素、分析技能和知识面的影响。
回顾性分析
与案例分析相同，回顾性分析也是通过回顾历史来对科学研究进行评价。但该方法一般主要针对多个科学技术创新活动或计划进行分析，其主要特性是能够确定不同科研活动或项目、计划之间的关联。该方法经常由一组专家共同进行。该方法的缺点是过程比较长，不适合进行短期评价。
指标分析
指标分析主要由某领域内的国际或国内的学术界和产业界人士在定量数据和定性分析的基础上对科学研究进行客观评价。美国的科学、工程与公共政策委员会曾经实施过很多关于美国的各个科研领域在全球国家中排名的指标分析。对于研究项目和计划的分析也可以采用该方法。
在该报告中，科学、工程与公共政策委员会还对以上提到的各种科学评价方法的优缺点进行了系统比较。
2.美国针对具体科研项目的事后评价
以上对美国科技评价的总体情况进行了概述，本部分主要介绍美国在对具体科研项目评价方面的一些做法。
(1)“科技成果鉴定”在美国
从语言角度讲，美国很难找到与我国常用的“科技成果鉴定”严格对应的概念，甚至连具体层面上的“科技成果”的概念都没有。与“科技成果”字面意义相类似的概念有“Output”和“OutCome”，但这两个词的实际含义一般是指“产出”或“结果”，在美国主要用于从宏观上描述科学研究对经济、社会和科学的贡献，而非在我国普遍所指的具体的科学研究结果。在美国，一般以项目、技术、专利等更加细化的词汇描述这种具体层面上的研究结果。
此外，“鉴定”一词在美国也很难找到意义完全对应的词汇，美国比较接近的词是“Evaluate”或“Assess”，指“评价”或“评估”。
根据以上情况，并结合其实际指代意义，“科技成果鉴定”在美国大概可以用“科研项目的事后评价”来代替。
(2)美国科研项目的事后评价
美国在进行科研项目事后评估时，较为普遍的做法是：把开题时的研究预测和课题论证、研究过程的计划执行、进展及阶段性结果的检验，甚至对研究项目最终的验收或评审等过程作为一个整体进行评估。评估大多根据阐述基础理论的论文发表情况及被同行引用情况进行评议。应用性研究则通过专利审查、合同验收或根据在实践中的使用情况给出客观的评价。
对于合同制科研项目的评价则相对比较简单，如国防部、国家航空航天局的一些应用课题具有很强的实用性，有具体的研究目标。对这类科研项目，一般采取政府合同的方式，采用招标方式进行，待研究任务完成后，委托方再根据合同验收。在对这种政府委托式的项目进行评估时，以合同中所列出的条款为主要依据。因为研究合同中的各项内容都应有明确规定的标准，便于检查和控制，以利于科研管理和评估。在管理上，采用美国有关政府采购合同的法律和管理细则。科研合同承担者若不能完成任务，则按违反商业合同的有关法律和规章追究其责任。
再以美国政府资助和管理科研项目和经费最多的美国国立卫生研究院(NIH)为例：简要介绍其对科研项目进行评价的做法。
总体上NIH科研项目管理的基本过程是：由科学评价中心(CSR)或NIH下属其他各个研究所或中心有关领域的项目官员组织同行评议，对项目申请人的能力、申请人所属机构的条件、申请人提出项目方案的设计等进行严格的评议。项目通过评议并立项后，项目负责人必须按照项目方案或研究合同中的规定会执行，并且每年向项目管理部门提交年度报告，报告研究进展情况；项目结束后要提交总报告，报告项目完成情况，但一般不需要再进行项目结题评审或“鉴定”。
美国其他有关科研管理部门在具体的操作方法上可能会有细微差别，但总体上大都采取这种重视事前评估的思路。
结合以上情况并对美国的科技评价进行分析可以发现，美国在具体科研项目层次上的评价主要是以事前评价为重点。
分析美国重视科研项目事前评估的主要原因，在前文提到的“评价联邦研究计划：科学研究与政府绩效和结果法案”报告中有比较清楚的分析： “对于应用研究来说，一般会设立一系列需要在一定时间内完成的里程碑式的关键指标，并且对其最终结果和意义进行准确的描述。在此基础上，通过定期提交研究报告即可判断项目目标是否按计划完成”； “而对基础研究而言，一般需要非常长的时间才能判定其给社会、经济和科学带来的收益，在短期内进行不恰当的评价可能带来极大的危害”。此外，美国科学界普遍认为，科学研究有其内在规律，不可能每一项研究都成功，应该允许科研中出现失败，而提交的研究方案是否合理以及项目负责人是否按照预定方案开展研究才是对科研项目进行管理的关键所在，不恰当地对所有的具体科研项目进行评估或做出结论，有可能会产生误导，并对整个科研体系带来不可挽回的影响。
总之，美国的科研管理经验显示：针对具体的科研项目管理，比较有效的事前评估系统减少了进行多层事后评估的必要。
3.美国政府开展的科研绩效评估
上面的分析表明：在美国更强调对具体科研项目事前进行评估的作用，但这并不表明美国没有或不重视事后评价。相反，美国各有关科研管理部门也会组织针对科研活动的事后评价，但这种事后评价一般主要针对比较大型的科研计划或者是对科研部门整体绩效的评估，特别是20世纪90年代以来在美国有关科研管理部门展开的科研绩效评估。
(1)美国政府的绩效评估
美国联邦政府目前实施的绩效评估是1993年克林顿政府为了回应公众与立法机构对其改进行政管理水平的要求而推出《政府绩效与结果法案》后开始展开的。该法案以立法的形式引入了一种新的管理概念与制度——绩效评估，要求职责各异的联邦机构制定覆盖未来5年的战略规划报告(每3年修订一次)，同时，要求联邦机构每年提供将战略规划分解为定量化实施目标的年度绩效规划报告，并对照年度绩效规划中的定量目标检查其完成情况，形成年度绩效评估报告。
(2)科技界对开展绩效评估的反应
该法案一经颁布，美国科学界和资助科学研究的联邦机构一片哗然。许多科学家和科研资助机构的管理人员的第一反应是，该法案可能不会、也不该用于科学研究领域特别是联邦政府重点支持的基础性研究。其理由包括：重大科学突破的产生时机和发展方向无法预测，试图通过实施“规划”促使科学突破的产生是有害的，因为这样会迫使科学家因更多地关注短期结果而趋于保守，而不是锐意创新；科学家的研究成果往往不是在某一个资助机构的单独支持下完成的，而是与其他经费来源共同资助的结果，把这种多渠道资助的成果仅作为某一个资助机构的成果指标，显然是不科学的；没有什么定量方法可以真正衡量科学研究，特别是基础研究的质量。
针对这种情况，白宫负责制定科技政策的国家科学和技术理事会(NSTC)下属的基础科学委员会于1996年发布了具有指导性的报告《评价基础科学》。报告明确指出，联邦科研管理机构必须设计出适合于科学研究特点的评估策略，并声明研究产出中最主要的方面以及研究的最终结果和影响，很难用直接的评估工具进行量化处理；对基础科学的动态复杂性及其与国家目标间关系的认识，也不可能通过简单的定量手段予以实现。基于同行评议的价值评议不仅是对研究项目开展事前评议的基础，而且也是对科研计划进行回溯性绩效评估的重要方式。鉴于基础研究的长期性和积累性特点，评估内容不仅应涉及基础研究的近期直接产出，而且更应涉及其多方面的长期综合影响。
此外，在前文提到的COSEPUP 1999年出台的《评估联邦的研究计划：科学研究和政府绩效与结果法案》报告中，也针对在科学研究领域实施政府绩效评估提出了建议：①无论是对联邦政府资助的应用研究还是基础研究，都可以在经常性工作的基础上开展有意义的评估。②支持科学研究的联邦机构应当定期对以往资助的所有研究活动的整体绩效进行评估，但不同的机构必须运用与其研究性质相适应的评估方式与手段。③联邦机构应当运用专家评议方式来评估研究的质量、相关性和国际领先水平，在组建和运行专家评议的过程中，每个机构应当有清晰明确的指导思想。④联邦机构应在战略与绩效规划中制定与人力资源相关的目标，人力资源应成为研究计划评估的内容之一。⑤尽管政府绩效评估的实施是以单个联邦机构为单位，但应建立一套正规的评估过程，来确认和协调由多个机构资助的研究领域的绩效，每个研究领域应确定一个起主导作用的资助机构，由这个机构负责在相关机构间进行协调。⑥科学家和工程研究专家能够、而且应当在政府绩效评估的实施中发挥重要作用，但首先，他们应当了解和熟悉有关联邦机构的战略规划与绩效规划目标，其内容应在这些机构的网页上公布。
(3)NSF和NIH的科研绩效评估实践
以下重点介绍美国国家科学基金会(NSF)和美国国立卫生研究院(NIH)两家比较具有代表性的美国联邦科研管理机构开展科研绩效评估的情况。
《政府绩效与结果法案》出台后，NSF和NIH都开展了规划工作，对原有的评估工作重新进行了整合和规范，并在规定的时间内提交了GPRA报告。NSF于1997年9月提交了第一份5年战略规划(1997-2003财年战略规划)，在此基础上修订形成2000-2005财年战略规划(后又修订为2001-2006财年战略规划)；NSF和NIH都于1998年春提交了第一份年度绩效规划(1999财年绩效规划)，2000年3月提交了第一份绩效评估报告(1999财年绩效报告)，此后每年提交新的年度规划与绩效报告。在两个机构的绩效评估报告中，都没有对单个资助项目的结果进行评估，而是对组成某一计划的一类项目乃至对实现本机构某一方面特定任务的诸多计划开展综合评估，以展示其整体绩效水平。
NSF在其年度绩效评估报告中，将其绩效目标分为三类：资助结果；内部管理和投资过程(即资助决定产生的过程)。NSF认为，对于其资助的研究活动最终能够产生怎样的结果，何时能产生结果的问题，基本上是不可预测的。NSF的工作人员并不直接从事研究活动，而是支持他人提出项目申请来开展研究与教育活动，通过向研究人员和教育界提供其资助结果、资助目标和实现目标的战略，对研究和教育活动发挥影响。也就是说，NSF是通过对科研投资以及相关方面进行管理的问接方式来影响，而不是直接控制所资助的科研活动的结果。因此，NSF决定对资助结果的绩效目标设定与评估主要采用定性的方式，例如：是否在科学与工程学前沿领域支持了新发现，是否促进了科学发现与其应用相结合以更好地服务于社会等等，而对其内部管理和投资过程的绩效目标则尽可能使用定量的方式来表述，如：网上评议推广的比例、网上结题项目的比例、同行评议新准则的执行情况等等。
为了在GPRA的框架下更好地开展绩效评估，NSF特别重视与绩效目标相关的数据采集、证实和认证工作。例如，NSF的项目结题材料过去都是开放式的纸质结题报告书，实施GPRA之后，NSF要求结题报告提供更详细的内容，而且全部进入由NSF维护的网络系统，便于人们方便快捷地查询。NSF还将以往监督同行评议的外部专家委员会的职能进行了拓展，除了继续监督同行评议过程(即投资过程的一部分)之外，任务重点转移到了评估各资助计划的结果。NSF的评估数据源包括其中心数据库(电子化的项目结题报告系统、申请书系统、项目批准系统、评议专家系统、财务系统、绩效评估报告系统等)、分散的信息源(如：科学出版物、NSF发布的新闻简报、包括外部专家委员会报告和咨询委员会报告在内的独立评估报告、各科学局及下属各处的年度总结、各项计划的年度总结等)和NSF内部建立与维护的本地数据库。必要时，NSF还利用其外部建立与维护的合同数据库。通过这些信息源，NSF就可以有效开展制度化的绩效评估活动了。
NSF所有的科学局和其他局(办公室)都必须评估其预算中所列举的计划实施的结果，并形成各局的绩效报告。各局的绩效报告与外部专家委员会、咨询委员会的评估报告一起提交到综合活动办公室，这些报告的内容还将被整合成NSF的总绩效报告，提请NSF主任办公室和NSF的董事会——国家科学理事会(NSB)审议，批准后方能提交至国会、总审计署和管理与预算办公室。
NIH每年提供一份由年度绩效规划与绩效评估合二为一的报告，将绩效目标与实际绩效水平进行直接对比。NIH的绩效报告中既有对资助结果的评估，也有对其内部的领导与管理工作的评估(如：优先领域制定、项目管理、同行评议等方面的内容)。对资助结果的评估以定性描述为主，对管理活动的评估则采用了一些定量指标。对NIH研究计划成果的评估由独立的GPRA评估工作小组承担，但NIH的各下属研究所和研究中心必须提供关于本部门研究进展和新发现的评估素材。评估包括5个方面：①在关于正常与非正常的生物功能和行为的知识增长方面的贡献。②为医学研究与医疗实践开发的新仪器和技术，或对已有的仪器和技术进行的改进。③在预防疾病和残疾的发作或延缓其发展方面发现的新方法或对已有方法进行的改进。④在疾和的残疾的诊断方面发现的新方法或对已有方法的改进。⑤在治疗疾病和残疾方面发现的新方法或对已有方法的改进。这些描述性的、内容较为详细的报告，可让公众更清楚地看到，NIH资助的研究成果在提高人们生活质量、改善健康和医疗水平方面作出的贡献。
通过以上对NSF和NIH进行的绩效评估的实践不难发现，美国政府对科学研究的评估更侧重于整体绩效评估，但并不意味着对研究项目和计划没有监督；而是将这一职责交给了科学共同体，并通过有效的事前评议系统为研究质量把关，防患于未然；而保证在事前评议中发挥决定性作用的同行评议系统有效地运行，正是管理部门的一项重要职责。
标签：科技论文; 科学论文; 绩效目标论文; 绩效改进计划论文; 美国工作论文; 政府绩效评估论文; 绩效计划论文; 工作绩效论文; 过程管理论文; 项目分析论文; 项目评估论文; 工作管理论文; 美国政府论文; nsf论文;