美国联邦研究活动的评估，本文主要内容关键词为：美国联邦论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
美国学术界对联邦科研项目及成果评估的一些观点
1.由联邦政府支持的应用研究和基础研究都应进行定期的评估。
2.有关机构在对其研究项目进行评估的时候，必须使用与研究特点相符的评估方法。针对不同的研究项目的特点，评估的时间范围、评估的对象及重点，以及根据评估的程序所需的专家，也都要有所不同。
3.对联邦投资研究项目最有效的评估手段是专家评审。专家评审包括质量评审、相关性评审以及水平标定（对基础研究和应用研究的评估都是适用的）。
4.如果没有不断补充的受过良好教育和培训的科学家和工程师，整个国家就无法从科技进步中受益。没有这种人才的流动，制定任务的联邦机构实现其任务的能力将被大大降低。联邦机构必须更加重视他们对人力资源的需求，培养和教育年轻的科学家和工程师，不断向学术界、企业界以及联邦实验室提供充足的人力资源。
5.要建立有效的机制，来协调多个部门间的研究项目，并避免研究课题出现重复。
6.对评估和方法的改进和提高需要科技和工程界的参与，有必要让科技工程界的人士更多地参与专家评审。
美国目前进行科研项目及成果评估的主要方法
1.数次衡量分析法
数次衡量分析法是目前被熟知的一种评估方法，包括出版次数、引用次数以及专利计数等，其主要前提是，研究者的工作价值由同行专家判定。只有当评审的专家和编辑对质量认可时，研究文章才能在被委托的刊物上发表；发表的作品被其他的研究者引用是对该作品权威性的一种认可；发表的作品被某个公司引用，作为申请专利的证明。从一定程度上来讲，一个作品被引用的次数越多，则该作品的价值就越大。数次衡量分析的主要益处就是它的数量的本质。
目前对数次衡量分析的主要分歧是，数次衡量将所有的引用都看作同等重要。然而许多引用都是例行的工作，不一定有存在实际的应用价值。此外，当客户按照不同领域来排列出版物作者的顺序时，引用第一作者署名的作品也会导致其他问题。此外，不论在不同学科间或者国家间，由于研究界之间存在差别，当它们相对使用的时候也会对研究成果产生不同的理解（例如，在美国国内，俄国的出版物的渠道来源就要比美国出版物少得多）。此外，过于强调数次，也会使研究者比较易于人为地改变被引用的次数，人为的增加其作品被引用和发表的机会。
2.经济回报率
近些年来，经济学家们已经开发了各种技术方法，来评估研究所带来的经济利益（如回报率）。这类方法的主要好处是为评估研究成果提供了一种衡量标准。然而，同时也存在许多困难。特别是美国企业研究所的研究表明，现在的经济方法和数据只能衡量基础科学研究的影响及成果的非主要方面。经济方法更适合于评估应用型的研究，而对从事基础研究单位的工作则不一定是很好的方法，特别对以年度为期间的评估。此外，经济学家不能对基础科学的边缘利益—成本比率作出评估，即回报的边缘比率，或者是研究中每一额外美元的投入所产生多少的经济利益，然而这一信息却是决策时所需要的。因此，评估有些研究的最终利益成果的时间通常非常漫长，50年的时间有时也不算长。
3.同行评议
同行评议是科学研究中最经常用的一种评估和自我评估与纠正的一种方法。它是许多联邦机构评估完成的、正在进行的以及被提议的科学和工程研究项目的最主要的方法。
同行评议就像许多其他人为评判的方法一样，易于受到个人喜好的影响，特别是朋友间的人情或者是由于反对产生的偏见。然而由这些因素产生的偏差或者歪曲可以通过严格的选择同行专家、每个评审者之间的独立分析和共同判断以及利用数次衡量和其他数次分析方法来补充，从而尽可能地被最小化。
同行评议在联邦机构所实施的广泛的研究领域中并不是可以同等适用的，必须注意到基础研究或者一些长期的研究项目其最终的研究成果是不可预测的，而其他一些递增或者发展很快的项目则比较易于在一定的时间范围内进行预测。对后一种研究项目来说，其结果可以通过严格的、恰当的衡量方法来进行评估，而对前一种研究项目，其研究结果就很难量化，特别是在研究工作进行期间，一般应该对研究工作的质量和领先性进行评估。机构的管理人员有责任设计适合每一个被评估的研究项目的评审技术方法。
4.个案研究
对导致科学或者科学的应用中的关键事件的社会和知识发展的历史评述比其他评估方法更能充分显示研发过程的意义和深度。个案研究的主要优势就是能够用以理解机构、组织以及技术等因素对研究进程的影响，以及能够认清研究过程的重要成果，不仅是在知识方面的，而且包括与其他研究者的合作、年轻研究者的培训以及多产的研究中心的发展等。个案研究的困难是成本比较昂贵，其结果和结论的有效性有赖于进行研究人员的客观性、调查的技巧以及相关的科学知识等。
5.回顾分析
回顾分析与个案研究的关系也属于对历史的重新评审；然而，回顾分析集中多个科学或者技术的创新方面，而非针对某一个个案。其目标是弄清创新和先前事件（通常是投资或者研究）的特殊例子之间的关联。这类分析通常是由一个专家工作组或者调查工作组来完成。这一方法最适用于评估需要说明的特殊问题，例如，国家科学基金对数学研究投资的影响。这类分析的主要缺点是执行的过程比较长，所以对改进研究政策和管理的短期评估来说，则没有多大用处。
6.水平标定
在科学的前缘领域保持领先的地位是国家对研究的投资战略中的一个关键因素。这种方法要解决的问题是，一个机构或者国家研究和教育计划是否处于前沿的位置。这类评估由来自国际和国内的学术界和企业界的，在一定领域和相关领域的专家组成工作组，在所能获取的数量和质量数据的基础上来执行。
对联邦政府投资研究的衡量和评估
1.衡量研究
对于应用研究项目，具体的实用成果可以记录下来并进行年度评估。例如美国能源部制定的生产廉价太阳能源的目标，可以衡量旨在降低太阳能电池成本的研究成果。在这种情况下，某个应用研究项目可以通过具体的可衡量的年度进展速度来评估。有许多其他可以通过类似的方法评估的研究项目，如光学计算机的的建设工作、抗干旱或者耐盐碱作物的育种、行走机器人的样板组装、DNA列序的样板机设计、光纤激光外科治疗的采用等。
基础研究项目也可以在定期的基础上进行有意义的评估，但是其研究基本进程的最终的成果是很难以预测的。在形成一个基本的理解之前，基础研究人员必须经常修改他们的目标、研究的内容，对各种有可能假设进行测试，来调整他们投入工作的方向。因此，需要通过衡量工作的情况例如是否产生了新的知识、研究的质量、在该领域获取的领先地位等，而不是衡量实用的成果，来评估基础研究项目。
2.利用专家评审来评估研究项目
由于研究过程的特点，对其成果的评估需要有一定广度和灵活性的评估技术方法。美国科学院科学、工程和公共政策委员会(COSEPUP)在相关研究中分析了多种用于评估研究的方法，包括经济影响研究、论文引用数次分析、专利分析等。COSEPUP认为每种方法都有其优点，但是都达不到专家评审的严谨性。例如，年度执行的经济效果研究适用于应用研究，但对于基础研究来讲是不合适的，尽管这可能在对基础研究的实用成果进行回顾评审是可能是有用的；论文引用分析需要专家对内容、质量以及引用的相关性进行评估；专利分析也能提供有用的信息，特别是对于应用研究项目，但是也需要专家对专利的质量和相关性进行评估。COSEPUP认识到，在考虑专家评审合法合理性（如利益的冲突、独立性、优越感等）的同时，仍然认为经过仔细计划和组织的专家评审是评估基础研究和应用研究的最为严格和有效的工具。
专家评审最知名的形式是同行评议，其前提是来自同行的科学家和工程师，拥有评判研究质量的基本知识和眼光，他们是进行同行评议的最佳人选。在许多领域都使用同行评议进行评判：有关单个研究者的事业、有关他们出版物的价值、有关研究机构的地位，以及资金向个体和研究领域的分配等。
专家评审的第二种形式是相关性评审，即通过由研究成果的潜在用户、来自研究领域的相关领域的专家，以及来自研究领域本身的专家和工程师组成一个工作组进行评审。相关性评审的目标是评判一个单位的研究项目是否与其单位的任务相关。由于专家研究人员在该领域的眼光以及他们对同一领域或者相似领域的其他研究项目的知识，他们在这一工作过程中起到至关重要的作用。相关性研究不仅限于应用研究，也用来评估由联邦投资的基础研究项目。尽管基础研究的最终实用成果难以预料，但是落实一个研究项目是否能够有可能有助于实现机构的任务则是重要的。认真的相关性评审可以指明基础研究和应用研究的未来最有潜力的发展方向。
专家评审的第三种形式是水平标定，即用来评定美国研究工作的相关国际地位。由国际专家工作组执行的国际水平标定来评估科学和工程领域的项目在国际的领先性。美国科学院的COSEPUP以及美国国家科学基金会已经在数学、材料科学和工程，以及免疫学等领域进行过水平标定的实践。这些实践显示水平标定是决定某个领域领先地位的一种有效工具。尽管这主要依赖于专家的评判，但也能用量化的衡量方法进行确定。
在科学和工程领域的领先地位是以人力基础建设和多年建设的设施的成果为基础的，通常不会每年都会变动。然而，每隔数年的水平标定评审却能够产生足够的信息。通过观察在本年度发生的重大发现或者其他变化，有关单位仍能够对美国的领先地位进行年度报告。无论何时当项目被解散或者削减时，重要的改变都有发生。这些关于美国领先地位降低的影响等也被要求在年度报告中提及。
组织一支有足够广度和深度的、能成功进行评估的人员的队伍是联邦机构管理人员的责任。评审管理人员的能力和投入的精力能从实质上提高评审的质量。没有正确的计划和导向，专家回顾就不可能有效，应该将其看作管理的工具，而不是展望、计划或者是决策的替代物。
美国学术界人士认为，遵照《联邦行为和成果法》的精神和内容的要求，联邦研究项目的成果可以在定期的基础上进行有意义的评估。然而，所选择的评估方法必须适合研究及其目标的特点。此外，美国国内有关人士普遍认为，专家评审是对联邦机构执行和投资的研究（特别是基础研究）的质量、领先性以及相关性进行评估的最有效的机制。最后，有关项目的选择和投资必须由了解专家评审结果的联邦机构管理者作出决定。