如何研究公共管理实验:方法论述评_实验法论文

公共管理实验研究何以可能:一项方法学回顾,本文主要内容关键词为:法学论文,公共管理论文,实验研究论文,此文献不代表本站观点,内容供学术参考,文章仅供参考阅读下载。

      改革开放以来,特别是最近10年,中国公共管理学科实现了突飞猛进的快速发展。但与此同时,本学科也暴露出许多问题,其中尤以研究方法的缺憾为甚。许多学者对公共管理的学科地位和研究状况进行反思和批判,其中不乏针对研究方法的评估和批评。学者们的研究显示,中国公共管理研究缺乏规范性,经验研究严重不足,很难为公共管理实践提供知识和建议。近些年来,伴随着公共管理研究方法课程的开设、培训班的普及以及学者们的身体力行,经验研究方法的地位和应用比例逐渐提升。但总体而言,公共管理研究仍然面临着不容忽视的问题,其中之一就是实验法的缺失。

      一直以来,关于社会科学研究是否及如何应用实验法的争论不绝于耳。但随着时间的推移,越来越多的社会科学领域开始应用实验法。心理学、管理学、政治学、社会学和经济学等领域都热衷于实验室实验,实验经济学和政治学的学者获得诺贝尔经济学奖以后,更加为这种趋势提供了不竭的动力。在其他社会科学领域越来越多地实施实验研究的时候,公共政策与管理研究却极少使用,并且这种状况几乎一直如此。为什么会出现这种反差呢?公共管理研究是否需要实验法?实验法能够为公共管理研究提供什么价值?本文尝试回答如下问题:公共管理学科为何应该鼓励实验法?公共管理学者为何很少使用实验法?哪些公共管理问题适合实验法?这些都是公共管理研究方法亟待解答的重要问题。

      本文首先对实验法的类型和优劣进行分析,探讨公共管理研究与实验法之间的关系,指出公共管理研究采用实验法的问题与障碍;其次,对已有公共管理实验研究进行综述,明确公共管理实验研究的基本状况、主要特点与问题;再次,对中国公共管理实验研究的进展与优势进行评述;最后,讨论公共管理实验研究的前景,并得出本文的结论。

      二、为什么要开展实验研究

      (一)其他研究方法的不足

      公共管理研究者可以调用的方法工具箱非常丰富,包括调查研究、文档分析、观察和参与式观察等。互联网的兴起和大数据技术的广泛应用,为研究者们提供了更多的选择。通常来说,社会科学研究方法或研究策略至少可以分为9种,包括:正式理论/文献综述、抽样调查、实验室实验、实验室仿真、实地调查(一手数据)、实地调查(二手数据)、实地实验、判断任务、计算机仿真。如果从更为细致的研究工具与技术角度而言,那么公共管理研究方法就会更多。这些研究方法从各个面向和角度,为研究人员描述、理解和解释公共管理现象提供了利器。

      上述研究方法可以笼统地划分为实验法和非实验法,而非实验法又以调查研究法为典型代表。但是,调查研究面临非常严重的内生性问题(endogeneity):如因果关系颠倒(reverse-causality)、缺失变量偏误(omitted variable bias)、选样偏误(selection bias)等。科学研究期望发现两个及以上变量之间的因果关系,而调查研究可以建立相关关系,但却无法验证因果机制。比如,通过一份问卷调查而得到的变量,因为来自同一个来源和方法,它们之间可能是伪相关。调查研究的变量没有先后顺序,有可能倒因为果而闹出笑话。调查研究无法穷尽所有可能影响因变量的因素,甚至可能遗漏非常关键的变量,并导致研究结果的偏差。与此同时,受制于抽样策略的局限,调查研究还可能导致选样偏差,而未能捕捉到真正需要研究的对象。

      这些缺陷,都使调查研究获得的结论缺乏足够的内部效度,即变量之间的关系并未真正得以被建立。尽管调查研究通过科学的抽样而使其研究对象的统计推断程度较高,使其外部效度较强,但是缺少内部效度的研究结论仍然是经不起推敲的。

      (二)实验法的特征与优势

      尽管非实验法存在一些局限,但它们的使用却并未受到局限。实际上,调查法在公共管理研究中的地位是主导性的。在这种情况下,为什么我们需要加强实验法?一言以蔽之,科学研究旨在发现变量之间的因果关系与作用机制,而实验法是揭示因果关系的核心方法。科学家爱因斯坦曾在晚年坦陈:“如果有任何一种宗教可以应对现代科学的需求的话,那一定是佛教。”佛教讲求因果报应,认为“种瓜得瓜,种豆得豆”,而这恰恰是科学研究所孜孜以求的因果关系。

      因果关系的三要素是:时间先后、共变、无干扰变量。首先,变量之间在时间上是先后发生的;其次,变量之间存在共同变化的趋向,即有相关关系;最后,变量之间的这种共变关系不是其他变量导致的。实验法可以满足因果关系的验证要求,因而是值得尝试的方法。

      实验法的特征在于:控制(control)、随机性(randomization)、操控(manipulation)。实验法通过控制几乎所有可能影响变量之间关系的因素,而排除了其他变量的干扰,从而可以提取出研究者所关注的变量之间的关系。特别是通过随机分组,可以将实验组与对照组在研究者所关注变量以外的其他因素完全抹去,从而为考察变量之间的关系提供了绝佳的机会。与此同时,实验法重在研究者对所关注的自变量的操控或干预,即在一定范围内调整自变量的取值,以观测它对因变量的影响。

      实验法的核心是反事实(counterfactual)思维,即始终秉持这样一种思维习惯:“假如此事没有发生,那么结果会是怎么样的?”通过这样一种思维方式,实验法旨在探讨特定事件产生的效应,以构建变量之间的因果关系链条。与主流研究方法——调查研究相比,实验研究通常可以控制许多外部干扰因素,因此其内部效度较高。其次,实验研究可以建立变量之间的因果关系,而调查研究只能验证变量之间的相关关系。

      (三)实验法的分类

      实验法的范围非常宽泛,而并非只有实验室实验一种。基于不同的分类依据,可以将实验法做不同的分类(如表1所示)。基于五个标准,能够区分五种实验法。与此同时,也可以利用这些标准来区分实验法与非实验法。比如,个案研究并不对实验组与基线(或对照组)进行比较,而其他方法都进行此类比较。调查研究的干预或自变量是内生的,而实验法的干预是外生的。准实验是研究者利用实践界已经发生的政策或管理实验而进行研究,而它们的分组是非随机的,因此有别于其他实验法。自然实验的分组是随机的,但研究者却无法控制干预,因为它们往往是实践者所操作。与此同时,调查实验的研究者可以控制干预,却无法控制实验发生的环境,而只有实验室实验可以做到这一点。

      此外,我们可以从其他维度对实验法加以分类。比如,实验场所可以分为实验室(lab)和实地场景(field)。再比如,可以根据实验设计是否进行人工操控、随机分组和控制而分为真实验(true)和伪实验(pseudo)。通过这些区分,不同实验法所能验证的因果关系的内部效度和外部效度、研究设计能否控制干扰、随机分组并人为操控,以及研究场景的真实性等,都有很明显的区别。实际上,5种实验法的主要区别在于对情境现实性的强调程度和处理方法,其次是满足因果关系推断的程度和方法(如人工操控和随机分组)。

      实验室实验采用人工设计的实验场景,尽可能使其具有普遍性并对研究结果不产生显著影响。实验室实验的优势最为明显,但劣势也一目了然。以动物实验为例,Shimmura and Yoshimura(2013)的研究显示,公鸡打鸣次数同光照刺激强度和同伴打鸣录音强度都呈现相关性,但是二者的效应都随一天的时间而发生变化。此类实验可以完全控制各种影响上述变量之间关系的其他因素,从而可以精确估计这些变量之间的效应有多大。实验室实验的缺点在于“非自然状态”,可能导致被试的行为偏差,外部效度低。针对人的实验,可能因为身在实验室而感到拘谨,作出不同于正常情境的行为反应。

      实地实验则直接在现实场景中操控行为变量进行研究,而准实验在现实场景中因势利导进行实验研究,一般难以严格遵循实验设计要求。实地实验是调查研究与实验室实验的折中,可以在现实场景中进行。但有时候它可能不满足实验室实验的一些标准条件,因此就演变为准实验。通过随机分组和控制组设置,真实验可以确保实验组和控制组之间除了自变量处理不同以外,其他条件都等同。准实验则需要在实验前确认威胁因果推论的竞争假设,包括内部效度威胁、外部效度威胁和实验实施威胁。

      大量公共管理和公共政策的实验被推出,为研究者们提供了广阔的施展空间。准实验为什么可取?准(quasi)意味着尚不及,比如“准新娘”、“准女婿”。准实验的内部效度未必高,外部效度也未必高,因为受制于特定场景的特殊性限制。但是,准实验的确适合公共管理和公共政策研究。与以大学生为被试的实验室实验相比,以公共管理实践者为被试的准实验,更加能够贴近现实。Grant与Wall认为,虽然准实验在兼顾内部效度和外部效度的同时得出因果推论,但组织与管理研究人员却低估了它的效用。他们总结了准实验的5种优势:当随机分组和受控处理不可能或违背伦理时,准实验可以增强因果推论;能够构建关于时间和时间进程的更好的理论;尽可能降低伤害、不公平、一言堂、欺骗等引发的道德困境;促进研究人员与实践者的合作;借助情境解释相互矛盾的研究发现。采用倍差法(DID)与净效应估计,可以对许多政策效应进行评估。此外,操控的内生性、样本选择偏误等问题,也可以通过倾向值匹配(PSM)、熵均衡匹配等最新发展的技术予以处理。

      此外,实验室仿真主要通过计算机仿真软件进行动态推演,也可通过设置一些模拟的情况或情景来尽可能逼近现实情境。还有学者将情景(scenario)实验与真实实验加以区别,前者主要是情景模拟与角色扮演,区别于真实实验对态度和行为的观测。

      “鱼与熊掌二者不可兼得”,研究人员需要在不同效用之间作出艰难的权衡(trade-off),而研究人员对不同效用的偏好主要取决于所处学科的研究范式及其个人的学术训练。选择不同研究设计时的权衡,可以概括为“三角困境”(three-horned dilemma),即在总体推广性(population generalizability)、情境现实性(realism of context)和测量准确性(precision of measurement)三个效用之间的权衡。例如,抽样调查满足了总体推广性,但却在现实情境性和测量准确性方面较差。与之相比,实验室实验对行为的测量准确,但在推广性和情境现实性方面较差。实验室仿真的测量准确性和情境现实性都较高,但其推广性低。实地实验的测量准确性(及行为变量的控制)和情境现实性较高,但其总体推广性很低。

      表1 实验法的分类与比较

      

      注:资料来源:Blom-Hansen,Morton,& Serritzlew(2015)。

      三、缺失的公共管理实验研究

      (一)公共管理学科的实验研究

      总体来看,与其他相关学科相比,国内外对公共管理期刊论文研究方法的评估都显示,实验法很少被研究人员采用。

      Perry和Kraemer对1975-1984年间《公共行政评论》(Public Administration Review,PAR)期刊289篇论文的分析显示,138篇为非经验研究,截面相关分析为78篇,案例研究为56篇,受控实地实验或实验室实验仅为3篇,而且研究方法在这段时期的分布相对稳定。

      Houston与Delevan对1984-1988年间6份国际公共管理期刊218篇论文的分析指出,61篇属于经验研究,其中84%为相关分析,实验法共计6篇占10%(2篇为前实验,1篇为准实验,3篇为实验)。

      如果说上述研究时间较早,那么最近的分析也得出了类似的结论。Wright等对6份公共管理期刊1996-1998年间随机抽取的143篇量化研究论文的分析表明,55.2%的论文采用问卷调查,其次是二手数据分析(35.7%),实验室实验仅占7%。这些论文报告的3211项测量指标中,多数为问卷调查和二手数据,实验研究只有0.1%。

      Pitts和Fernandez(2009)对四届公共管理研究会议(PMRC)的论文进行评估,发现仅有定量的占36.2%,仅有定性的占29.3%,定量和定性数据都有的占10.1%,而没有数据的占24.5%。但是,他们却只字未提实验研究,表明在其综述的论文中实验法很少被使用。

      最近Groeneveld等人对4份公共管理期刊2001-2010年的1605篇论文分析,其中包括1 171篇或73%的实证研究,其他27%都属于不使用数据的概念性论文。在这些实证研究中,29.2%的仅有定量数据,37.9%的仅有定性数据,而5.9%的包括两种数据。定性研究的主导地位并没有改变,但定量研究却日趋凸显,并大有后来者居上的趋势。六成以上的研究都使用的是调查数据,表明其在公共管理研究中的主流地位。

      Margetts(2011)的综述显示,在其检索的四份期刊中,1960-2009年间只有35篇论文在标题或主题中出现“实验”一词,而其中只有10篇可以称得上使用了实验法。在长达50年间,公共管理实验研究并没有任何实质性的递增,尽管1990年代初学者们的呼吁振聋发聩。

      另一项检索显示,1992-2013年间共有236篇论文的标题或主题中出现“实验”一词,但只有31篇实验研究论文在主流期刊发表。不难发现,国际公共管理学界对实验法的利用很少,实验法尚未成为公共管理研究主流。

      (二)中国公共管理学科的实验研究

      与国际学界相比,中国公共管理学界对实验法的使用更是少得可怜。更为重要的是,中国公共管理学界在使用实证研究方法方面刚刚起步,更遑论实验研究的使用。

      何艳玲对1995-2005年间中国7份核心公共管理期刊发表的2729篇论文进行研究方法评估,对资料收集方法的分析显示,96.7%的论文(2638篇)属于非经验研究,其次是实地访谈(65篇,占2.4%)、问卷调查(19篇,占0.7%)和参与式观察(6篇,占0.2%),仅有《管理科学学报》发表的1篇论文采用实验法,所占比例不足1%。

      Cheng与Lu对2002-2006年中国5份核心公共管理期刊2210篇论文的分析表明,在1585篇理论分析或应用基础研究中,90.4%的论文(1433篇)为质性研究,1.5%的(23篇)为量化研究,8.1%的(129篇)为混合研究。81.8%的论文(1296篇)是非经验研究,7.3%的(116篇)为案例研究,6.2%的(98篇)是截面或相关分析,仅有1.1%的论文(18篇)为受控实地实验或实验室分析。

      吴训等比较了中国台湾和大陆公共管理期刊论文的方法使用状况,发现大陆在使用各类实证研究方法方面落后较多。在其统计的1998-2008年间,高达90%的大陆论文没有使用任何正式的研究方法,而台湾的比例则为10%,两者刚好颠倒过来了。与此同时,大陆高达78.2%的论文没有使用任何数据,而台湾的比例为41.8%。他们将研究方法分为实证分析、历史研究、描述性研究、逻辑分析、行动研究和其他方法,可能实验法是属于“其他方法”,而其比例在大陆和台湾分别占2.8%和11.3%。

      由此可见,中国公共管理研究极少采用规范的经验研究方法,量化研究使用不足,更遑论实验法。综上所述,我们可以判断,国内外公共管理研究都很少应用实验法。

      (三)兄弟学科的实验研究

      如果单就公共管理研究较少采用实验法还难以说明问题的话,那么我们可以看看与本学科关系紧密的经济学、政治学和管理学应用实验法的情况。与公共管理学科紧密相关的其他兄弟学科(如经济学、管理学、政治学等)在过去对实验法的使用并不擅长,但现在却发生了明显的改观。这些学科的研究者们都在积极使用实验法,并逐步确立实验法的地位。

      传统经济学研究主要建立在数学模型(如博弈论)和计量经济学,与实验法几乎无缘,但1960年代以来以,Daniel Kahneman和Vernon L.Smith为代表的一批学者却将之引入经济学殿堂。2002年,他俩获得诺贝尔经济学奖,为实验研究方法在经济学中奠定了坚实的地位,而他们的努力也催生了大批学者利用实验法研究经济问题,并创立了实验经济学这门新兴学科。如今,主流经济学界已接受实验研究的贡献,经济学实验研究也越来越多。因此,虽然我们没有找到实验法在经济研究中的应用比例,但它所受到的重视程度和越来越多研究的出现,表明“经济学帝国主义”在不断侵入其他领域的同时,也在接受包括心理实验法在内的其他学科的融合。

      与公共管理学一样,政治学对实验法的应用也远远不够。对多份政治科学期刊的分析显示,研究方法存在明显的不平衡:统计方法在政治学居主导地位(约占60%),正式模型较稳定(约占20%),案例研究日渐萎缩(约占30%)。与此同时,综合运用多种方法成为趋势,而实验法越来越受到推崇。

      在公共舆论、选举参与和投票等领域,实验法的应用越来越多。特别是在2009年诺贝尔经济学奖得主Elinor Ostrom等开创的公共选择研究对实验法等多元研究方法极为推崇,为实验政治学的拓展提供了动力。因此,正如Kinder和Palfrey所言:“显然,实验将不会统领政治研究,它也不应如此。然而,虽然纯粹的实验政治学既非现实也不必要,但建立在多种经验方法——实验居于其中的重要地位——既是我们力所能及的,又是我们值得追求的。”此外,鉴于其低成本、可重复和预测性强,越来越多的政治学者开始采用实验室仿真进行政策模拟研究,考察战争、冲突和博弈等复杂议题。

      Scandura与Williams对3份顶尖期刊在1985-1987年(347篇)和1995-1997年(385篇)发表论文的研究方法进行评述时发现,管理研究采用最多的是实地调查(50%~70%),其次是正式理论/文献综述(20%左右)。1985-1987年的实验室实验、实验室仿真和实地实验的比例分别为:10.7%、0.6%和3.9,实验法总计15.2%;而1995-1997年的比例分别为4.9%(与此前相比显著降低)、1.7%和2.2%,实验法总计8.8%。由此可见,管理研究应用实验法的比例在10%左右,总体高于公共管理研究。

      对《管理学会期刊》(Academy of Management Journal,AMJ)在2000-2009年间发表的237篇微观组织行为研究的分析显示,15%的研究采用实验室实验,且最近10年一直相对稳定。但同样值得注意的是,AMJ在2007-2009年的实验研究论文投稿率和录用率均为6%,表明管理实验研究总体来说仍然偏少。

      上述比较显示,经济学、政治学、管理学等兄弟学科使用实验法的热情与日俱增。同它们相比,国内外公共管理研究都还有很大的差距。如果同公共管理学科紧密相关的其他学科可以且在积极使用实验法的话,那么有理由相信公共管理学科也有类似的潜质。

      四、公共管理实验研究的障碍与进展

      (一)公共管理实验研究面临的障碍

      对于一些公共管理研究人员而言,实验室实验就像电子显微镜一样,很难在其研究中应用。对实验室实验的误解使公共管理研究人员一想到实验室实验,就将其与比格犬、信鸽或迷宫中的白鼠联系在一起。目前国际公共管理学科采用实验研究方法的论文还很少。为推动公共管理研究采用实验法,Journal of Public Administration Research and Theory曾在1992年不惜使用两期版面出版由Bozeman主编的专辑“公共政策与管理中的实验设计”,专门探讨实验研究,但此后采用实验法的研究仍然凤毛麟角。

      如果追溯实验法在公共管理研究中的缺位,需要回顾Herbert A.Simon与Dwight Waldo两位巨擘对公共管理学科传统的影响,以及二者的分野对后来公共管理研究走向的影响。Waldo强调公共管理的价值取向,推崇规范研究,回答“应该是什么”的问题;Simon则主张对公共管理进行科学研究,回答“是什么”和“为什么”的问题。我们检索的结果也显示,公共管理实验研究最早的论文之一就是由Simon等完成的。公共管理学科在二人之后的发展主要延循Waldo的思想足迹,但Simon的影响却一直没有消遁,甚至表现出后来居上的态势。在今天来看,两者的影响此消彼长,并没有分出胜负,反倒使公共管理学科呈现出多元化的趋势。Meier作为二人的学生对这段历史进行了回顾,主张重回公共管理学的科学与实证传统,而实验法显然是其中不可或缺的一环。

      Bozeman和Scott(1992)对公共政策与管理研究中的实验室实验进行了综述,总结了公共管理实验研究面临的障碍。两人认为研究人员之所以不愿意采用实验室实验,原因在于如下方面:

      (1)公共政策与管理是一门应用学科,研究的可信度(credibility)甚至比严谨性和客观性更为重要,因此研究人员宁愿为了获得研究结论的可推广性而牺牲研究的严谨性与内部效度。

      (2)与实验室实验相比,研究人员自然会偏好自然实验和准实验,因为后者既实现了实验的严谨性及因果关系的验证,又满足了研究的现实关联性。

      (3)由于上述原因,公共管理研究没有实验的传统,公共管理研究者也缺少足够的实验法训练。在公共政策与管理学科的研究生培养中缺少实验法等量化研究方法的训练,由此阻碍了实验法在公共政策与管理领域的应用。

      (4)公共政策与管理研究人员倾向于将团队、组织和政策作为分析单元,而很少将个人作为分析单元,即关注宏观而非微观层面的研究。对个人的实验研究较为容易,而对团队和组织的实验研究则很难,技术难度也阻碍了研究人员使用实验室实验。

      Margetts也指出,强调现实主义和实际解决方案、关注组织而非个人,以及伦理和设施等方面的挑战,可能是阻碍实验法在公共管理研究中应用的主要障碍。但是,她也强调,这些所谓的“障碍”并非不可逾越,实际上许多都已或多或少被消解。公共管理研究人员不应以这些障碍为借口而逃避使用和接受实验法,而应同其他学科一道,推动实验法的更广泛使用。

      (二)公共管理实验研究的进展

      为了更为系统地评估公共管理研究对实验法的应用及与其他学科的差异,我们在ISI Web of Science以“experiment”为标题或主题进行检索。在社会科学引文指数(SSCI)源期刊中,1900年至今共获得20300项纪录,其中论文14014篇。对论文进行学科精炼,发现论文数量最多的5个学科或研究方向依次是:实验心理学(3466篇)、商业经济学(3391篇)、教育学(1474篇)、政治科学和法学(960篇)和其他学科(619篇)。

      公共管理论文为348篇,排名第16位,占2.48%。尽管由于公共管理学源期刊数量较少(46份),实验研究论文也相应较少,但从绝对数量和占比来看公共管理实验研究仍然屈指可数,远低于其他相关学科的水平。从年份分布来看,2010年以前都未超过10篇,但此后则均超过10篇。虽然各年波动较大,但2000年以来实验论文数量表现出平稳递增的趋势(如图1所示)。

      

      图1 公共管理实验研究论文(1990-2015)

      资料来源:作者在Web of Science检索的结果。

      我们进一步对公共管理源期刊的实验论文进行分析,发现发表实验论文最多的期刊依次是:Journal of Policy Analysis and Management(19篇)、PAR(16篇)和Public Administration(13篇),其他均低于10篇。从作者所属的国家或地区构成来看,美国最多(占43.1%),其次是英国(10.9%)、加拿大(5.2%),其他都低于5%。来自中国大陆的仅有8篇实验论文,占2.3%,表明中国公共管理学者发表的实验论文很少。

      鉴于公共管理实践和研究中通常都将“实验”用于政策实验、试点或试验,所以真正使用实验法的论文可能更少。我们进一步的分析显示,真正使用实验法的论文不超过100篇。多数研究为公共政策评估或计划/项目评估,采用自然实验考察特定政策的效应和影响。例如,对财政转移支付、人口迁移、经济激励等政策的效果进行评估,将政策干预对象与控制组进行比较而识别政策效应。一些研究严格按照实验设计要求进行随机分组和政策干预效应估计,但由于许多政策业已实施或未采取随机分组,许多研究都是事后进行的自然实验,属于准实验,通常难以剔除非实验因素的干扰。为此,有学者提出需要改进实验设计方法,以便对政策效应进行更加稳健的估计。

      就公共管理实验室实验研究而言,具有以下特点。从研究主题来看,公共管理实验室实验关注决策、计算机应用、公共服务动机和公私部门差异等问题,招募被试进行决策加以研究。相关的研究问题包括:政府信息公开与透明对政府信任的影响;政府绩效信息使用对公民偏好、预算决策、管理焦点等的影响;通知方式对公众参与率的影响;电子政府对政府响应力的影响,等等。由此可见,这些研究都是关注个人的行为,对于团队乃至组织的行为还没有触及。从研究被试来看,公共管理实验室实验的被试主要是学生,但也有一些研究采用MPA等具有公共管理实践经验的研究生或公务员进行研究,以增强实验的真实感和现实性。也有一些研究采用实验室仿真,比如对气候变化进行研究,但公共管理与政策的环境复杂且难以模拟,其应用还较为有限。

      (三)公共管理实验研究的前景

      人们常常批评实验室实验:存在“被试效应”;雇用志愿者和有局限性的被试;缺乏外部效度;实验场景的现实性不足,等等。但其他研究方法也同样顾此失彼,在提高外部效度的同时,可能降低了内部效度。推崇实验法,并非让研究人员成为方法论创新的冒险者,而是成为方法论尝试的探索者。虽然实验室实验可能具有挑战性,但它却富有趣味。因此,实验法并非万灵药,但也不是一无是处,我们应该辩证地审视实验法在公共管理学科中应用的前景。

      以公共管理领域较为热点的研究领域——公共服务动机为例,Wright与Grant指出,尽管许多国家的研究都证实了公私部门职员的公共服务动机差异以及公共服务动机对工作绩效的影响,但由于多数研究采用问卷调查获取的截面数据,存在严重的内部效度问题,且因为缺乏情境真实感而很难说服实践者。他们建议采用实地实验或准实验,考察特定因素对公共服务动机的变化,以及公共服务动机对其他行为和结果的影响。

      实际上,公共管理学者“妖魔化”实验法,主要是针对实验室实验。但是,实验室实验在公共管理研究中很少被使用,并不意味着它没有价值。在帮助公共管理者理解决策和动机等方面,实验室实验有很大的价值。尽管实验室实验被诟病缺乏外部效度,对于公共管理者而言可能没有看得见摸得着的实在感和实用性,但是就知识积累和学科发展而言,它的价值却是不容忽视的。

      Bozeman与Scott指出,与其他领域的实验研究相比,公共政策与管理实验也采用类似的做法,例如:雇用学生作为被试,为增加被试参与实验而提供激励,模拟现实情景,等等。但他们认为公共政策与管理领域的实验室实验不应亦步亦趋地遵循心理学研究,而应该寻求与众不同的路径。对此,他们提出了如下建议:(1)与心理学实验相比,为求现实关联性,公共政策与管理的实验场景应该更加符合现实情况,虽然这样可能导致实验设计更为复杂,实验效应反而不如心理实验。(2)实验室实验可能适用于个人和特别小组,对于真实的团队和组织则不适宜。(3)与其采用心理实验常用的欺骗被试和操控手段,角色扮演可能是公共政策与管理领域实验研究的首选。(4)为了增强实验的现实关联性,可以邀请决策者和公共管理人员参加实验,并可以比较学生被试与实践者被试在实验表现方面的异同。(5)将实验室实验法与其他实地研究方法综合使用,有利于获得更为稳健的研究结论。

      五、中国公共管理实验研究的机遇与挑战

      (一)中国公共管理实验研究的进展

      如果我们将视野推开来,去审视公共管理与政策相关的实验法研究,就会发现在中国情境下的实验研究已越来越多。在中国情境下开展的大量自然实验和准实验,都为我们提供了非常有趣的启示。围绕各类公共政策与管理改革,许多学者进行了准实验和自然实验研究。比如,政府推动节假日小客车免费通行,有学者就此研究了该政策是否导致了空气污染的攀升。有学者以重庆市为例,研究了目标责任考核实施以后,区县政府是否对空气污染数据造假以逃避问责压力。此外,有学者对河南省的省直管县改革进行评估,考察其对教育财政支出的影响。最近,笔者使用自然实验法研究了广东省大部门制改革对区县政府绩效的影响。

      Cameron等(2013)研究了中国独生子女政策的行为影响,以独生子女政策实施前出生(1976、1978)和实施后出生(1980、1983)的两个人群为研究对象,在实验室进行各种行为实验,发现独生子女是“小皇帝”,在信任、利他主义、冒险精神和竞争力等方面都比非独生子女表现更差。

      围绕一些政治经济事件,学者们考察了它们对各类社会发展的影响。比如,有学者对北京奥运会与空气质量之间的关系进行研究,发现“赛事政治”导致的空气质量改善是不可持续的。还有学者以“两会”来研究政治经济周期与矿难的关系,发现中国各地的“两会”召开期间矿难明显减少。有学者以“秦岭—淮河”确定的冬季供暖分割线,研究南北居民的预期寿命差异。还有学者验证了大米理论,发现南北文化差异导致了合作意愿的不同。

      针对自然发生的灾害或灾难,学者们开展了许多研究,以评估它们的经济社会影响。对于1959-1961年的大饥荒,一些学者追溯了它产生的长期人口健康影响。对于2008年的汶川地震,学者们考察了它对企业捐赠的影响。

      与此同时,在中国情境下开展的实地实验和调查实验也越来越多。Distelhorst和Hou(2013)的实地实验研究了中国地方政府对居民诉求政治响应的种族歧视。他们使用“神秘客”的方式,化名给各地市长电子邮箱写信了解“低保”政策。结果发现,普通汉族人的名字如李俊德、张朝阳、王志宏等的回复率可以达到43.8%,而穆斯林姓名如巴拉提、热合曼、艾尔肯等却只有29.7%,两者相差14.2%并呈统计显著差异。与之相关的研究,还包括群体事件的威胁对地方政府响应力的影响研究。

      (二)中国公共管理实验研究的机遇

      实际上,在中国情境下开展公共管理研究,既有得天独厚的研究优势,也有无穷无尽的话题可资研究。随着循证政策、绩效问责与第三方项目评估的日益兴盛,实地实验的春天可能来临。当越来越多的公共项目或计划需要后评估,当越来越多的政策出台后需要追责或回溯时,实验研究提供了绝佳的方法,也为学者们开展此类研究提供了场域。

      与此同时,中国的体制优势也为实验法的应用提供了条件。中国每天都在进行各种项目试点、政策实验与管理创新,它们都为自然实验、实地实验与准实验的开展提供了难得的场景和机遇。例如,中国各地各级和各类政府部门每天都在开展大量管理试点和政策实验,这些都为公共管理研究者们提供了难得的机会。与一个成熟而定型的发达国家相比,身处快速转轨和发展时期的中国有更多的变化,这为公共管理实验研究创造了难得机遇。

      谁有能力做实验?朱苏力认为,公安局长有权去考核派出所所长的报警响应力。比如,他们可以假装报警,然后看110热线的反应速度。相对来说,普通学者没有政府官员的权力,无法开展这种实地实验。此外,缺少资金支持的学者很难有财力开展大规模的实地实验。比如,携程网的创建者梁建章开展实地实验,研究在家办公对热线服务人员工作效率的影响,而这项研究花费不菲。但是,通过与实践者的合作,并说服他们这些实验的价值与功用,就可能赢得更多的实验研究机会。有时候,学者可能需要一点点运气,以把握这些稍纵即逝的事件和政策等外生变量。

      实际上,许多实验研究并没有人们想象的那么困难或无法执行。比如,厦门大学新闻传播学院2013级广告系硕士生就开展了“语言的力量——凭借公益广告语的力量改变市民及游客的不文明行为”的实验研究,在控制了其他变量以后,观察不同形式和内容的宣传标语对横穿马路、践踏草坪和乱丢垃圾等不文明行为是否产生了阻止效应。此类实验研究发现对于城市管理而言具有很强的启示价值,因为这种“轻推”(nudge)的成本最低,但效果却不容忽视。

      (三)中国公共管理实验研究的挑战

      目前,国内公共管理实验研究还较少使用,尽管最近已有一些学者在身体力行地推动其应用。然而,国内公共管理学界对实验室实验还有较多的误解和质疑,这在一定程度上影响了实验研究的推广应用。例如,《管理世界》的征稿启事对实验研究就做了明确说明,虽然没有关闭实验研究论文发表的大门,但却对学生被试的实验做了限制。

      与此同时,许多学者仍然认为实验法只是在实验室进行的,而并未意识到其身边发生的大量改革和试点都是可以纳入实验研究的。推进实验室实验法在公共管理学科中的应用,特别需要转变研究人员的固有观念。对于理工科背景的高校,在公共管理研究中使用实验法较容易接受;而文科背景的高校则由于规范研究传统较重,还需要较大程度的观念转变。由此可见,增加学科交叉和融合,促进文理科的交流和互动,对于推动实验法的普及和应用大有裨益。

      实验法要求科学的实验设计,需要专门的方法论训练,而这是目前公共管理学科所普遍缺乏的。采取公共管理实验研究研讨会、工作坊或研究方法培训班等形式推动实验研究方法在公共管理学科中的应用,或许是其中一个重要努力方向。更为重要的是在各级学科课程体系中设置实验法相关的课程,或者采用实验法进行教学。

      此外,建立专门的实验室是推动实验室实验的重要举措。目前中国多所高校积极推动文科实验室建设,并探索了公共管理教学实验室的建设。未来亟待将公共管理研究实验室建设提上议事日程,作为学科发展的重要策略。另外,引进和开发适合特定公共管理问题的实验软件,也是推动实验法在公共管理学科中应用的关键步骤。

      值得注意的是,公共管理实验研究不能“大干快上”,而且特别需要注意防止违背研究伦理。由于实验研究对被试或研究参与者的侵入程度和干扰性较强,因此需要慎之又慎。比如,实验中对研究对象采取“欺骗”等伎俩可能是不可或缺的,但应在实验后予以告知,以避免研究对象产生困惑。再如,许多公共政策实验不能侵害研究参与者的切身利益,否则将可能导致非常强烈的道德困境。由此可见,借鉴其他学科的实验研究伦理并发展公共管理特有的研究伦理规范,可能也是未来实验研究发展所要解决的问题之一。

      作为一种重要的科学研究方法,公共管理学科有必要更为充分地包容和利用实验法,使之为公共管理研究服务。正如Bozeman与Scott在结论中指出的那样:

      “总而言之,我们认为实验室实验在公共政策与管理研究中大有前途。这一论断并非建立在目前状况的基础之上。虽然已有的少数公共政策与管理实验饶有兴趣而令人鼓舞,但这些研究数量太少,议题过于分散,很难说形成了一个研究传统。我们对实验室实验前景的信心并非来自其成就,而是来自对它的需求。公共政策与管理研究在累积性、严谨性和理论性方面常常欠缺,实验法在改善这些方面大有前途。”

      不难看出,他们的论断直至今日仍然振聋发聩,值得深思。时隔10年,Margetts也表达了类似的忧虑,并大声疾呼公共管理实验研究的时代已经到来。

      总体来说,公共管理领域的研究对实验法的使用率很低。尽管公共管理实验研究在缓慢增长,但是与其他兄弟学科领域(如心理学、政治学、经济学和管理学)相比,公共管理远远落后。可喜的是,越来越多的公共管理学者开始与心理学、经济学和政治学等学科领域的同行合作,针对公共管理问题开展实验研究。可以说,公共管理实验研究方法的应用前景非常广泛。

      随着学者们的认识越来越明晰,公共管理实验研究也日益增多。2015年的International Public Management Journal发表了一期专刊,共有10篇实验研究论文。此外,PAR也在组织一期专刊,以探讨实验法在公共管理研究中的使用。有趣的是,与美国主流的调查研究相比,欧洲学者在实验法的引入方面非常活跃。与此同时,实验研究也在催生越来越多的合作研究,因为公共管理学科缺少对实验法的训练,而同心理学等其他学科的学者合作,就成为自然而然的选择。

      实际上,上述许多实验研究都可以成为公共管理学者的研究话题,但却被其他学科的研究人员捷足先登。如果公共管理学者不能够开展具有竞争性的实验研究,那么被其他学科的人“抢饭碗”是迟早的事情。换句话说,公共管理学者的确需要“练好内功”并有“看家本领”,否则只能眼睁睁地看着自己的“领地”被其他强势学科不断蚕食和侵吞。

标签:;  ;  ;  ;  ;  ;  ;  ;  

如何研究公共管理实验:方法论述评_实验法论文
下载Doc文档

猜你喜欢