实验方法在公共政策研究中的应用_实验设计论文

实验方法在公共政策研究中的应用,本文主要内容关键词为:公共政策论文,方法论文,此文献不代表本站观点,内容供学术参考,文章仅供参考阅读下载。

      对于转型期的中国而言,加强公共政策分析、推进公共管理理论创新是当代国家治理面临的一个重要课题。从20世纪80年代中期恢复对公共政策与公共管理领域的教学与研究工作以来,公共政策与管理学者已经在推动该学科发展方面取得了较大的进步。随着经济学、政治学和社会学等学科研究方法的不断创新,公共政策与管理研究逐渐处于落后的地位;而当前倡导实证主义的学术传统也加剧了其落后的局面(何艳玲,2007;和经纬,2008)。在这样的困境中,中国的公共政策与管理研究该如何进行反思与批评,并找到推动学科发展的方向呢?

      本文认为,制约中国公共政策实证研究发展的最大障碍在于数据来源以及因果推论检证这两项问题,而实验方法可以有效地解决这两大难题。因此,本文接下来将从公共政策的实证研究困境入手,讨论应用实验方法的必要性;然后分析实验方法的优势与劣势,以及怎样扬长避短地将实验方法用于公共政策研究;接下来,本文以一项有关纳税遵从实验为例,展示如何通过实验设计来实现公共政策实验研究的有效性。研究表明,加强控制和重复实验,是保障公共政策实验研究有效性最重要的手段,但研究者需要根据具体的研究问题来设计相应的实验方案。此外,透过该项实验,本文还继续分析了用实验方法进行公共政策研究的可行性以及前景。

      二、公共政策的实证研究困境

      中国公共政策相关研究正在走向实证主义的取向,基于现实的经验研究越来越普遍(吴晓林、郭慧玲,2014)。一旦涉及经验研究,其成败、价值往往取决于数据的来源与质量。当前中国公共政策现有研究,最常使用的数据来源是采用政府或者所属研究机构的统计数据。由于统计数据是通过层层上报,内容未必可靠,再加上统计口径不一,数据质量经常备受质疑(赵学刚等,2011)。但是,公共政策研究受数据影响的另一个重要方面却是缺乏微观数据,从而就很难从微观层面考察政策的效果与影响。

      既然不易取得政府统计的二手数据,学者能否自行搜集一手数据进行公共政策研究?这也是困难重重。第一,中国地域广袤、人口众多,系统调研必须组建团队,这将耗费巨大;第二,有关公共政策效果、政府治理等领域属于比较敏感的话题,不易通过问卷进行探究;第三,中国地区间差异较大、社会变迁又迅速,不易满足概念测量上信度和效度的要求。因此,对于一般学者而言,组织调查并不容易,调查也非政策研究主要的数据来源(耿曙、陈玮,2013)。

      近年来,由于计算机软件的迅速普及,使得程序模拟/仿真(simulation)快速推广,不少学者也通过该方法获取微观数据。然而,模拟仿真数据来源于事前设定的行为假设和行为参数,并不是对现实状况的客观观察,也不符合经验研究的要求。由于人的行为难以捉摸,不同于物理现象或机器程序,不会一成不变的“按理出牌”,从这个角度看,模拟/仿真并非真正的经验研究,无法帮助因果验证与解释,对于公共政策的经验研究依然帮助不大。

      上述几种公共政策研究的数据渠道,都存在种种困难。本文作者建议将希望寄托于实验方法,作为进行公共政策实证研究的利器。实验方法本来就是检测科学假说、进行因果推论最常见的方法,现已广泛运用于自然科学以及诸如心理学、经济学、政治学等社会科学领域(Falk and Heckman,2009;黄琪轩,2011)。因此,将实验方法应用于公共政策研究,这将是未来公共政策研究发展的重要趋势(马亮,2015)。

      三、作为研究方法的实验:优势与难题

      与其他数据搜集方法相比,实验方法具有三项明显的优势。首先,实验方法能够进行有效控制,剔除干扰变量的影响,得到清晰的因果关系。其次,从搜集数据的成本来讲,实验方法比大规模的调查访问更加经济实惠,成本更小。并且,较低成本更容易帮助学者通过重复实验(replicable),复核既有的研究发现。最后,尤其在中国社会中,小范围的“人际信任”一般强于广泛的“社会信任”(Fukuyama,1995),这使得实验方法比调查研究更具有优势,因为小范围的实验方法往往更有助于减少测量误差,强化测量的信度与效度。总而言之,通过实验方法可以获得大量经济而可靠的微观数据,这些优势在中国往往更加明显。

      然而,与实验方法越来越受到各个学科青睐相比,其目前在公共政策与管理学领域的应用却是非常有限的(马亮,2015)。一方面,因为公共政策与管理这门应用学科更看重研究结论的可推广性,而在这一方面,实验研究还备受争议;另一方面,公共政策与管理研究除了关注个体外,还关注团队、组织和政策等宏观的研究对象,这也限制了实验方法的应用和推广。不过,值得庆幸的是,实验方法的优势也逐渐在公共政策的研究中得以体现——这既体现在实验方法用于研究具体公共政策、公共治理话题,还体现在公共管理学者们进一步加深了对实验方法的讨论(周佳、景怀斌,2015;余向荣,2006);而推广实验方法在公共管理研究中的应用已逐渐得到学界的认同。

      本文认为,除此之外,将实验方法在公共政策与管理研究中进行推广,还别具优势:其一,实验方法可以为政策制定者提供理论和实证依据,这一点早已成为学术界的共识。2012年诺贝尔经济学奖获得者Roth总结了实验方法的三大用途,除了“与理论家对话”“寻找事实”之外,实验方法还能“在王子耳边私语”,促进政策制定者与研究者的交流(Druckman et al.,2006)。其二,实验方法可以从微观的角度来考察公共政策产生影响的作用机制,而这正是现有研究所亟须突破的方向之一,因为对于任何宏观政策的理解,都须归根于解释个体的行为与动机。

      尽管实验方法有诸多优点,但要成功应用,还需要通过巧妙的实验设计来实现研究的“内在有效性”(internal validity)和“外在有效性”(external validity)(Campbell and Stanley,1963;McDermott,2002)。其中,内在有效性是指实验设计能够有效控制干扰因素,并确认所观察到的“因变量的变化”确实可归因于“自变量的变化”,而非其他干扰因素的影响。这涉及有效的控制,避免错误的归因。通常情况下,实验过程中的随机分配可以帮助解决干扰因素对实验内在有效性的威胁,“分组和比较”则可以帮助强化实验控制。外在有效性是指来自实验室的结论能够类推到真实世界。由于缺乏代表性样本,因此实验结果能否外推,便成为饱受质疑的问题(谢宇,2012)。实现外在有效性最常见的方法是依照“平行原则”(precept parallelism)调整实验环境的各种情境,并观察其带来的影响,确认因果推论是否稳健(丹尼尔·弗里德曼、山姆·桑德,2011)。

      有关实验有效性的讨论,始终是实验方法论的核心(McDermott,2011)。大部分学者都认为,好的实验设计必须在确保内在有效性的基础上,强化研究的外在有效性,即在保证推论逻辑正确的前提下,提升研究的可推广性。这是实验设计成功的关键。然而,由于公共管理学者更加关注研究结论的现实意义与政策启示,这就要求实验环境要尽量与现实保持一致,实验对象能够尽量代表现实中的行为主体。言外之意,由于公共政策研究对实验外在有效性有较高的要求,这就进一步挑战了研究人员如何设计出同时满足内在有效和外在有效的公共政策实验研究方案(马亮,2015)。现有文献表明,田野实验是能同时实现这两个目标的最佳方法(罗俊等,2015);然而,在公共政策领域,田野实验的可操作性要远低于实验室实验,且田野实验的数据搜集仍然可能面临上述各种问题。因此,本文接下来将举例说明公共政策相关研究的实验室实验该如何设计以实现有效性。

      四、公共政策实验研究的有效性:以纳税遵从实验为例

      在公共政策研究的各议题中,税收政策受到了越来越广泛的关注(高培勇,2014)。自1978年改革开放以来,中国的税收体制经历了利改税、财政承包责任制、分税制、废除农业税、增值税转型、营改增等多次重大改革,如何评估这些税收政策的经济和社会影响,并为进一步税改方向提供建议,是当前学者和实践者都非常重视的研究问题,而评估这些税收政策的关键之处在于考察税收制度对纳税遵从的影响。因此,考察纳税遵从也是公共政策研究的一个重要部分。

      然而,与很多研究类似,有关纳税遵从的研究也受到数据质量和来源的限制(Alm,2012):(1)政府统计数据的可信程度有限,且缺乏微观的纳税行为数据;(2)搜集调研数据的成本高,几乎不可复制,话题也比较敏感;(3)虽有少量相关的实验研究,但还不够普及。现有关于中国纳税遵从的实验研究还不太多,且几乎都是实验室实验(童疆明,2008;王韬、许评,2007)。鉴于此,本文也用有关纳税行为的实验室实验作为公共政策实验研究的范例,以展示如何通过实验设计实现内在有效性和外在有效性,展示如何搜集微观行为数据来研究公共政策。①

      (一)研究问题简介

      在设计税制的过程中,政府最常用的政策工具是税率。因此,税制设计的核心问题之一,是税率与税收收入间的关系。现有研究表明:税率越高,逃税越多;但与此同时,政府是否能取得更多的税收收入,学者的研究并没有得出一致的结论(Andreoni et al.,1998)。鉴于此,本研究将通过纳税遵从实验厘清二者间的关系。

      针对纳税遵从行为的研究,其困难之处在于问题的敏感性,因此往往缺乏可靠的微观数据。同时,现实中的纳税决策受许多因素干扰,不易有效控制纳税决策背后的心理机制,而实验方法却是解决这类困难的最佳选择。本研究采用了纳税人在不同税率档次申报纳税的实验设计,以上海某高校的在校学生为实验对象,通过实验室实验来考察“税率高低”和“税收收入”的关系。在实验开始之前,实验者对实验背景与规则进行简单介绍,然后由实验对象进行纳税申报,整个过程历时约40分钟。如上文所述,该实验成败的关键在于如何实现其内在有效性与外在有效性。那么,这样的实验该如何设计?

      (二)实验设计如何确保内在有效性

      要确保推论的内在有效性,实验设计的关键在于控制实验过程中的干扰因素,例如实验对象的个体特征以及包括“竞争假说”的其他可能干扰实验结果的因素。为控制实验对象个体特征的影响,本实验采用了“同被试实验设计”(Druckman et al.,2011);为控制其他可能的干扰因素,本实验采用“分组与比较”的方法进行控制。整个实验的基本设置以及实验对象基本情况详见表1。具体做法如下。

      

      (1)同被试实验设计:实验中,所有参与者的税前收入给定不变,均假定为10万元,然后考察同一个参与者在不同税率(分别为:3%、10%、17%、25%、33%、40%、50%)时的纳税申报情况。为了控制同被试实验设计的顺序效应,以及税率高低变化给实验对象造成的不同得失感受,本实验将税率变化的方式分为升序、降序与随机三种情况。实验对象将面临哪种税率顺序,由事前随机分配决定。

      (2)实验激励:经济学家常采用“金钱/物质激励”对实验对象的行为动机进行引导与控制,而心理学实验却反对该做法,认为金钱激励会干扰实验者观察研究者感兴趣的心理机制,相反,心理学家为了保证实验对象不受外在激励影响,甚至会向实验对象隐瞒真实的实验目的(Dickson,2011)。由于纳税决策既涉及物质激励,又涉及其他心理机制,因此本实验仅部分参与者会得到金钱补偿。作者认为,由于该实验并不涉及一些有干扰性的敏感问题,不需要向实验对象隐瞒实验目的。

      (3)竞争假说:经济学文献对纳税遵从的解释都源于“稽查/惩罚”模型(即A-S模型)(Allingham and Sandmo,1972),除了利用同被试实验设计的优势之外,本文还设置了两种不同的“稽查/惩罚”程度以加强控制。它们分别为:参考现实、告知稽查概率(1%)和惩罚比例(50%~200%),其目的是有效控制并考察其他可能的解释。

      (4)其余干扰因素:为了观察是否存在学习效应,本实验对其中部分实验对象进行了重复实验;为了考查个人的纳税申报是否受到他人的影响,本实验分两轮进行,第一轮为独立决策,第二轮是将其他人的平均纳税申报情况告知实验对象后的相对决策。

      (三)实验设计如何确保外在有效性

      当然,实验的外在有效性也是本实验以及公共政策实验研究所关注的重要问题之一。要确保推论的外在有效性,实验设计的关键在于实验对象能够尽量代表现实中的行为主体,实验环境能够尽可能模拟现实世界。对此,本实验通过两种手段来提高研究的外在有效性:其一,参照平行法则,进行重复实验;其二,在每次实验开始前,充分地引导实验对象进入纳税决策的经济、社会、文化环境。具体做法如下。

      1.重复实验

      增加实验对象、在不同的环境中进行重复实验,是提高实验外在有效性最重要的手段。首先,大学生作为实验对象会因为没有真实(个人所得税)纳税经验而受到质疑②,因此,本实验将有工作和纳税经验的MPA硕士研究生也纳入实验对象,让有公共管理实践经验者也参与到实验中。其次,本科生受阅历、认知等影响,会比其他人群更容易遵从既有规则,于是本实验将普通研究生群体也纳入实验对象,还可以将普通研究生群体与MPA研究生群体进行对比。最后,考虑到具有财税相关专业知识可能会影响纳税申报,本实验还在不同专业背景的本科生中重复进行。

      2.实验环境

      除了真实物质激励、纳税经验之外,实验室的学生纳税对象对纳税环境的认知,也是影响实验外在有效性的重要因素之一。为了让学生充分了解现实中的纳税环境,在实验开始之前,实验者会引导实验对象就一些社会经济问题进行简单的讨论。例如,中国政府的收入来源有哪些?什么是宏观税负?企业需要向政府交哪些税?个人在什么情况需要申报个人所得税?这些问题,既可以增加实验对象对中国当前的税收政策、征税纳税环境的了解,还可以帮助实验对象尽快融入实验的纳税决策中。

      (四)实验结果与启示

      上述实验设计共包括13个子实验③,分三个批次(分别为实验1、实验2和实验3)于上海某高校进行。实验结果为:当税率分别为3%、10%、17%、25%、33%、40%、500%时,实验对象申报的平均收入分别为8.44、7.10、6.40、5.09、4.70、4.02、3.17万元,平均每人纳税额分别约为0.05、0.29、0.61、1.23、1.75、2.39、3.41万元。简言之,当税率升高时,纳税人逃税相应增加,但政府的税收收入也在增加。该趋势不受实验对象所面临的税率顺序(不同的得失感受)、是否给予物质激励、是否有参与类似实验的经验、所面临的稽查/惩罚水平、他人的纳税申报情况等各种因素的影响;并且,该趋势可以在不同的实验对象、不同的纳税环境中(不论是否有工作纳税经历、无论学历高低、不论是否有财税专业知识)得到复制。如图1所示,实验结果在各种情景和实验对象中的稳健性,说明了该实验设计的内在有效性和外在有效性。

      从上述纳税遵从实验案例以及实验结果可以看出,实现实验设计内在有效性最重要的手段是控制,实现外在有效性最重要的手段是重复实验。对此,传统观点认为,任何一个实验研究在此二者间要进行权衡与妥协,因为要提高内在有效性就会在一定程度上牺牲外在有效性,尤其当实验者增加案例、提高实验环境的复杂性时,实验就变得更难控制(McDermott,2011)。这对于公共政策研究者来说,无疑成为实验设计的严峻挑战。正如景怀斌(2015)所指出的,公共管理实验研究需要体现公共管理的特征,需要“从公共管理的真实社会背景中发现问题,以合法性和有效性检视公共管理活动与政策的恰当性”。这就要求公共政策与公共管理研究同时满足内在有效性和外在有效性。

      面对这样的难题,公共政策的研究者要怎么办呢?答案仍然是加强控制与重复实验。不妨仍然以本文的纳税遵从实验为例。由于现实生活中税率是法定的,要研究税率对纳税遵从的影响,实验室实验就比田野实验更具有操作性;并且比较同一纳税人在不同税率档次的申报情况(“同被试设计”)比考察不同纳税人在不同税率档次的纳税申报(“跨被试设计”)更为有效。进一步地,尽管研究的自变量是税率,但从整体上来看,本实验在设计之初就将很多干扰因素考虑在内;同时,同被试实验设计也更方便将这些干扰因素纳入实验控制中。在实现外在有效性方面,本实验也做了预算约束内的最大努力:实验对象总计超过500名,实验重复进行13次。同时,本实验还充分结合了当前中国经济社会的纳税遵从现状,来帮助创造实验背景和招募实验对象。这些尝试都帮助研究搜集到分析和诠释实验结果所需的有效数据,还能从多方面考察研究发现的稳健性。

      当然,本实验设计也还有待提升改进之处,本实验的做法也并不是所有实验研究都一体适用的。例如,有些研究问题采用“跨被试实验设计”也许会更有效,而“跨被试设计”需要更多元的实验对象的招募,在实验配组过程中也更强调随机分配。再例如,若是研究问题涉及多个行为主体的互动,那么实验设计中还需要考虑各种角色的分配问题。然而,不管实验设计如何机动调整,其最关键的任务仍然是尽量实现内在与外在有效性。因此,任何研究都一样,都经常在内在与外在有效性间寻求一个均衡。唯有通过巧妙设计,才能善用实验方法,帮助公共政策研究克服数据来源与因果论检证两项难题。毕竟,如Druckman和Lupia(2006)所言,是研究框架和研究环境定义了一门学科,而非研究方法。

      

      五、实验方法的前景

      从研究方法的选择上来看,在税收行为以及公共政策研究中运用实验,在国外早已屡见不鲜,而在目前中国学术界,多数研究仍采用耗费巨大而且程序可疑的社会调查。正如前文所述,实验方法在中国别具优势:其一,它可以获得质量较高的微观数据用于观察个体行为,而且相较大规模的抽样调查,实验方法更简便易行,成本更低。其二,实验情境能够较好控制各类干扰因素,也便于将实验过程在类似情景、不同的实验对象中进行复制,以确保实验内在有效性和外在有效性,为社会科学理论提供更为可靠的检测方法。上文的纳税遵从实验,为实验方法应用在中国公共政策研究中提供了一个范例。该实验表明,加强控制与重复实验,是确保实验研究内在有效性和外在有效性最关键的手段。这一点,是公共政策实验研究与其他领域的实验研究需要共同遵守的设计原则。

      当然,从方法论的角度来看,在公共政策与公共管理研究中推广实验方法,也有很多值得进一步讨论甚至亟须解决的问题。首先,公共政策与管理研究中的行为主体,其行为动机与传统的“经济人”预设有着较大区别,那么该如何在实验室中,通过类似金钱激励的方式,来引导符合公共管理学科特征的动机与偏好?其次,公共政策与管理的研究对象还包括组织、团体,甚至包括国家,以及它们之间的互动,那么该如何将这些非微观的行为主体也纳入实验设计进行研究?最后,也是本文所重点强调的,如何权衡公共政策与管理研究的实验内在有效性和外在有效性之间的关系?对此,目前学界还没有较多的公开讨论与一致的结论。对于公共政策实验研究,是否存在一些共通的原则帮助研究者权衡二者关系,或者要视具体研究问题而定,这仍然值得公共管理学者们进行深入讨论和不断探索。虽然目前就公共政策与管理实验研究的方法论讨论不多,但毋庸置疑,实验方法的优势将会逐渐得到认可与运用,今后会有更多的实验研究考察公共政策与公共管理问题。那么,有关其方法论的研究,也势必应当先行一步。

      ①该范例来自于余莎等人发表的《对启示发展中国家如何有效征税的一项实验研究》(2015),因此,对于具体研究问题的背景介绍、文献综述以及理论诠释等,都参见该文。与之不同的是,本文仅借用其实验设计和数据结果来详细展示如何用实验方法研究一项公共政策。

      ②实际上,对于学生实验对象以及其他便利样本做实验被试,是否真正带来因果推论的问题,学术界仍然有激烈的辩论。但总体而言,相关批评比较笼统,并没有举证或系统论证学生与便利样本的本质问题何在。对此,参见Druckman & Kam(2011)的讨论和统计分析。

      ③其中,实验1和实验2分别只包括1个子实验,实验3包括了11个子实验,每个子实验都有3A、3B和3C这三种实验设置。

标签:;  ;  ;  ;  

实验方法在公共政策研究中的应用_实验设计论文
下载Doc文档

猜你喜欢