田野实验:概念、方法与政治学研究
内容提要
田野实验是社会科学研究中的重要研究方法,虽然起步较晚,但如今在国外被广泛运用于经济学、社会学乃至政治学各领域。本文首先对田野实验的概念和发展历史进行了总体介绍,然后通过对政治学田野实验研究成果的综述,对田野实验的具体操作、注意事项、研究议题等几方面进行较为详细地介绍。最后部分则分析该研究方法的优势与缺陷以及进一步研究的方向,并指出田野实验对政治学特别是中国政治学研究中因果关系的识别具有重大意义。
田野实验(或称为实地实验、现场实验)结合了田野调查(fieldwork,field research)和实验研究两种社会科学研究的传统,在社会科学一系列领域中得到了广泛的应用。其中,田野调查方法通常被定义为观察者对研究对象进行一段时间地专注观察,甚至在观察对象的生活环境中进行互动。在之前的研究中,政治学家多利用田野调查法对政治行为、政治过程、政治制度等展开事实性的研究,而实验研究主要关注个人的态度与行为,也是重要的研究方法之一。田野实验结合了两种研究方法的优点,成为社会科学研究新兴的研究方法。
田野实验,不仅广泛存在于经济学、人类学、心理学、传播学等领域,近年来也被大量运用于政治学研究中。改革开放以来,中国政治学研究取得了长足进步,然而各种实证研究,特别是采用量化方法的研究仍然较为匮乏。因此,田野实验作为“他山之石”,对中国的政治学研究具有诸多的意义。基于这一现状,本文通过对国外运用田野实验方法进行政治学研究的主流文献进行梳理和综述,初步介绍田野实验研究方法的发展历史、操作、存在的问题等相关内容,并且讨论其在中国政治学中的应用。
一、田野实验: 概念与历史
社会科学研究最核心的问题是对因果关系的分析,而实验研究方法被认为是最佳的分析因果关系的社会科学研究方法。从定义而言,实验研究是为了发现因果关系而操纵某个或某些变量而保持另外部分变量数值的恒定。
与其他研究方法相比,实验研究为分析因果关系提供了“反事实框架”。根据沙迪什(Shadish)等人的界定,所谓反事实,就是在“因”不存在的状况下将发生的潜在结果。具体而言,受到干预的个体的反事实就是指处在未被干预状态下的潜在结果,未受到干预的个体的反事实就是当其处于被干预状态下的潜在结果。实际上,反事实是一个在某 一种状态下未被观测到的数据,是一个缺失值。然而,根据内曼(Neyman)和鲁宾(Rubin)提出的“内曼-鲁宾反事实框架”,个体在受到干预和未受到干预这两种情况下均存在潜在结果,只有在考察这两个潜在结果的情况下才能判断是否存在因果关系。因此,为了观测反事实,学者们需要进行实验的设计:或者对相同个体进行正反对比实验,或者通过随机分组得到两个分布较为均匀的群体来进行比较。总的说来,实验研究提供了受到干预和未受到干预两种情况的结果,因此能够确认变量之间的因果关系。
当然,其他方法也能提供反事实框架来分析变量之间的因果关系。例如,倾向值分析(propensity score matching)提供了统计层面的反事实框架,也就是通过将协变量纳入logistic回归等模型获取一个估计个体接受干预概率的倾向值,用于控制干预组与控制组之间的不平衡,尽量减少选择性误差。 然而,任何基于统计层面提供的反事实框架都不如基于人为干预的反事实框架。因此,从理论层面而言,实验研究方法提供的控制组和实验组的对比,优于通过倾向值分析运算的结果。
值得一提的是,田野实验具有非常悠久的历史,甚至先于社会调查、回归分析等现代政治学研究方法。田野实验最早出现在1927年,哈罗德·戈斯内尔(Harold Gonsnell)对芝加哥选民的选举行为进行了研究。然而,早期的实验缺乏随机性等实验规范,直到1935年费希尔(Fisher)提出随机化实验的重要性并展开一系列颇具影响力的工作。20世纪50年代开始,学者们对“实验”随机性的认识更为深刻,实验研究的方法也趋于完善。尽管这一进步更多地体现在心理学和实验室研究中,政治学学者们对这种现代意义上的实验(包括田野实验)的运用逐步得到发展。随着行为主义、统计学和形式化建模的流行,政治学的实验研究也逐渐兴起。80年代后,政治学实验研究的文章开始大量涌现。
目前,学术界进行的“实验”中主要包含创传统的实验室实验(laboratories)、田野实验(field experiment,实地实验)和调查实验(survey experiment)三种类型。其中,田野实验是实验者通过对研究对象进行人为干预的某种处理而进行的实验调查活动。它区别于传统实验室实验和通过电话、网络或面对面进行的调查实验,是在观察对象的生活环境中进行的。实验者通过专门设计,采用一定方式干预影响被观测者的思想行为,从而观测其他项目数值的相应变化,以证实变量之间的因果关系。而本文主要关注于田野实验的发展与应用。
事实上,从一开始人们对于“实验”一词的理解和使用就不尽相同,不仅指各种社会科学研究中的实验,还可以表示制度创新和 其他经验性测试。而直到20世纪90年代,“实验”一词才常规性地作为一种实验研究法被政治学界应用。自此,无论是科学的实验方法,还是田野实验这一研究类型,才在西方政治学领域日趋发展成熟。由于篇幅的限制,本文只讨论社会科学研究中的田野实验。
二、田野实验: 具体操作
田野实验的过程大致分为提出问题、前期准备、实验设计和操作以及最后的材料分析。前期准备主要是指研究已有的相关问题的文献资料,主要目的包括建立背景知识、了解所要研究的问题的现实价值,并且汲取前人调查研究的经验教训,让研究者更加广泛而深入地了解这一课题。
田野实验是通过人为设计的实验,来观察各个变量之间的关系。因此,对于一项田野实验研究而言,最为关键的就是实验的设计和操作,包括确定实验对象、进行随机分组、实施干预措施、收集结果信息。由于田野实验研究对象“人”和环境的复杂性,实验的设计不仅仅要考虑自变量与应变量,更应该注意设置需要控制不变的控制变量,才能更有效地检测出自变量与应变量之间的关系。最常见的设计是进行干预组(随机指定一些实验对象来接受专门的处理)和控制组(没有接受过处理的实验对象)的划分和对照。
此外,对实验组和控制组的均匀分配也是实验研究成功的重要保证。一方面,如果样本足够大,一般采用随机分配的方法对实验对象进行分组,以确保干预组与控制组之间不存在显著差别。但在随机选取样本后,有时也会人为地对部分不合要求的样本做“剔除”处理,这在做选举研究时对选民样本的筛选上表现得尤为突出。随机的方式有多种,如在莱纳、菲施霍夫、斯莫尔对公民情绪和公民性之间关系的研究中,研究者基于国家典型样本面板,从随机数法面板中抽取了所需样本,并随机将其分为两组,这属于简单随机方式。但在分组实验中使用简单随机容易出现控制组与干预组不平衡的问题,因此正如在奥尔肯对公民满意度,马莱斯基、舒勒、德兰对威权国家政治透明度,阿夫杰延科、吉利根对公民基层文化的研究中,实验者们往往会在使用简单随机分组后,通过t检验、OLS回归等方法判断两组样本之间是否在某些变量上具有平衡性。而这一问题的另外一种解决方法是直接采用分组随机或区组随机化分组,例如堀内等人研究政策信息与选举结果之间的关系时,先根据两个协变量(性别和对“你是否会参与投票”一问的答案选择)将研究对象分为六个组别,再从各个组别中按比例随机分入两个实验组和控制组。伦纳德观测庇护主义与选民行为的关系、费伦等人考察国际援助对集体行动的影响等研究中同样也选择了分组随机的方法。而当划分出特征组中仅有两个个体时,则往往采用匹配随机的方式,即每一特征组里随机定出0和1分别所代表的个体。
分配完实验组和控制组之后,实验需要选择恰当的干预措施,并且观测出变量之间的影响效果。其中受到干预的变量是自变量,由实验者跟踪、度量变化的行为则是因变量。因此,干预的选择取决于研究的议题,并且进行合理的设计。例如,伦纳德在非洲西部的贝宁地区利用该国2001年总统选举进行的一项研究庇护主义与选民行为之间关系的实验项目,实验干预对象涉及两方:竞选者和选民。实验的干预操作主要集中在选举准备阶段。根据实验要求,政党分别向干预组和控制组实施特定干预。在这一过程中有专业团队负责实验的具体执行、工作汇报,另有团队负责监察、定期巡访前者的工作状况。在这期间,竞选团队向所在实验地区的控制组村庄宣传政党原本兼具庇护性和公共性的政纲,但在该地区的两个干预组村庄分别宣传彻底庇护主义和具有完全公共性的政纲,其中政纲宣传和动员均使用实验规定的发言框架进行。第二阶段则是进一步对政纲和承诺进行解释。从而,接受庇护主义政策的地区选民增强了对参选者种族背景、地区偏好以及政治分肥意愿的感受;接受公共性政策的地区选民则感受到了参选者政治联合的意愿,以及关注全国性的社会经济和政治问题的倾向。而为了避免实验参与者之间的紧张关系,实验者也尽可能地避免了对参选者过往和品性方面的抨击。
材料分析是田野实验的最后一步,也是实验成果成形的关键一步。材料分析既包括对搜集到的数据的定量分析,又包括学者对历史文献、实验结论等进行的定性分析。在定量分析方面,政治学研究大量引入了统计计量的相关知识和技术,对实验采集到的信息进行数据化的处理。从文献来看,西方学者对实验数据最基本的处理方式是描述统计、回归分析以及一些特殊模型的引入。描述统计用于直观地罗列出研究对象及环境的参数情况,包括总量、分布、比较等;而回归分析和模型都主要应用于分析自变量与应变量之间的关系。此外,对统计结果的显著性检验、模型拟合优度等表明研究效果的数据也是数据分析中不可或缺的一环。
对实验研究质量的考量主要基于其效度,分为内在效度和外在效度,以测评实验结果是否与事实相符。所谓内在效度,是指实验样本所体现出的各要素间的因果关系是否真切。在一项研究中,实验者需要找出并说明在众多要素中具有因果关系的部分。然而,在一些实验中可能存在实验对象所接受到的处理出现偏差等情况,这将导致最终的结果也出现偏差,对此研究者需要对这些问题进行适当处理以保证实验的内在效度。所谓外在效度,则是指一项实验所揭示的因果关系相对于样本以外的事物的有效性,即在多大程度上实验结论能得以推广。田野实验是针对特定地点的特定对象进行的人为设计的研究,实验结论在对外适用度上必然具有局限性。而实验的外在效度则主要取决于实验样本、实验环境、实验干预以及实验测量标准与普遍现实中的相关部分是否类似,也在于实验者对此项实验所期待达到的普适程度。正是这两方面的有效性对实验的设计与操作提出了较高的要求,也使得一项成功的田野实验变得尤为难得。
在国外,这些研究成果不仅对当今社会普遍存在的社会安全、选举活动、公共治理等问题作出了较为科学的解释,还对政治学理论产生了不小冲击,如通常认为国际援助项目对公民基层文化具有影响效果,而不少实验证明这种影响事实上是十分有限的。而对选举活动的研究也提醒了选举民主政权的参与者,要想提高民众的积极性,动员方式的选择是很重要的,特别是对“面对面动员”方式的运用。但正如学者们经常在报告最后的总结中所指出的,即使是当下成功的实验研究,在开展范围的拓宽、实验对象选取的随机性等方面仍有待改进。
三、田野实验: 政治学议题
近年来田野实验在政治学中得到了广泛的应用,其议题主要关注公众的政治心理与行为,以及两者对国家治理的影响。本部分将会从选举政治、政治态度和国家治理三个方面对现有的田野实验进行分析。
首先,对人们选举行为的研究是田野实验最重要的议题,大致可分为选举动员和选民的党派偏好两部分内容。就选举动员方面来讲,研究者通过选举期间的政治动员对选民行为的影响,分析政党参与竞选时动员以及对动员方式的选取的重要性。格伯、格林等,堀内等,帕纳戈普洛斯和格林,邦德等关注通过广播、互联网甚至面对面的方式进行政治动员的效果,根据实验结果,普遍认为政治动员对选民的选举行为产生了重大影响。其中,一部分是针对动员行为本身所具有的影响的研究。格伯、格林等人研究了美国1998年的选举活动后,表示投票率的长期减少部分可归因于面对面政治动员的减少,反过来,发送邮件等动员方式有助于投票率的提升,且参加过一次投票的人更倾向于在未来参与投票。堀内等人以及帕纳戈普洛斯和格林也分别通过针对2004年日本上议院选举和2006年美国联邦选举中的拉美选民的实验设计,证明政治信息的传递会导致更高的投票率。一部分实验则探究大众传媒等动员方式带来的影响,如格伯、格林等人进一步发现电视广告对选举行为的影响是强而短暂的。另外还有一部分是对人际影响的观测,如邦德等人不仅发现政治动员信息的影响力,还证明亲友间信息传递具有大于信息本身的直接影响力。同样关注人际关系对投票行为影响的还有格伯等人,实验证明了社会压力作为一个政治参与刺激因素的巨大重要性,以及戴维发现亲近的选民间相互影响并最终趋同这一现象。这一结论与选民党性或者说派别性问题也存在一定关系。除此之外,还存在着对选民的派别性进行的更具针对性的研究:伦纳德探究了非洲西部贝宁地区的庇护主义对投票行为的影响,发现女性倾向于国民代表,而男性倾向于地方代表;而格伯与休伯则通过对2008年美国康涅狄格州州长初选进行实验,发现公众个人的党派偏好是改变公民政治行为和认知的活跃力量。
其次,对政治态度的研究也占了很大部分,主要集中在情绪、集体行动问题以及社会秩序三个方面。其中,关于公众情绪的研究通常以恐怖袭击事件的发生为背景。莱纳、菲施霍夫、斯莫尔等人通过对“9·11”恐怖袭击的实验研究,于2003年和2006年分别提出:第一,“恐惧”增加了风险评估值且在公共政策上倾向于计划预防措施,“愤怒”则相反;第二,“愤怒”情绪相比于“悲伤”更多地触发了公民性。对于集体行动问题,清水等人则发现,当人们认为提供公共物品是一件简单的事情,而且对他人行为的预期是乐观的情况下,他们会倾向于合作。由此,有的实验设计就是在一定地区采用随机分配一个发展项目的干预,来观测公民集体行动的状况。如费伦等人在利比里亚的一项田野实验,说明这些干预能改变合作能力,但也发现这些影响仅存在于那些男女共同面对集体行动问题的共同体中。然而,阿夫杰延科和吉利根在苏丹的干预实验研究却又说明,国际团体的干预并不能改变基层公民文化以增加社会资本,而回访中人们反映出的亲社会现象则是因为相关机制进行的社会制裁强迫人们顺从社会法则,而不是因为社会网络的改善。在社会秩序方面,研究者较多关注违法犯罪问题的处理对社会整体性瑠都认为采取措施刺激合法就业、将释放的罪犯重新纳入政治进程等整合政策都有助于提升社会政治秩序。另外,在一篇20世纪90年代内容偏向社会学的学术文章中,艾伦和拉什研究了组织公民行为(OCB)。
最后,除了探究民众的社会行为外,一些学者也从政府角度开展了关于国家治理问题的实验,主要检验了政治透明度对社会政治系统的影响。奥尔肯随机选取了49个印尼乡村通过代表会议或直接公民表决来选择发展项目的案例,研究表明公民表决形成了极高的满意度,即在政治决策方面的直接参与有助于满意度和合法性的重大提升。奥尔肯的实验也显示出当下一大发展趋势:学者与非政府组织合作实施地区项目。但另一方面,当学者将独裁体制国家作为实验区时,却发现政治透明度的提升带来了不同的效果。马莱斯基、舒勒和德兰则重点关注政治体制,通过对越南这个一党执政体制国家的质询会议中的代表行为进行实验,发现没有证据显示改变透明度能对代表表现产生直接影响,而且受到高压管制的代表们会减少参与并导致严重后果。他们表示:“这一结果提醒我们应审慎对待那些缺乏选举机制作为支持的透明度的输出。”这一结论也提醒我们,很多理论并不是绝对的,而这些理论支持下的政策也不能随意照搬。
此外,作为一项方法论,田野实验本身也是学者们长期研究的对象。除对该方法论的运用之外,还有少部分文章对田野实验的理论进行了补充,德鲁克曼等人也对政治学田野实验进行了总体介绍。
四、作用和局限
田野实验在国外发展成熟,取得了毋庸置疑的成就。在政治学领域,田野实验显示出了其他研究方法难以展现的重大优势,但也存在一系列缺陷和局限性。其主要的优点在于对于因果关系的分析。首先,在数据搜集的层面,田野实验是在对实验对象进行人为干预后,观察、询问以获取相关变量的信息,提供了分析因果关系的一手数据。因此,与二手数据相比,田野实验的数据具有创新性、可信历史差异,往往有着更为重要的地位。其次,相比其他方法,田野实验对理论的检验,即证实或证伪具有特殊的作用。特别在政治学领域,田野实验不仅限于对政治理论,还可以对任何一个理论假设的真实性提供科学且具事实性的证据。当一个理论模型在与实验相结合的过程中得到了现实的证明时,它的价值得以凸显。理论或者概念的创造也可以通过田野实验做到。这是因为,田野实验是在一个特定场域中进行的实验研究,而场景特性是概念创造的强大动力。换句话说,由于场景的特殊性,许多具有地方特色的学术名词应运而生,如针对塞加内尔地区特有现象提出的“委托民主”。事实上,对于社会研究而言,理论特殊化与普遍化的对立一直是值得关注的话题。最后,田野实验的主题很多时候集中于当下的社会问题,特别具有现实的研究意义。实验研究往往关注政治领域采取的一系列措施所带来的影响效果,使得政治学研究能够聚焦于现实中的微观问题并提供有效答案。这样的研究能够吸引其他利益相关者,如活动举办者的关注,从而将政治学家与政治家紧密联系起来,为政府决策者提供较为明确的政策方向和有力的政策依据。例如,针对美国各选举活动民众投票率下降的问题,政治学田野实验聚焦对选民行为的研究,提出了选民参与倾向的影响因素,在一定程度上揭示了民众参与选举的积极性下降的原因。而这一课题能够为美国政治选举活动的举办提供很好的参考意见。
当然,田野实验也有着相比于其他研究类型较为突出的弱点,主要体现在成本、技术以及一系列伦理问题。首先,田野实验较少被采用,主要是因为它在时间和经济上的过多花销,即成本高昂。从实验场所和实验对象的选取、实验设计,到实验的操作,再到最后数据的处理,都需要耗费研究者大量的精力。因为,田野实验研究的每一个步骤环环相扣,且都影响着最后的结果。尽管也有一些时长较短的项目,如对一场选举的研究可能只需要两三个月的时间,但更多的对社会文化、代际问题等课题的研究需要漫长的时间,其成本也随之增长。而且,田野实验往往需要通过与当地某些机构的合作,对人群实施控制。因此,大量的资源投资是不可避免的。更重要的是,实验投入的高成本未必能够得到收益:由于各种的原因,实验的结果未必能够达到之前假设的结果,而且往往无法补救。
其次,田野实验技术复杂。一方面,田野研究的设计相对复杂,例如在实验中实验组与控制组的随机分配,干预效应的设计以及实验结果的搜集。另一方面,实验研究的对象,无论是人还是社会环境,都充满着各种多样性和未知性。因此,田野实验的发展不仅是由于研究范围扩张的需求,也是随着研究技术的提升,如新模型、新电脑软件的出现而进步的。但至今仍有许多技术上需要解决的问题,以提升样本的随机性,减小实验偏差,优化数据处理等,这涉及实验方法的创新和数据处理的科学化。
再次,田野实验是在特定场域、针对特定人群进行的,具有特殊适用性。这一特点,既使得它能够因地制宜地给出建议,但也决定了它无法像逻辑推断的抽象理论那样能够普遍适用。因此,一项田野实验所得出的结论不能简单地推广到其他地区。所以,就国家、国际层面而言,对一个问题的认识和应对方案可能需要多次田野实验的经验,因为在过大范围内展开实验是不现实、也不合适的。总而言之,田野实验可以通过特殊事实修正原有理论,或者增强宏观理论的说服力,甚至可以提出带有地方特色的理论概念,但却无法提出和完全证实宏观层面的理论原则。此外,由于实验对象的复杂性和不稳定性,以及实验环境的约束,如政治制度、风俗传统的影响,信度和效度的保证也是田野实验必须直面的问题。所以说,田野实验的成果是具有局限性的。
最后,实验往往存在伦理学的争议。研究者应尊重实验参与者的权利,保护被实验者的安全和隐私免受侵害,保护实验地区社会环境免遭破坏。这些都是实验伦理所必须遵循的要求。但是,对于实验对象的知情权问题却难下定论。从道德上讲,实验对象有权知道实验研究的相关信息和自愿选择是否参与,但对于田野实验的信度和效度而言,实验对象知情会导致其行为选择出现与正常状态的偏差,从而影响数据的真实性。因此,对于这类道德问题,研究者有必要作出适当的权衡。
五、结论
田野实验作为一种新的研究方法,为政治学研究提供了新的武器,也为解决既有争论提供了有效和可靠的办法。随着政治的不断发展,政治学的研究领域不断拓展,且与经济等其他领域相互交织,政治学者们也越来越关注政治态度与行为对国家治理的影响,而田野实验将有效地满足这一发展需求。另一方面,实验方法论和相关技术的进步,使得 实验者更加有能力去完成实验并达到研究目的。
然而,虽然田野实验的应用在国外发展已经比较成熟,但在中国政治学界尚未得到广泛的应用。目前研究中国政治的田野实验数量极少,从仅有的几篇政治学相关的文献来看,关于中国政治的田野实验议题主要包含政府行为和公民文化两个方面。在政府行为方面,陈济东、潘婕和徐轶青通过在中国的一项田野实验证明自上而下的监督机制和自下而上的社会压力。而格雷戈·迪斯特尔霍斯特和侯越则证实了组内偏见对公务人员行为的影响,并且表明制度种族主义和选举政治并不是导致官员行为具有组内偏见的必然因素。而公民文化方面的研究则集中于中国农村地区,学者们有的对“引进新避孕手段”等国家社会卫生政策的实施状况进行了实验,如赫伯特·L. 史密斯,有的则关注配偶政治面貌对家庭决策的影响,如腓特烈·卡尔森等人2013年发表的研究。总体而言,现有采用实地研究的论文并不多见。中国政治发展的现实需要大量的实证研究来支持。因此,可以预见的是,将来需要更多的研究分析中国政治中的理论与现实问题。参考之前的实验研究议题,田野实验的研究在个人的态度与行为方面具有大量的发展空间。其中,既可以分析公众的态度和行为,例如之前的政治信任、政治参与的研究,也可以分析政治精英的态度与行为,例如精英的决策、政策实施等议题。
总之,与其他研究方法相辅相成的田野实验,尽管结论具有一定局限性,但事实证明它在政治学领域的应用价值依旧是不可忽略的。从一项研究措施发展成为一种研究类型(方法论),田野实验立足于现实社会,将自然真实的人和环境纳入研究过程,揭示了社会现象要素间的因果关系,不仅丰富了政治理论及方法,而且为政府决策提供借鉴和引导。
*文章来源:人民大学国政评论
*侵权必删
学术前沿速递
学说观点
AIGC交流社区
未央网
毕宣
王凯
- 1
- 2
- 3