理解敏感性:评估遗漏变量偏差
黄子乐
上海财经大学
学生
我刚刚分享文章,欢迎留言探讨——理解敏感性:评估遗漏变量偏差
摘要:
本文拓展了估计遗漏变量偏差的框架,给出了估计未被观测的干扰变量对实验结果置信度影响的方法,并以苏丹达尔富尔地区暴力冲突研究为案例,给出了这一理论框架的应用方法。通过对回归模型进行敏感性检验,文章给出了不需要对实验变量或遗漏变量的分布形式做任何假定的分析框架。这一框架可以处理多个遗漏变量,并且可以用基本的回归结果轻松计算。同时,文章引入了两个可以普遍用于回归结果中的敏感性指标。稳健性值(robustness value,下简称RV)描述了干扰变量和实验变量的相关性至少有多强才会改变实验结果。实验变量的偏R方展现了解释所有回归残差的干扰变量和实验变量的相关性有多强才会影响实验结果的可靠性。最后,文章给出了上述分析框架的具体应用方法,即通过基本的比较,将未知的干扰变量与已知协变量绑定并估计强度。文章还就达尔富尔暴力冲突研究做了具体展示与可视化。
学人简介:
Chad Hazlett, 加州大学洛杉矶分校统计学系与政治学系
Carlos Cinelli,加州大学洛杉矶分校政治学系
文献来源:
Carlos Cinelli, and Chad Hazlett. "Making sense of sensitivity: Extending omitted variable bias." Journal of the Royal Statistical Society: Series B (Statistical Methodology) 82, no. 1 (2020): 39-67.
本文作者: Carlos Cinelli和Chad Hazlett
观察性的研究经常试图在假定没有未被观察到的干扰变量,或干扰变量影响可以忽略不计的前提下,寻找因果关系。当根据观察数据提出因果关系时,研究者需要证明他们的结果不是由于干扰变量造成的。在自然实验和准实验中,这通常是一些定型的分析,说明为什么实验组的分配相对于某一变量是近似随机的。此外,研究者还会对结论进行平衡性检验或安慰剂检验,然而这些检验肯定不是决定性的。我们担心的是未被观察到的变量既不平衡,也和实验变量与实验结果相关。从根本上来说,因果推断总是需要做出一些无法从数据中验证的假设。
因此,我们建议文章采用敏感性检验,验证实验结果对于未观察到干扰变量有多可靠。然而,敏感性检验尚未得到充分利用。例如,在2017年三本政治学顶刊(AJPS、APSR、JOP)的164偏定量研究中,64篇明确描述了一种因果识别策略而不是随机试验,但其中只有四篇进行了敏感性检验。其中的原因可能有以下几点,第一是传统方法对于干扰变量分布形式有过于严苛的假定。第二是传统方法无法用回归表或系数图直观地表达敏感性。第三是,研究者难以将敏感性检验的结果与研究项⽬中可能存在哪些有影响的干扰变量相联系,特别是对于那些实验变量近似于随机分布的研究。
在本⽂中,我们展⽰了如何扩展遗漏变量偏差(OVB)框架来应对这些挑战。我们开发了一套敏感性检验⼯具,不需要对实验变量的函数形式或未观察到的干扰变量的分布进行假设,并可⽤于评估对多个干扰变量的敏感性,以及它们是否会线性影响实验结果。
其中,D为实验变量,X为已知控制变量,Z为未知变量。鉴于Z未知,则方程也可以写作
undefined
undefined
由Frisch–Waugh–Lovell定理,D的系数偏差可以表示为
undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined
这两个偏R方代数式是敏感性的核心测算指标,他们分别代表未知变量Z与实验结果Y和实验变量Z之间的相关性。偏R方越大,说明干扰变量Z在回归残差中可以解释的部分越多,对实验结果的影响越大。
基于上述分析,作者提出了一个可以用于测算的指标,即RV。RVq描述了干扰变量与实验变量之间的关联需要有多强,才可以降估计值减少q%。
经过简单变化,上式可以写作在α显著性水平下对t统计量的影响
RV值表示了实验变量多容易受未被观测到变量影响。RV值越大,意味着结果越稳健。只有在与Y和D的回归中,解释了超过RV比例的回归残差的Z,才可以影响实验结论。
回到未知变量。由于未知干扰变量Z是无法观测到的。我们没有Z的数据,也无法求解出其偏R方的值。此时需要将一个已知的干扰变量与Z绑定,将它当作Z进行测算。假设所有未知的干扰变量,都没有这个已知的对于结果的影响大,而这个已知的干扰变量经过上述计算,也不会对结果产生影响,那么所有的未知的干扰变量,都不会对结果产生影响。已知变量的选择需要由研究者自己裁定,干扰大小的直观性比较需要定性论述的支撑。
苏丹西部的达尔富尔地区于2003年爆发了一场针对平⺠的可怕暴力运动,并在2004年演化为持续⾼⽔平的暴力冲突。研究者希望了解在冲突中受到⾝体伤害如何改变个⼈对和平的态度。暴力冲突开展的方式提供了一个残酷的自然实验。在此期间,针对平⺠的暴力行为包括政府军的⻜机轰炸和名为⾦⼽威德(Janjaweed)的亲政府⺠兵袭击。尽管不同村庄受到暴力侵害的程度或多或少,但在特定村庄内,暴力是不分青红皂白的。但还有一个例外:虽然男⼈和⼥⼈都经常受到袭击,但妇⼥更是⾦⼽威德大范围性侵暴行的受害者。因此,学者可能认为村庄和性别这两个变量足以控制对线性回归的干扰。
其中PeaceIndex是衡量个⼈对和平态度的指标,DirectHarm是一个虚拟变量,表明个⼈在此类袭击中是否受伤或致残,Female是控制⼥性的固定效应,Village是控制村庄的固定效应。但并⾮所有学者都认同没有未观察到干扰变量的假设。例如,在冲突中也许村庄中⼼的⼈⽐外围的⼈更容易受到伤害。平均⽽⾔,靠近每个村庄中⼼的⼈对和平的态度也可能有不同。这表明作者应该是使用以下模型,加入村庄中心这一虚拟变量。
其他持批评态度的学者可能会质疑暴力是否是随机的,他们担心财富或政治态度等未被观察到的因素仍然是干扰,甚⾄可能通过与识别变量以⾮线性函数起作⽤。但另一些学者认为,在村庄内,相较其他因素,是否是女性这一变量与识别变量最为相关。因此,通过标定女性这一变量,将它视作先前分析中的未知变量Z,我们可以对上述模型进行敏感性检验。结果如下。
DirectHarm 系数的稳健性值 RV:13.9%。这意味着,解释了与PeaceIndex回归⾄少13.9%残差的为观测变量将影响实验结果,这也意味着解释小于13.9%的都不足以将回归估计降至0。对于5%的显著性水平,稳健性值从13.9%下降到7.6%,即干扰变量需要只有⼤约一半的强度就能使估计在统计上不显著。最后对于极端情况,如果干扰变量解释了对因变量回归中100%的残差,那么它需要解释与实验变量回归中2.2%的残差就可以将估计结果降到0。
对比Female这一变量的敏感性。由回归中的脚注可知,这一变量解释了PeaceIndex中12%的残差和DirectHarm中1%的残差,分别小于13.9%和2.2%。这说明,Female这一干扰变量不会影响回归的结论,相比Female与 PeaceIndex和DirectHarm相关性更小的干扰变量就更不会影响了。文章的结论是非常稳健的。
作者还对检验结果进行了可视化,展示了相关强度为female各个倍数的潜在干扰变量对结果的影响,如下图。可视化步骤可由作者提供的R包自动完成。
不难看出,作者为估计潜在的干扰变量对计量结果影响,提供了一个非常便捷且直观的工具。这一分析框架进一步放宽了先前敏感性检验的假设,并可以通过简单的回归便捷地得到。这一方法有潜力成为常态化的分析工具。
©Political理论志