【统计-学术研究】统计检验有效性的十大黄金法则
引言
任何介绍统计类的文章都有一个警示,同样,我们也有:我们在本篇文章中所提到的“科学”是为了方便起见,简单归类为“作为使用数据去研究问题的学科”。其中包括社会科学、工程学、数字人文学科、金融学以及其他。统计学几乎影响了以上所有科学与学科中的部分内容。
法则一:统计方法须确保数据能够回答科学问题
对于统计学缺乏经验的使用者与统计学专家的最大区别就在于所考虑使用的数据上。虽然很显然,大家都是在用实验生成的数据去回答科学问题,但是,没有经验的用户往往会想当然地认知数据和科学问题之间的联系。因此,在一定程度上,可能会过多地在统计学的技术层面集中精力而非将科学实验的目标摆在正确的位置上。例如,在一个微阵列的基因表达数据中,他们往往会寻找实验测试的方法,而对于一个富有经验的人来讲,他可能会更多地关注在一些更为基础的问题上面,例如“基因之间的异质性表现在什么地方?”,正式的统计测试可能会有用,但是也可以使用多种其他的方法来作为替代品,如集群技术与热点图的方式,同样,在神经科学领域,理解大脑皮层的活动才是主要目标,而统计图像的处理技术则处于末端。从统计学角度去思考科学问题可能会改变一个数据的收集与分析方法。只有在真正了解科学问题的意义与争端之后,再开始使用统计方法等技术手段才能使得统计学变得真正有用。他们能够识别出潜在的变量与隐藏极深的假设,这也是与统计学家合作的优势。
法则二:数据信号永远伴随有噪声
统计学的要旨在于应对变化。变化有多种形式,在一些情况下,变化是良性的,因为我们需要预测因子中的变化来解释与识别变化所带来的结果。例如,确定吸烟与肺癌的关系时,我们需要吸烟习惯的改变,才能发现有此带来的基因变性与疾病有无关联。但是,在另外一些情况下,“变化”却令人厌恶,比如当我们在测量三次同样的事情时得到不同的结果,这样的变化就变成了“噪声”。在某种意义上讲,这样的噪声的内涵理解被认为是无关紧要的,统计研究的目的在于评估可提供的信号数据以及有意义的可变性,而需要排除的是噪声与无关紧要的变化。
许多统计方法的起点是引入抽象数学。统计学家对待变化的态度则需要数学意义上的概率分布来完善与替代这种可变性的变化趋势。在理论上,你需要明白一个概率分布的特点,比如它的形状、意义、中值位置等,使用概率分布统计的模型,其信号与噪声联合培育出了我们所观察到的数据结构,这个基本步骤事统计推理成为了可能。
法则三:提前规划
将大量的精力集中在了参与收集数据方面,统计问题可能不再是一个孤立的问题了,人们总是有很多的固定的统计经验来考虑数据收集的方方面面,可能是总体目标的背景,什么是理想的实验结果,以及你该如何去解释那些不会被想到的统计事实。观测X与Y的关系,不仅仅在乎变量本身,包括测量方式,基本概念,控制变量等等问题都需要做好提前规划。
在设计阶段来问问题可以为分析阶段节省掉大量的精力。注意数据的收集可以大大简化分析,并使其更加严格,拥有一个良好的数据调查计划与与行前阅读是值得的。
法则四:注意数据的质量
训练有素的实验者本能地认为,在数据分析的过程中,“垃圾会产生垃圾”。现代统计学与数据分析的复杂性要求许多假设必须要经过数据的预处理进行统计推断,这一步是非常重要的,强烈建议预处理时注意规范你的方法,因为它也许会对结果产生有偏影响。
即使经过了预处理数据,在进行进一步分析时也要付出相当大的努力。这个过程可以称之为“数据清理”。实践的经验是非常有用的,因为数据清理往往揭示了他们对于数据质量的担忧。在最好的情况下,确保最好的测量结果,而在最坏的情况下确保将损失降到最小。
一旦数据被处理在一个相对完备的格式中,再仔细看看,对于数据处理的进一步修正与探索往往也是数据分析中最为翔实的处理部分。探索的思路往往可能揭示出数据质量问题与异常值。简单的数据探查,如标准差、分位数等,可以帮助研究者完善数据在心里的预期,认知数据的有效性。在许多领域,尤其是新的科学领域,使用全新的科学方法与探索性的设计,可能其中包括了清晰的先验性的假说。使用非正式的数据能够帮助研究者产生新的想法与假设,但是同样重要的是要承认在正式分析数据之前,这种先验性是否会影响最终的结论。也许,使用一组单一数据来同时生成与检验假设可能是有问题的。
法则五:统计分析要比统计方法重要
统计软件提供了一些工具是用来帮助研究者进行分析的而不是去定义什么。科学的环境是至关重要的,有原则的统计分析方法是将分析与科学问题严格的对应起来。虽然有时候统计软件能够帮助你在论文的方法部分完成一个特定的算法,但是你要明白的是,统计方法是否真正适应你论文中所需要回答的问题。
法则六:保持简洁
在其他条件不变的情况下,要做到统计方法的简洁性,简单比复杂更重要。这个规则不论是在统计学还是其他学科里都非常重要。在统计方法中,先从简单的开始,然后根据需要,一步步再添加更为复杂的方法,这才是至关重要的。
说到此,另一方面,科学数据的详细结构和简单模型与方法并不能总是适应重要的、错综复杂的内部机理。独立的共同假设往往是错误的,几乎总是需要仔细认真的检查,大量的数据测量、解释变量之间的交互、非线性的作用机制、数据缺乏混杂、抽样偏差等,都需要增加模型的复杂性。
记住,好的实验与统计设计通常可以允许简洁的方法来分析复杂的结果。简洁的模型可以帮助我们重新认识复杂的现象。
法则七:变量评估
几乎所有的生物测量、重复时,所表现出来的实质性变化,这些都有可能基于数据本身而表现出很大概率的不确定性。统计分析的基本目的就在于帮助评估这些变量的不确定性。通常所运用的对象是标准误和置信区间。在最终报告结果的时候,必须提供一些不确定统计的概念,一个常见的错误就在于没有考虑到标准误和变量之间的依赖关系,这通常意味着大幅度低估了真正的不确定性。
记住,每一个数据也许在经过计算之后其背后的意义都会发生改变。如果你收集数据不再同一天,不在同一个实验室,或者稍微修改了收集条件,那么可能现在就存在了三个类型可变性来源。在微阵列分析中,批处理按时最有可能影响可变性的操作之一。额外的变化意味着额外的结论,这种不确定性需要最终的报告。
拥有共同特征的大数据,在不确定评估方面,人们表现得过于乐观。大数据并不是总是和它看起赖一样大,即使在小的样本容量中也需要很谨慎的估计标准误,尤其是在这些测量值很可能相关的时候。
法则八:检查你的假设
每一个统计推断都是基于一定的假设而来的,常见的统计方法中所包括的一个假设就是线性关系假设。线性的描述通常适用于作为第一近似或者描绘一般趋势时使用,特别是当噪声的数据量很难区分线性与非线性关系的时候。然而,对于任意给定的一组数据,是否使用线性假设就会存在一定的问题,需要提前调查清楚。
在许多时候,假设在统计分析中的多个观测值在统计上是独立的,这是一个令人担忧的问题,因为当相对较小的偏离也会对假设本身产生影响。例如,在考虑时间序列问题时,最好使用专门适合时间序列问题的方法。
除了非线性、统计依赖、缺乏数据、系统偏差和各种其他原因可能导致的违反统计原假设的情况下,有时候很多研究者在进行的统计软件分析的时候,也有可能忽略了固有假设的情况,这也有可能会导致最终结果的偏离,甚至误导。因此,需要深刻理解所用统计方法的内涵假设条件,至少,你需要检查你的统计模型与数据的吻合程度。拟合残差有助于评估相关性的假设和统计模型的适应性。
法则九:如果可能的话,去重复它
每一个优秀的数据分析师会详细地检查数据,寻找许多可能导致的偏离的结果。这个过程通常涉及到十几个程序,最终,一些具有特定功能的数据被认为是有趣且具有价值的,而这些也才是最终论文中所将要报告的结果。
最近有大量错误解释与使用P值的方法遭到了许多批评,美国统计协会(ASA)提供了一个详细的报告述说了P值使用的优势与局限性。
数据需要在尽可能地得到完整的重复性时,才能产生更高的价值。如果有可能的话,最好复制与重复你的最终结果。理想状态下,结果的可复制性应该由一个独立的调查员所进行与完成的,经得起科学考验的结果是在跨期中得到诸多跨学科人员承认。在很多情况下,完整的复制是非常困难或不可能的,但是这仍然是一项可靠的评价标准。
法则十:使你的分析具有可复制性
这一点承接了上一点的内容,在当前的科学出版框架下,讨论法则9中那样独立的复制法则在很多调查员来看是不现实的,不同的标准下,更容易实现的是不同研究人员对你结果的可复制性。考虑同一组数据,结合分析的完整描述,它应该可以实现统计列表、数据结果与统计推断的可复制性。然而,即使是这种低标准也可能会面临诸多障碍,如不同的计算框架、软件版本可能得到不同的结果。
结论
马克·吐温曾经说过:“世上有三种谎言分别是,谎言,该死的谎言,和统计”。的确,数据经常选择性地支持你想要参数支持的结果。科学中常常出现错误的统计推断与描述,我们的一个主要目的就是强调诸多此类的问题来避免这一问题的再次出现。统计学是一项以数学与概率为语法的语言,要想实现完整流利的数学语言再现,需要你经过多年的训练与实践。但是我们希望这十个简单的法则能够提供给你一些基本的指导方针。
很多文章报道了ASA对于P值的声明,我们特别喜欢引用生物统计学家Andrew Vickers的话:“将统计学对待为一种科学,而不是一种配方”。
*文章来源:唧唧堂
*侵权必删
学术前沿速递
学说观点
AIGC交流社区
未央网
毕宣
王凯
- 1
- 2
- 3