假设检验:从p值到贝叶斯因子_贝叶斯论文

假设检验:从p值到贝叶斯因子,本文主要内容关键词为:因子论文,值到贝叶斯论文,此文献不代表本站观点,内容供学术参考,文章仅供参考阅读下载。

假设检验问题是统计推断和决策的基本形式之一,其核心内容是利用样本所提供的信息对关于总体的某个假设进行检验。对于该问题,经典统计学派和贝叶斯学派有不同的处理方法和检验法则(p值、显著性水平、后验概率),由此引发出一些关于假设检验问题的争论:Gossett提倡使用p值作为数据支持原假设的证据;Nehman和Pearson强调使用预先给定的显著性水平α;Jeffreys提倡使用假设的后验概率。问题的关键是对于同一样本信息,不同的检验法则往往得到不同的检验结果。为此本文对两个学派假设检验方法进行了比较分析,探讨了经典统计学派假设检验的不足和贝叶斯统计学派假设检验的相对优势并对两个学派假设检验的关系进行简单评析。

一、经典学派的假设检验

(一)基本思想

经典统计学派的假设检验主要是运用概率反证法进行推断,它主要有两种方法:一种是Gossett于1908年提出的p值检验,一种是Nehman和Pearson分别于1928年和1933年提出固定水平检验。

p值检验的基本思想是:选择一个检验统计量,在假定原假设为真时计算此检验统计量的值及对应的概率p,若此p值小于事先给定的显著水平α,则拒绝原假设,若此p值大于事先给定的显著性水平α,则不拒绝原假设。上述思想可以用决策函数表示为:

其中x代表样本信息。

固定水平检验的基本思想是:选择一个检验统计量,在事先给定的显著性水平α下,确定拒绝域,当检验统计量的值落入拒绝域时,拒绝原假设,当检验统计量的值在拒绝域之外时,不拒绝原假设

(二)存在问题

虽然经典统计学派的假设检验方法是目前广泛使用的统计推断方法,但它的缺陷是显而易见的。对于固定水平检验需要事先给定显著性水平α,进而确定原假设的拒绝域,但α到底应该给多大没有具体的标准,而根据不同的显著性水平有时会得出相反的检验结论。p值检验计算的p值是在原假设为真时,检验统计量在检验样本下取值的概率,是真实的显著水平。虽然运用值检验避免了因选取不同的而对检验结果的影响,但是运用p值进行检验判断仍存在一些问题,它具体表现在:

(1)p值并不是原假设为真的概率。p值是原假设为真时,得到所观测样本的概率,是关于数据的概率,不是原假设为真概率的有效估计值。

(2)当样本容量很大时,p值并不十分有效。当样本容量足够大时,几乎任何一个原假设都会对应一个非常小的p值,进而任何原假设都会被拒绝。有研究发现:一个以的p值拒绝的经典结论,当n充分大时,此的后验概率逐渐趋近于1,这个令人吃惊的结果被称为“Lindley悖论”。因此,在样本容量不断增大时,p值检验几乎失效。

(3)不宜处理多重假设检验问题。p值检验法则是当p≥α时,接受原假设;当p<α时,拒绝原假设,若检验涉及三个或三个以上的多重检验问题,p值检验法则将不好判断,因此,值不适宜处理多重假设检验的问题。

二、贝叶斯学派的假设检验

(一)基本思想

相对于经典统计学派的假设检验方法,贝叶斯学派的检验方法是直截了当的。它是在获得后验分布后,直接计算原假设和备择假设的后验概率,并计算后验概率比来比较两个后验概率的大小:

(二)相对优势

(1)方法相对简单。贝叶斯学派的假设检验直接根据后验概率的大小进行判断,避开了选择检验统计量确定统计量的抽样分布这一经典统计学派假设检验的难点,因此,贝叶斯学派的假设检验方法相对简单。

(2)先验信息利用的充分性。经典统计学派的假设检验只使用了样本的信息,而贝叶斯学派在假设检验时既利用了样本信息又利用了参数的先验信息,并将这些信息综合成后验分布并根据后验分布进行推断,因此,贝叶斯方法在信息的利用上更加充分,其判断过程也更符合人们实际的思维方式。

(3)方便处理多重假设检验问题。经典统计学派的假设检验方法不宜处理多重假设检验问题,而贝叶斯学派的假设检验是通过计算每一个假设的后验概率,并接受后验概率最大的假设的,因此,贝叶斯方法对于多重假设检验问题的处理十分方便。

三、两个学派检验方法的关系

(一)两个学派的假设检验方法在一定条件下统一于贝叶斯公式

因此,当居于平等地位时,也即时,经典统计学派与贝叶斯学派的检验结果是一致的,从这个意义上说,两个学派的研究方法在一定条件下统一于贝叶斯公式。然而在很多情况下,的地位不一致。常处于被否定的地位,上述的一致性并不总是成立的。

(二)正态分布下的单侧检验两个学派的检验结果一致

其中:φ为标准正态分布的累计分布函数。由正态分布的对称性可知此时值。

(三)原假设为简单假设的双侧检验两个学派的检验结果大不相同

对于形如的双侧检验,经典学派的p值与贝叶斯学派的后验概率大不相同,Berger和Sellke于1987年研究发现(具有的研究结果见表1):在正态分布的前提下,当经典方法得到的值在0.001~0.1之间时,贝叶斯方法得到的原假设的后验概率却很大,始终大于p值,也即此时,经典方法倾向于拒绝原假设,而贝叶斯方法则倾向于接受原假设。Hwang和Penatle于1994年研究指出,对于此类双侧检验,类似的结果始终存在,提倡用其他标准来取代p值。

表1 的后验概率

p值样本容量n

1 5 10 20 501001000

0.1 0.42

0.44

0.49

0.56

0.65

0.72

0.89

0.050.35

0.33

0.37

0.42

0.52

0.60

0.80

0.010.21

0.13

0.14

0.16

0.22

0.27

0.53

0.001 0.086 0.026 0.024 0.026 0.034 0.045 0.124

综上所述,经典学派和贝叶斯学派在假设检验问题上存在着一定的差异和分歧。本文分析了经典学派的假设检验方法的缺陷以及贝叶斯学派的假设检验的相对优势,但值得注意的是贝叶斯学派的假设检验方法仍然存在一些问题,如先验信息的选择较为主观,后验概率的计算在高维情况下比较困难等问题。因此,不应该用一个学派的方法去否定另一个学派的方法,而应该将两个学派的检验方法,互为补充,以此不断完善统计理论和方法体系。

标签:;  ;  ;  ;  ;  ;  ;  

假设检验:从p值到贝叶斯因子_贝叶斯论文
下载Doc文档

猜你喜欢