我把问题在描述一下
我有的处理对象是细胞,根据不同处理分为十组,每组5-6个样本不等,想分析其中九组和第一组的差异显著性,并不做九组间的两两比较。
我最初选用了独立样本t检验,可是论文评审专家说统计方法用的不对。我猜他是觉得应该用方差分析。可是我并没有做两两比较啊,而且我只想知道其它九组分别和第一组有没有差异。
如果考虑到每组最后其实都参加比较了要用方差分析,那用哪种方差分析比较好呢?
下面是链接
https://d.cosx.org/d/8974-8974
“显然你第一次检验不犯第一类错误的概率可以认为是0.95,9次都不犯第一类错误则是0.95的9次方,
最终假阳性可能性很高 a=1-0.95 9次方。
但是这里面的问题是组别太多,正常分组三四组比较多吧。
如果是三组,第一个问题,那么单因素方差分析和直接两两之间进行t检验之间到底有什么区别?0.95 2次方也还是可以接受的。
第二个问题,单因素方差分析后如果存在显著性差异不还是要进行两两比较吗?那为什么要不直接进行两两比较呢。
第三个问题,如果单因素方差分析差异不显著,那后面就没必要进行分析了?但是我又进行两两比较,又发现其中两组存在显著差异。
这个问题一直没搞清楚,每次写文章都是糊弄过去,就怕审稿人质疑这一点,因为我也不知道自己是否是正确的
如果是三组,第一个问题,那么单因素方差分析和直接两两之间进行t检验之间到底有什么区别?0.95 2次方也还是可以接受的。
如果你简化成两组,那 t 检验跟方差分析数学上其实是一回事;这时候,F = t
2
。在多于两组的情况下,t 检验跟方差分析的本质区别是它们回答的是不同的问题。多次两组比较回答的是分组中两两均值是否相等,而方差分析回答的是所有组的均值是否相等。
第二个问题,单因素方差分析后如果存在显著性差异不还是要进行两两比较吗?那为什么要不直接进行两两比较呢。
第三个问题,如果单因素方差分析差异不显著,那后面就没必要进行分析了?但是我又进行两两比较,又发现其中两组存在显著差异。
由于回答的是不同的问题,所以方差分析和多重比较间没有必然的先后顺序。若别人跟你说必须做方差分析,结果显著了才能做多重比较,那大概是机械地执行了某种教条。如果你一开始就想知道所有组中任意二者是否有相同的均值,那不需要先做方差分析。当然,如果你做了方差分析,差异不显著,接下来做多重比较,也可能发现某两组差异显著。这时你得问自己,既然你无论如何都想知道任意二组是否有差异,那为何开始前要做方差分析?
既然可以直接进行多重比较,那方差分析存在的意义是什么?回到其设计目的,方差分析告诉你所有组的均值是否相同。如果零假设被拒绝了,你若还要继续追问哪些组差异显著,那可以继续进行多重比较。这里你其实问了两个问题,和一开始就冲着多重比较去是有点不同的。
回到那个十来岁高龄的问题:
我有的处理对象是细胞,根据不同处理分为十组,每组5-6个样本不等,想分析其中九组和第一组的差异显著性,并不做九组间的两两比较。
这种多对一的比较一般用
Dunnett's test
。
正常情况下,设计实验时就应该明确实验目的,确定数据分析方法。等拿到数据了再考虑怎么分析,就难免困惑了。
t检验解决的问题是差异分析,比较两个组之间差异应该用独立双样本t检验或配对t检验,这个会告诉你两组均值差异是否显著。
单因素方差分析解决的问题是了解单因素的影响,衡量的是分组间方差跟分组内方差的比值,进行的是F检验,并不能告诉你分组间差异是否显著。
原则上,只有单因素方差分析显示有差异,才有进一步做两两比较的必要,这步叫做多重比较,通常认为找到差异的功效会强一些。只要你分组大于2,那么比较次数就大于3,例如ABC三组,方差分析发现有影响,你需要进一步比较AB、BC、AC间的差异。比较次数越多,出现假阳性概率就高,此时还用原始版t检验找差异就不合适了,所以会出现很多p值矫正方法,具体用哪个要看具体学科偏好。
方差分析显示无差异不能保证两两之间无差异,只是说两两间找差异统计功效强一点,更可能找到差异,你当然可以不做方差分析直接做多重比较。如果方差分析显示单因素影响显著,也无法保证后面两两之间能发现显著差异,但有些多重比较方法是可以保证找到分组差异的,哪怕这个分组不是你预设的那个,例如Scheffe Test就可以找出类似(A+B)/2跟C的差异,哪怕AC,BC都没差异。所以你后面的问题要看要看你用了哪一种多重比较的方法,这本身就是个深坑,因为处理这个问题统计学家搞出了单步法多步法整体错误率等一大堆概念,如果你不想特别深入这个主题,就看你们学科类似论文用那种就用那种就够了。
确实存在一些多重比较方法在方差分析发现差异后只去比较某一对照组跟其他组的差异,例如Dunnett法或Hsu’s MCB法,因为比较次数比两两比较要少,所以功效强一些。这两种方法应该是原问题最适合的答案。
本帖大神们回复的很好了,说下我对这个问题的收获,希望十年后如果再有人纠结这个问题,可以提供参考。
首先t检验和方差分析根本就不是一个东西,但是在很多时候可以互换,就要看具体问题了。比如1个对照组和3个不同浓度攻毒组,如何两两进行t检验,此时比较的是这种药剂对实验动物是否有影响。如果进行单因素方法分析,比较的是这个药剂的梯度效应对实验动物的影响(ck可以看做是浓度为0)。还有一个比喻特别好,比如你研究学历对年薪是否存在影响与研究生和本科生年薪是否存在差异是不一样的。当然,初步结果可以辅助我们进行后续实验,甚至跟换合适浓度。需要注意如果分组比较多,t检验中假阳性错误检出率会呈指数迅速下降,但是会有一些校正的方法,如常见的FDR, Bonferroni,或者可以挑一两个进行说明,这样误差不会很大。建议把所有方法都用一下,如果审稿人问起来就把参考文献贴上去,至少我看到很多高质量文章都分别使用这两种方法。