图19显示了单变量诊断和多变量综合诊断各方法对应的ROC曲线下面积及其95%
CI
。其中综合诊断曲线下面积为0.859 (95%
CI
:0.823~0.896),三个单变量诊断曲线下面积均不足0.8,此处没有给出各单变量诊断和多变量诊断曲线下面积统计推断是否有差异的
P
值,但从各面积的统计值及其95%
CI
可以看出,单变量诊断曲线下面积显著小于多变量综合诊断。SPSS不能在ROC分析模块中直接给出各诊断模型ROC曲线下面积比较的
P
值,只能通过曲线下面积统计值及其95%
CI
进行推断。如果希望可以直接得到各ROC曲线下面积相互比较的
P
值,可以通过MedCalc软件实现(提高诊断试验效率:多变量综合诊断分析——MedcalcSPSS软件实现)。
分析结果显示,通过就诊者的基本信息、实验室检查结果等多变量的信息可以构建logistic回归模型进行疾病的诊断,该诊断方法的ROC曲线下面积为0.859 (95%
CI
:0.823~0.896),可以认为该诊断试验准确性较高。。
五、知识小贴士
(一) 预测模型
多变量预测模型分为两大类:诊断模型和预后模型。两者的主要区别是时间的概念。诊断模型是多个预测因素(通常为诊断测试结果)被组合在一起来估计预测时,是否存在某种疾病或状况的概率,通常是横断面的。而预后模型是多个预测因素被结合起来估计未来某个时期发生特定事件(如死亡、疾病复发、出现并发症等)的概率,通常是纵向的。个体预后或诊断的多变量预测模型的透明报告 (TRIPOD)是为了改进不论以诊断或预后为目的而开发、验证或更新预测模型的研究报告。质量较高的多变量预测模型都会遵循TRIPOD的指导研究。
(二) 变量筛选
本案例分析结果显示利用多变量进行ROC诊断的效率优于单变量,其实这是建模中普遍存在的真理,即随着纳入变量的增多,诊断模型的准确性总会变得越高。但在多变量模型构建时并不是纳入变量越多越好,因为要从专业角度综合考虑,纳入有专业意义且影响较大的变量,要避免出现过度拟合从而影响模型外推。同时从模型的实用性角度考虑,因为预测概率需要通过模型计算得出,而非可观测的指标,纳入变量越多,模型越复杂,计算难度越大,不利于模型推广。
(三) 模型验证
评价多变量诊断模型的诊断准确度,可以采用内部数据验证的方法,即通过建立预测模型,比较不同组之间预测值分布之间的差别,或者使用交叉验证(LOO-CV)的方法,但更可信的方法是使用前瞻性研究数据验证诊断准确度。为了避免模型的过度拟合,有些模型必须要进行外部数据验证,III期诊断试验的评价需要使用外部数据进行验证。
(四) 模型应用
上述模型需要通过将就诊者各参数信息代入公式后计算得到Logit(
P
),再通过与模型截断值比较,做出是否患病的判断。