基于监测数据的药物不良反应快速识别及R语言实现

Establishment of a rapid identification of adverse drug reaction program in R language implementation based on monitoring data

Dongsheng HONG , ^1, ² Jian NI , ^2, ³ Wenya SHAN , ^1, ² Lu LI , ^1, ² Xi HU , ^1, ² Hongyu YANG , ^1, ² Qingwei ZHAO , ^2, ^* and Xingguo ZHANG ^1, ^*

Dongsheng HONG

1 浙江大学医学院附属第一医院药学部, 浙江杭州 310003 2 浙江省药物临床研究与评价技术重点实验室, 浙江杭州 310003

Find articles by Dongsheng HONG

Jian NI

2 浙江省药物临床研究与评价技术重点实验室, 浙江杭州 310003 3 浙江大学医学院附属第一医院信息中心, 浙江杭州 310003

Find articles by Jian NI

Wenya SHAN

1 浙江大学医学院附属第一医院药学部, 浙江杭州 310003 2 浙江省药物临床研究与评价技术重点实验室, 浙江杭州 310003

Find articles by Wenya SHAN

Lu LI

1 浙江大学医学院附属第一医院药学部, 浙江杭州 310003 2 浙江省药物临床研究与评价技术重点实验室, 浙江杭州 310003

Find articles by Lu LI

Xi HU

1 浙江大学医学院附属第一医院药学部, 浙江杭州 310003 2 浙江省药物临床研究与评价技术重点实验室, 浙江杭州 310003

Find articles by Xi HU

Hongyu YANG

1 浙江大学医学院附属第一医院药学部, 浙江杭州 310003 2 浙江省药物临床研究与评价技术重点实验室, 浙江杭州 310003

Find articles by Hongyu YANG

Qingwei ZHAO

2 浙江省药物临床研究与评价技术重点实验室, 浙江杭州 310003

Find articles by Qingwei ZHAO

Xingguo ZHANG

1 浙江大学医学院附属第一医院药学部, 浙江杭州 310003 1 浙江大学医学院附属第一医院药学部, 浙江杭州 310003 2 浙江省药物临床研究与评价技术重点实验室, 浙江杭州 310003 3 浙江大学医学院附属第一医院信息中心, 浙江杭州 310003 nc.ude.ujz@llewsdh https://orcid.org/0000-0003-2695-6353 第一作者：洪东升(1985-), 男, 博士研究生, 主管药师, 主要从事合理用药及药学信息化研究; E-mail:;

通信作者：通讯作者, emails: nc.ude.ujz@oahzwq ;[email protected] 。因此，如何在短时间内快速识别出不同抗病毒药物的不良反应信号，为临床提供决策支持和循证依据，具有重要的现实意义。

传统药物不良反应的识别通过在临床前研究和Ⅰ、Ⅱ、Ⅲ期临床试验的各个阶段，收集与药物有关或无关的不良反应事件来实现，整个过程耗时长，并不适用于突发应急事件。此外，基于试验的不良反应识别方法限制合并用药，且收集的数据类型有限，其对于长期毒性、特殊人群、合并用药等临床场景的药物不良反应识别较为困难，并不适用于公共突发事件下复杂的临床环境

为了对药物上市后出现的不良反应进行监测，很多国家和组织建立了药物监测数据库，比较著名的包括WHO的Vigibase数据系统、美国食品药品监督管理局(FDA)不良事件报告系统(FDA adverse event reporting system，FAERS)。截至2012年2月，FAERS已经累积了1000多万份不良事件报告，并已在全球范围内公开发布，可以满足数据挖掘的需求。上市后药物监测数据库的构建手段包括自发呈报系统、处方数据的分析、哨点医院项目等。针对上市后药物监测数据，在不相称性测定分析理论的基础上，国内外学者已经提出了多种信号检测方法，主要包括频数法和贝叶斯法。浙江大学医学院附属第一医院作为浙江省药物不良反应监测哨点医院，积累了丰富的上市后药物监测数据。在COVID-19疫情期间，如何以上市后药物监测数据为切入点，利用已有数据开展药物不良反应信号的快速识别(rapid identification of adverse drug reaction programme，RiADP)，是临床用药风险管理的一个重要课题。本研究在现有技术理论的基础上构建RiADP模型，以期为临床用药的风险管理和科学决策提供帮助。

1 RiADP模型的参数设定

本研究提出的RiADP模型是基于不相称性测定分析理论，结合频数法和贝叶斯法提出的药物不良反应快速识别模型。具体包括4个模型参数：药物不良反应信号信息标准值(information component，IC)、经验贝叶斯几何均值(empirical bayes geometric mean，EBGM)、报告比值比(reporting odds ratio，ROR)和不良反应报告例数(N ₁₁ )。

1.1 信息标准值

IC值是通过贝叶斯置信度递进神经网络(bayesian confidence propagation neural network，BCPNN)获得的药物与不良反应之间的关联指标。由于药物不良反应监测数据库可以表达为由a种药物和b种不良反应构成的a×b矩阵。基于目标不相称性测定分析理论，目标药物的不良反应事件在所有事件中出现的频率相对于背景事件明显不相称并达到一定的标准，则认为药物A和不良反应B是一个可疑的不良反应信号。因此，我们将IC值纳入RiADP模型，并作为首个药物不良反应的识别指标。IC值的计算公式为 ₁₁ 为目标药物的不良反应事件在数据库中的报告例数， ₁₁ 为通过BCPNN计算获得的目标药物的不良反应事件在数据库中的期望例数， P 为概率值。如果药物与不良反应不相关(样本独立)，则

RiADP模型通过IC值95 %可信区间(IC _L0.05 )的下限进行判断：IC _L0.05 大于0，代表数据库中特定药物的不良反应报告例数大于期望值，两者存在相关性；IC _L0.05 小于或等于0，代表两者之间不存在相关性

1.2 经验贝叶斯几何均值

EBGM是由伽玛泊松分布缩减法(gamma Poisson shrinker，GPS)获得的药物与不良反应之间的关联指标，也是美国FDA使用的药物不良反应监测指标，基本假设是目标药物的不良反应报告数服从泊松分布。EBGM的计算公式如下为数据库中第 i 种药物的 j 种不良反应的IC值， E 是通过GPS计算获得的期望值。RiADP模型通过EBGM是否大于9判断是否存在目标药物的不良反应事件

1.3 报告比值比

ROR是通过频数法获得的药物与不良反应之间关系的关联指标，是暴露于某一药物的特定不良反应与其他不良反应的比值除以未暴露于该药物的特定不良反应与其他所有事件之比，计算公式为 a 代表特定药物所关注不良反应事件的报告例数； b 代表特定药物的其他不良反应事件的报告例数； c 代表其他药物所关注不良反应事件的报告例数； d 代表其他药物其他不良反应的报告例数。目前法国药物警戒中心和荷兰药物警戒中心均采用ROR进行药物不良反应监测。

RiADP模型在药物不良反应监测过程中通过ROR的95 %可信区间(ROR _L0.05 )的下限进行判断。ROR _L0.05 大于0，代表特定药物与不良反应事件之间存在相关性，计算公式如下：

1.4 不良反应报告例数

RiADP模型在具体信号检测过程中，仅认为特定药物的报告例数N ₁₁ 大于等于3的不良反应事件为识别信号

2 阈值标准和R语言实现

2.1 阈值标准

在本次COVID-19疫情暴发期间，我们在现有数据的基础上，通过RiADP模型对药物不良反应信号进行识别，信号识别标准为 _L0.05 大于0；②EBGM大于9；③ROR _L0.05 大于1；④N ₁₁ 不小于3。4个药物不良反应信号必须同时满足才能构成阳性信号。

2.2 R语言实现

本研究所述的RiADP模型统计参数使用开源的R语言进行计算，具体参数值通过“dplyr”和“PhViD”两个参数包获得。模型的数据分析过程包括数据整理、数据分析和结果说明三个步骤，见图 1 。Dplyr和PhViD的安装代码如下：

An external file that holds a picture, illustration, etc. Object name is zjdxxbyxb-49-2-253-1.jpg

Open in a separate window

图1

RiADP模型数据分析流程

RiADP：药物不良反应信号的快速识别；ROR _L0.05 ：报告比值比95 %可信区间下限; IC _L0.05 ：信息标准值95 %可信区间下限；EBGM：经验贝叶斯几何均值.

install.packages("dplyr", cran_mirror=" https://mirrors.ustc.edu.cn/CRAN/ ")

install.packages("PhViD", cran_mirror=" https://mirrors.ustc.edu.cn/CRAN/ ")

数据以CSV的格式进行加载，根据PhViD函数包的要求，包括药物名称、不良反应名称、特定药物的N ₁₁ 三个变量。通过PhViD包的data.frame和as.PhViD函数将载入的CSV数据转化为R语言可理解的数据框，数据载入及分析的代码如下：

library(′dplyr′)

library(′PhViD′)

data < -read.csv(file="data.csv", header=T)

data.frame < -data.frame(data)

data.Result < -as.PhViD(data.frame, MARGIN.THRES=1)

Singnal1 < -BCPNN(data.Result, RR0=1, MIN.n11=3,

DECISION=1, DECISION.THRES=0.05,

RANKSTAT=1, MC=FALSE, NB.MC=10000)

Singnal2 < -GPS(data.Result, RR0=1, MIN.n11=3, DECISION=1,

DECISION.THRES=0.05, RANKSTAT=1, TRONC=FALSE,

TRONC.THRES=1, PRIOR.INIT=c(alpha1=0.2,

beta1=0.06, alpha2=1.4, beta2=1.8, w=0.1),

PRIOR.PARAM=NULL)

Singnal3 < -ROR(data.Result, OR0=1, MIN.n11=3,

DECISION=1, DECISION.THRES=0.05, RANKSTAT=1)

通过上述代码可以快速获得包含IC _L0.05 、EBGM和ROR _L0.05 的数据框，其中数据框中NB.SIGNALS是生成特定药物不良反应信号的数量。

2.3 RiADP模型结果的临床解读

RiADP模型结果的临床解读分为传入数据的整理和输出数据的临床解释两个部分。传入数据的整理是将监测数据库中不规范的药物名称和不良反应信息进行标准化处理，主要以药物通用名称和国际医学用语词典(medical dictionary for drug regulatory activities，MedDRA)的首选语进行编码；模型输出的检测信号利用国际医学用语词典进行术语集的系统器官分类，形成药物不良反应的分析结果，作为临床合理用药的参考。

3 基于实际监测数据的模型验证

洛匹那韦/利托那韦是浙江大学医学院附属第一医院对COVID-19患者进行抗病毒治疗的基础用药，用药期间观察到多例患者肝酶升高，临床怀疑洛匹那韦/利托那韦会引起该不良反应的发生，因此在FDA实际监测数据的基础上，通过RiADP模型对洛匹那韦/利托那韦引发的肝功能异常信号进行识别。

3.1 数据获取

数据来源于美国FDA公共数据开放项目，通过ResearchAE分析工具( https://www.researchae.com/ )，限定不良反应(Reaction)为：“hepatic enzyme increased(肝酶升高)”，目标药物通用名(Generic Name)为“Lopinavir and Ritonavir”及商品名(Brand Name)为“Kaletra”得到洛匹那韦/利托那韦为首要怀疑药物的“肝酶升高”不良反应报告( 表 1 )，形成分析数据集。表1 美国FDA关于洛匹那韦/利托那韦引起肝功能异常信号的监测数据 Table 1 Monitoring data of abnormal liver function caused by lopinvir and ritonavir in FDA

目标ADE报告数

其他ADE报告数

34 473

11 126 884

11 161 357

34 545

11 136 414

11 170 959

Open in a separate window

数据来自美国FDA公共数据开放项目，采用ResearchAE( https://www.researchae.com/ )分析获得.ADE：药物不良事件； ^* 目标药物为洛匹那韦/利托那韦； ^# 目标ADE为肝酶升高.

3.2 模型临床验证

基于上述分析数据集，本研究对RiADP模型进行验证。通过将数据集代入R语言中运行，识别出“肝酶升高”是洛匹那韦/利托那韦引起的不良反应信号，结果如下：

系统器官分类：医学检查；药物名称：洛匹那韦/利托那韦；不良反应：肝酶升高；N ₁₁ ：72；IC _L0.05 ：0.43；EBGM：30；ROR _L0.05 ：1.78；临床解释：+。

4 讨论

安全用药是当今受到广泛关注和重视的国际性问题。据WHO统计，全球每年因药物不良反应引起的住院超过4000万人次，其中有83 %是可以预防的。虽然临床试验已经用于评估药物安全性问题，但是受试验对象、试验数量、持续时间、受试者暴露特征等限制，收集到的信息是有限的，难以充分地获取药物安全的完整信息。此外，在COVID-19疫情暴发背景下，传统临床研究也受限于研究对象、研究方法和伦理等客观因素，难以快速获得特定药物的不良反应信息。因此，在公共突发事件背景下，加强药物警戒、快速识别药物潜在不良反应对于临床合理用药至关重要。针对药物监测数据库的信号挖掘成为当前抗病毒药物安全性评价的重要选择。本文针对公共卫生突发事件，提出的RiADP模型结合了频数法和贝叶斯方法，综合考虑国际主流的不良反应监测指标，在已有药物监测数据的基础上，实现药物不良反应信号快速识别。

本研究提出了RiADP模型的评价指标包括IC、EBGM、ROR和N ₁₁ ，分别通过BCPNN算法、GPS算法、频数法和系统报告例数获得。BCPNN是WHO采用的数据挖掘算法，GPS算法是美国和英国药物不良反应中心使用的数据挖掘算法，频数法是法国和荷兰药物警戒中心采用的药物不良反应监测方法。上述方法均有一定的适用性，其中贝叶斯和频数法是建立在两个不同统计学派的基础上，两者计算原理差异较大。与贝叶斯法相比，频数法检测不良反应信号的效率较高，但贝叶斯法不仅考虑了不相称信息，还考虑了总体样本信息，较频数法更为灵活稳定。目前，对于这两种方法的优劣，国际上并无统一标准。因此，本研究综合考虑了两种评价方法，通过贝叶斯法修正频数法导致假阳性率过高的问题，在一定程度上减少假阳性信号。本研究通过FDA对洛匹那韦/利托那韦的实际监测数据进行模型验证，结果显示模型评价指标之间具有较好的一致性且均大于预定阈值，经过MedDRA器官归类后，识别“肝酶升高”是洛匹那韦/利托那韦引起的医学检查项下的不良反应信号。此外，近期WHO的数据表明COVID-19患者“肝酶升高”可能由抗病毒药物引起，印证了本模型结果的可靠性。

但是，本研究建立的RiADP模型存在一定的局限性。首先，本研究基于上市后药物监测数据，数据上报者之间可能存在主观性差异，会对上报结果造成偏倚；其次，本研究通过MedDRA分层术语对不良事件进行编码，而MedDRA对不良事件的定义可能与监测数据库中的定义存在差异，这也可能造成数据结果之间的偏倚。因此，为了克服数据质量问题，需要深入理解监测数据库的报告格式，并进行数据标准化处理；最后，RiADP模型仅从数据分析的角度给出药物潜在的不良反应，其识别出的不良反应尚未经过严格医学意义上的检验和证实，临床解读须谨慎；但受限于药物不良反应的真实性检验需要进行长时间、大量的临床试验和观察等现实情况，该类证据可理解为突发公共卫生事件背景下的最佳证据。

综上所述，本研究在R语言环境下提出了一种基于上市后药物监测数据的不良反应信号快速识别方法，可以在突发公共卫生事件下实现目标药物不良反应的快速预警，为临床用药的风险管理和决策提供直观的循证依据。

Funding Statement

浙江省自然科学基金(LQ20G030025);浙江省重点研发计划(2019C04006);浙江省医药卫生科技计划(2012-KY1-001-005)

References

1. GUAN W J, NI ZY, HU Y, et al. Clinical characteristics of coronavirus disease 2019 in China. N Engl J Med. 2020 doi: 10.1056/NEJMoa2002032.
[GUAN W J, NI ZY, HU Y, et al. Clinical characteristics of coronavirus disease 2019 in China[J]. N Engl J Med, 2020. DOI:10.1056/NEJMoa2002032.] [ PMC free article ] [ PubMed ] [ CrossRef ] [ Google Scholar ]

2. PARASRAMPURIA D A, BENET L Z, SHARMA A. Why drugs fail in late stages of development: case study analyses from the last decade and recommendations. AAPS J. 2018; 20 (3):46. doi: 10.1208/s12248-018-0204-y.
[PARASRAMPURIA D A, BENET L Z, SHARMA A. Why drugs fail in late stages of development: case study analyses from the last decade and recommendations[J]. AAPS J, 2018, 20(3):46. DOI:10.1208/s12248-018-0204-y.] [ PubMed ] [ CrossRef ] [ Google Scholar ]

3. LONERGAN M, SENN S J, MCNAMEE C, et al. Defining drug response for stratified medicine. Drug Discov Today. 2017; 22 (1):173–179. doi: 10.1016/j.drudis.2016.10.016.
[LONERGAN M, SENN S J, MCNAMEE C, et al. Defining drug response for stratified medicine[J]. Drug Discov Today, 2017, 22(1):173-179. DOI:10.1016/j.drudis.2016.10.016.] [ PubMed ] [ CrossRef ] [ Google Scholar ]

4. PERINO J, MOTTAL N, BOHBOT Y, et al. Cardiac failure in patients treated with azacitidine, a pyrimidine analogue: Case reports and disproportionality analyses in Vigibase. Br J Clin Pharmacol. 2020 doi: 10.1111/bcp.14211.
[PERINO J, MOTTAL N, BOHBOT Y, et al. Cardiac failure in patients treated with azacitidine, a pyrimidine analogue: Case reports and disproportionality analyses in Vigibase[J]. Br J Clin Pharmacol, 2020. DOI:10.1111/bcp.14211.] [ PMC free article ] [ PubMed ] [ CrossRef ] [ Google Scholar ]

5. MARWITZ K, JONES S C, KORTEPETER C M, et al. An evaluation of postmarketing reports with an outcome of death in the US FDA adverse event reporting system. Drug Saf. 2020 doi: 10.1007/s40264-020-00908-5.
[MARWITZ K, JONES S C, KORTEPETER C M, et al. An evaluation of postmarketing reports with an outcome of death in the US FDA adverse event reporting system[J]. Drug Saf, 2020. DOI:10.1007/s40264-020-00908-5.] [ PubMed ] [ CrossRef ] [ Google Scholar ]

6. GENTILI M, POZZI M, PEETERS G, et al. Review of the methods to obtain paediatric drug safety information: spontaneous reporting and healthcare databases, active surveillance programmes, systematic reviews and meta-analyses. Curr Clin Pharmacol. 2018; 13 (1):28–39. doi: 10.2174/1574884713666180206164634.
[GENTILI M, POZZI M, PEETERS G, et al. Review of the methods to obtain paediatric drug safety information: spontaneous reporting and healthcare databases, active surveillance programmes, systematic reviews and meta-analyses[J]. Curr Clin Pharmacol, 2018, 13(1):28-39. DOI:10.2174/1574884713666180206164634.] [ PubMed ] [ CrossRef ] [ Google Scholar ]

7. BEHERA S K, DAS S, XAVIER A S, et al. Comparison of different methods for causality assessment of adverse drug reactions. Int J Clin Pharm. 2018; 40 (4):903–910. doi: 10.1007/s11096-018-0694-9.
[BEHERA S K, DAS S, XAVIER A S, et al. Comparison of different methods for causality assessment of adverse drug reactions[J]. Int J Clin Pharm, 2018, 40(4):903-910. DOI:10.1007/s11096-018-0694-9.] [ PubMed ] [ CrossRef ] [ Google Scholar ]

8. BATE A. Bayesian confidence propagation neural network. Drug Saf. 2007; 30 (7):623–625. doi: 10.2165/00002018-200730070-00011.
[BATE A. Bayesian confidence propagation neural network[J]. Drug Saf, 2007, 30(7):623-625. DOI:10.2165/00002018-200730070-00011.] [ PubMed ] [ CrossRef ] [ Google Scholar ]

9. KUMAR A, AHUJA J, SHRIVASTAVA TP, et al. Statistical signal process in R language in the pharmacovigilance programme of India. Ther Innov Regul Sci. 2018; 52 (3):329–333. doi: 10.1177/2168479017728988.
[KUMAR A, AHUJA J, SHRIVASTAVA TP, et al. Statistical signal process in R language in the pharmacovigilance programme of India[J]. Ther Innov Regul Sci, 2018, 52(3):329-333. DOI:10.1177/2168479017728988.] [ PubMed ] [ CrossRef ] [ Google Scholar ]

10. TUBERT-BITTER P, BÉGAUD B, AHMED I. Comparison of two drug safety signals in a pharmacovigilance data mining framework. Stat Methods Med Res. 2016; 25 (2):615–629. doi: 10.1177/0962280212462295.
[TUBERT-BITTER P, BÉGAUD B, AHMED I. Comparison of two drug safety signals in a pharmacovigilance data mining framework[J]. Stat Methods Med Res, 2016, 25(2):615-629. DOI:10.1177/0962280212462295.] [ PubMed ] [ CrossRef ] [ Google Scholar ]

11. TRIPPE Z A, BRENDANI B, MEIER C, et al. Identification of substandard medicines via disproportionality analysis of individual case safety reports. Drug Saf. 2017; 40 (4):293–303. doi: 10.1007/s40264-016-0499-5.
[TRIPPE Z A, BRENDANI B, MEIER C, et al. Identification of substandard medicines via disproportionality analysis of individual case safety reports[J]. Drug Saf, 2017, 40(4):293-303. DOI:10.1007/s40264-016-0499-5.] [ PubMed ] [ CrossRef ] [ Google Scholar ]

12. AHMED I, THIESSARD F, MIREMONT-SALAMÉ G, et al. Early detection of pharmacovigilance signals with automated methods based on false discovery rates: a comparative study. Drug Saf. 2012; 35 (6):495–506. doi: 10.2165/11597180-000000000-00000.
[AHMED I, THIESSARD F, MIREMONT-SALAMÉ G, et al. Early detection of pharmacovigilance signals with automated methods based on false discovery rates: a comparative study[J]. Drug Saf, 2012, 35(6):495-506. DOI:10.2165/11597180-000000000-00000.] [ PubMed ] [ CrossRef ] [ Google Scholar ]

13. TIMBROOK T T, MCKAY L, SUTTON J D, et al. Disproportionality analysis of safety with nafcillin and oxacillin with the FDA Adverse Event Reporting System (FAERS) Antimicrob Agents Chemother. 2020; 64 (3) doi: 10.1128/AAC.01818-19.
[TIMBROOK T T, MCKAY L, SUTTON J D, et al. Disproportionality analysis of safety with nafcillin and oxacillin with the FDA Adverse Event Reporting System (FAERS)[J]. Antimicrob Agents Chemother, 2020, 64(3). DOI:10.1128/AAC.01818-19.] [ PMC free article ] [ PubMed ] [ CrossRef ] [ Google Scholar ]

14. SAKAEDA T, TAMON A, KADOYAMA K, et al. Data mining of the public version of the FDA Adverse Event Reporting System. Int J Med Sci. 2013; 10 (7):796–803. doi: 10.7150/ijms.6048.
[SAKAEDA T, TAMON A, KADOYAMA K, et al. Data mining of the public version of the FDA Adverse Event Reporting System[J]. Int J Med Sci, 2013, 10(7):796-803. DOI:10.7150/ijms.6048.] [ PMC free article ] [ PubMed ] [ CrossRef ] [ Google Scholar ]

15. VERDEN A, DIMBIL M, KYLE R, et al. Analysis of spontaneous postmarket case reports submitted to the FDA regarding thromboembolic adverse events and JAK inhibitors. Drug Saf. 2018; 41 (4):357–361. doi: 10.1007/s40264-017-0622-2.
[VERDEN A, DIMBIL M, KYLE R, et al. Analysis of spontaneous postmarket case reports submitted to the FDA regarding thromboembolic adverse events and JAK inhibitors[J]. Drug Saf, 2018, 41(4):357-361. DOI:10.1007/s40264-017-0622-2.] [ PubMed ] [ CrossRef ] [ Google Scholar ]

16. BROWN E G. Methods and pitfalls in searching drug safety databases utilising the Medical Dictionary for Regulatory Activities (MedDRA) Drug Saf. 2003; 26 (3):145–158. doi: 10.2165/00002018-200326030-00002.
[BROWN E G. Methods and pitfalls in searching drug safety databases utilising the Medical Dictionary for Regulatory Activities (MedDRA)[J]. Drug Saf, 2003, 26(3):145-158. DOI:10.2165/00002018-200326030-00002.] [ PubMed ] [ CrossRef ] [ Google Scholar ]

17. WHO. Global Health Observatory (GHO) data[DB/OL].[2020-03-10]. .

18. MANSUR J M. Medication safety systems and the important role of pharmacists. Drugs Aging. 2016; 33 (3):213–221. doi: 10.1007/s40266-016-0358-1.
[MANSUR J M. Medication safety systems and the important role of pharmacists[J]. Drugs Aging, 2016, 33(3):213-221. DOI:10.1007/s40266-016-0358-1.] [ PubMed ] [ CrossRef ] [ Google Scholar ]

19. LINDQUIST M. Use of triage strategies in the WHO signal-detection process. Drug Saf. 2007; 30 (7):635–637. doi: 10.2165/00002018-200730070-00014.
[LINDQUIST M. Use of triage strategies in the WHO signal-detection process[J]. Drug Saf, 2007, 30(7):635-637. DOI:10.2165/00002018-200730070-00014.] [ PubMed ] [ CrossRef ] [ Google Scholar ]

20. SZARFMAN A, TONNING J M, DORAISWAMY P M. Pharmacovigilance in the 21st century: new systematic tools for an old problem. Pharmacotherapy. 2004; 24 (9):1099–1104. doi: 10.1592/phco.24.13.1099.38090.
[SZARFMAN A, TONNING J M, DORAISWAMY P M. Pharmacovigilance in the 21st century: new systematic tools for an old problem[J]. Pharmacotherapy, 2004, 24(9):1099-1104. DOI:10.1592/phco.24.13.1099.38090.] [ PubMed ] [ CrossRef ] [ Google Scholar ]

21. SCHOLL J H, VAN PUIJENBROEK E P. The value of time-to-onset in statistical signal detection of adverse drug reactions: a comparison with disproportionality analysis in spontaneous reports from the Netherlands. Pharmacoepidemiol Drug Saf. 2016; 25 (12):1361–1367. doi: 10.1002/pds.4115.
[SCHOLL J H, VAN PUIJENBROEK E P. The value of time-to-onset in statistical signal detection of adverse drug reactions: a comparison with disproportionality analysis in spontaneous reports from the Netherlands[J]. Pharmacoepidemiol Drug Saf, 2016, 25(12):1361-1367. DOI:10.1002/pds.4115.] [ PubMed ] [ CrossRef ] [ Google Scholar ]

22. PHAM M, CHENG F, RAMACHANDRAN K. A comparison study of algorithms to detect drug-adverse event associations: frequentist, bayesian, and machine-learning approaches. Drug Saf. 2019; 42 (6):743–750. doi: 10.1007/s40264-018-00792-0.
[PHAM M, CHENG F, RAMACHANDRAN K. A comparison study of algorithms to detect drug-adverse event associations: frequentist, bayesian, and machine-learning approaches[J]. Drug Saf, 2019, 42(6):743-750. DOI:10.1007/s40264-018-00792-0.] [ PubMed ] [ CrossRef ] [ Google Scholar ]

Articles from Journal of Zhejiang University (Medical Sciences) are provided here courtesy of Zhejiang University Press