Chinese spelling correction method based on ChineseBert

Cui Fan , Qiang Jipeng ^, , Zhu Yi , Li Yun

School of Information Engineering，Yangzhou University，Yangzhou，225127，China

中文拼写错误主要集中在拼音相似和字形相似两个方面，而通用的预训练语言模型只考虑文本的语义信息，忽略了中文的拼音和字形特征.最新的中文拼写纠错（Chinese Spelling Correction，CSC）方法在预训练模型的基础上利用额外的网络来融入拼音和字形特征，但和直接微调预训练模型相比，改进的模型没有显著提高模型的性能，因为由小规模拼写任务语料训练的拼音和字形特征，和预训练模型获取的丰富语义特征相比，存在严重的信息不对等现象.将多模态预训练语言模型ChineseBert应用到CSC问题上，由于ChineseBert已将拼音和字形信息放到预训练模型构建阶段，基于ChineseBert的CSC方法不仅无须构建额外的网络，还解决了信息不对等的问题.由于基于预训练模型的CSC方法普遍不能很好地处理连续错误的问题，进一步提出SepSpell方法.首先利用探测网络检测可能错误的字符，再对可能错误的字符保留拼音特征和字形特征，掩码对应的语义信息进行预测，这样能降低预测过程中错误字符带来的干扰，更好地处理连续错误问题.在三个官方评测数据集上进行评估，提出的两个方法都取得了非常不错的结果. 中文拼写纠错 ChineseBert 多模态语言模型 Chinese spelling errors mainly focuse on both phonetic and glyph similar. General pretrained language models only consider the semantic information of the text，ignoring the Chinese phonetic and glyph features. The latest Chinese Spelling Correction (CSC) methods incorporate pinyin and glyph features via additional networks on the basis of the pretrained language models. Compared with fine⁃tuning pretrained model directly，the improved model does not significantly improve the performance of CSC task. Because of the phonetic and glyphic features trained by the small⁃scale spelling task corpus，there is a serious information asymmetry compared with the rich semantic features obtained by the pre⁃training model. To betterly solve the information asymmetry，this paper tries to apply the multimodal pre⁃training language model ChineseBert to the CSC problem. Since ChineseBert combines phonetic and glyph information into the pre⁃training model building stage，CSC based on ChineseBert not only needn't to build additional networks，but also solve the problem of information asymmetry. The CSC method based on the pretrained model generally cannot deal with continuous errors very well. Therefore，we propose a novel method SepSpell，which firstly uses the probing network to detect potentially incorrect characters，and preserves the phonetic and glyphic features of the characters that may be incorrect to predict the corresponding semantic information of the mask. SepSpell reduces the interference caused by incorrect characters during the prediction process，so as to better handle the problem of continuous errors. Evaluating on three official evaluation datasets prove both methods with very good results. Keywords： Chinese Spelling Correction ChineseBert multimodal pretrained modeling

本文引用格式

崔凡, 强继朋, 朱毅, 李云. 基于ChineseBert的中文拼写纠错方法 . 南京大学学报（自然科学） [J], 2023, 59(2): 302-312 doi:10.13232/j.cnki.jnju.2023.02.013 Cui Fan, Qiang Jipeng, Zhu Yi, Li Yun. Chinese spelling correction method based on ChineseBert . Journal of nanjing University [J], 2023, 59(2): 302-312 doi:10.13232/j.cnki.jnju.2023.02.013

中文拼写纠错（Chinese Spelling Correction，CSC）是一项中文自然语言处理任务，旨在检测并校正文本错误，可用于浏览器搜索优化 ^{［ 1 ］} 、光学字符识别 ^{［ 2 ］} 和论文评分 ^{［ 3 ］} 等任务.早期的CSC研究遵循错误检测、候选生成和候选选择的流程 ^{［ 4 - 6 ］} ，但由于缺乏标注语料，这些方法几乎都采用了无监督的n⁃gram统计语言模型.尽管这些模型具有简单、容易解释等优势，但由于其很难获取文本的深层语义信息，效果不佳.

最近，随着大型预训练语言模型的成功（如Bert ^{［ 7 ］} ，Roberta ^{［ 8 ］} ），基于预训练语言模型的CSC方法也被提出.Hong et al ^{［ 2 ］} 提出FASpell模型，采用Bert作为CSC的去噪自动编码器来生成候选字符，并通过计算字符之间的相似度来筛选字符.虽然获得了不错的结果，但由于Bert等预训练语言模型只考虑字符的语义信息，导致生成的候选字符更多地只考虑语义相似的字符.Liu et al ^{［ 9 ］} 指出，大约83%的错误与语音相似性有关，48%与视觉相似性有关.如 图1 a所示，一些工作在预训练语言模型中，通过额外网络融入语音和视觉信息辅助生成候选字符.例如，Cheng et al ^{［ 10 ］} 提出SpellGCN模型，利用Bert初始化每个字符的节点特征，再使用两个图卷积网络在混淆集上分别学习字符之间的形状和拼音的相似关系.Xu et al ^{［ 11 ］} 提出REALISE模型，通过额外的GRU （Gated Recurrent Unit）网络和卷积网络分别获取字符的字音和字形特征.Huang et al ^{［ 12 ］} 提出PHMOSpell模型，通过VGG19和神经TTS网络分别获取字符的字形和字音特征等.但基于该框架训练的CSC模型只能利用CSC语训练得到的拼音和字形特征，与预训练模型获取的语义特征之间存在特征不对等的问题.但如果预训练语言模型在构建时融入拼音和字形等特征（如 图1 b所示），就不需要构建额外的网络，可直接进行中文拼写纠错，不仅简化了模型结构，也解决了因训练数据不同带来的特征信息不对等问题.

ChineseBert直接对输入的句子进行预测，当句子中存在连续拼写错误时，其真实含义可能会因为错误字符而发生很大的变化，模型几乎不能捕捉句子准确表达的意思，而两个及更多字组成的词出错是很常见的.例如，用户想输入句子“他上课经常迟到”，而根据拼音“chidao”选择词的时候，有可能选择“赤道”，造成拼写错误.连续的错误字符通常会混淆上下文语义环境，预测“赤”的可能候选词时会受“道”的干扰，反之亦然，导致模型不能正确预测 ^{［ 14 ］} .

为了更好地处理连续拼写错误的问题，本文基于ChineseBert进一步提出新的CSC方法SepSpell，包含一个探测模型和校正模型，其中探测模型采用与探测任务更吻合的ELECTRA ^{［ 15 ］} 作为模型编码器，校正模型仍然采用ChineseBert模型.校正过程中，利用探测网络找到可能错误的字符的位置，利用mask字符屏蔽错误字符的语义特征，保留对预测输出有帮助的字形和字音特征.和直接利用ChineseBert的方法相比，SepSpell能较好地处理连续的拼写错误.在三个人工标注的数据集SIGHAH2013，SIGHAH2014，SIGHAH 2015上，SepSpell的校正水平比ChineseBert的 F 1分别提高3.0%，1.9%和2.1%.考虑到官方基准数据集中缺乏连续错误的案例，根据拼音输入法会出现连续错误的特点，构建用于训练和评估连续错误的数据集.在相同数据集训练下，SepSpell的校正水平比直接微调预训练模型的Roberta ^{［ 8 ］} 的 F 1提高约10%，验证了SepSpell针对连续错误问题的有效性.

早期的CSC研究主要集中在基于规则的无监督方法上，设计各种规则来处理不同类型的拼写错误 ^{［ 4 - 6 ］} .这些方法几乎都使用了n⁃gram语言模型，即如果一个字符在n⁃gram语言模型中出现的概率低于预定义的阈值，就被认为是拼写错误.在校正方面，混淆集被广泛使用作为候选词的生成.随着神经网络的发展，一些研究将CSC任务视为序列标记任务 ^{［ 21 ］} ，使用双向LSTM （Long Short⁃Term Memory）作为模型框架.序列对序列框架中的复制机制也被引入CSC，但其只是从混淆集中复制可能的校正词 ^{［ 22 ］} .

随着大型预训练语言模型的巨大成功 ^{［ 7 - 8 ］} ，许多基于Bert的CSC模型被提出，也取得了很大进展.Hong et al ^{［ 2 ］} 提出的FASpell中，语言模型被用作候选词生成器，并采用置信度⁃相似度曲线来选择最佳候选词.Soft⁃Masked⁃Bert ^{［ 23 ］} 由基于GRU的错误检测模块和基于Bert的错误纠正模块组成，但Bert预训练语言模型只考虑字符的语义特征，忽略了字符的字形字音特征.为此，很多工作都设计了独特的网络将字形字音特征融入预训练模型 ^{［ 10 - 12 ］} ，然而，这种通过额外网络融合拼音和字形特征的方法，不仅使CSC模型整体更加复杂，而且由于拼音和字形特征和语义特征训练时的语料不同，导致得到的字形、拼音和语义出现特征信息不对等的问题，使模型的性能提升有限.不同于先前的基于预训练语言模型的工作，本文尝试利用文本、拼音和字形训练的多模态中文预训练语言模型ChineseBert来解决CSC任务.

最近，一些研究开始关注由错误字符引起的噪声信息问题.Guo et al ^{［ 24 ］} 提出一个全局注意力解码器（Global Attention Decoder，GAD）来缓解噪声信息的影响.Wang et al ^{［ 14 ］} 提出动态连接网络（Dynamic Connected Networks，DCN）来学习两个相邻汉字之间的依赖关系，一定程度上避免了模型因噪声影响输出不连贯的语句.Wang and Shang ^{［ 25 ］} 通过对候选句子重新进行评估，找到与原始错误字符相比在字符概率和相似度方面最好的句子来避免噪声的影响.这些方法虽然在一定程度上提高了模型的性能，但本质上都是对模型校正之后结果的重新筛选和排序，噪声信息仍被输入了模型，干扰了模型的预测.与这些方法不同，本文提出的SepSpell方法通过mask字符将屏蔽噪声之后的语句输入模型，从源头解决了噪声干扰问题.

预训练模型最初是为英语设计的，所以在当前的大规模中文预训练模型中缺少两个特定于中文的重要特征：字形信息和拼音信息.中文是象形文字，字形和字音特征包含重要信息，对语言理解十分重要.在此背景下，Sun et al ^{［ 13 ］} 提出全新的中文预训练模型Chinese⁃Bert，如 图2 所示，根据中文特点，对每个汉字，首先将其语义特征、字形特征和字音特征串联起来，然后通过一个全连接层映射到同一维度，形成融合特征，最后将融合特征向量与位置编码向量一起作为Bert模型的输入，同时使用全词掩蔽 ^{［ 8 ］} 和字符掩蔽进行预训练.和通用的中文预训练模型相比，ChineseBert在广泛的中文NLP （Natural Language Processing）任务上实现了最佳性能，也验证了获取的字形字音特征的有效性.

基于ChineseBert的CSC方法是在不添加额外的网络的前提下，仅利用ChineseBert预训练模型在CSC训练数据集上进行微调，输入包含拼写错误的句子，输出正确的句子.和Bert模型相比，ChineseBert唯一不一样的是输入的是字符的多模态特征.具体地，利用 式（1）融合字符 x i 的语义向量 e w i 、字形向量 e s i 和字音向量 e p i ，得到融合向量 e f u s i o n _ i ；利用 式（2）将融合特征向量 e f u s i o n _ i 与位置编码向量 e p o s _ i 一起作为Bert模型的输入进行训练.

e f u s i o n _ i = W f c e w i ⊕ e s i ⊕ e p i (1) y ^ i = S o f t m a x W o B E R T e f u s i o n _ i + e p o s _ i (2)

其中， ⊕ 表示拼接操作， W f c ∈ ℝ 3 d s × d s 是可学习参数的全连接层， + 表示相加操作， B E R T 表示Bert编码器， W o ∈ ℝ d s × v 表示映射到词表上的全连接层， y ^ i 表示预测第 i 个字符的概率分布.

最终，ChinesBert使用交叉熵损失对模型进行优化：

ℒ y ^ , y = - ∑ i = 1 N y i l g y ^ i (3)

SepSpell的框架如 图3 所示，该方法将CSC任务分为探测模型和校正模型两个部分.首先，探测模型找到文本中可能错误的字符，屏蔽其语义特征（ 图3 中用M表示），仅保留对模型最终预测有帮助的字形字音特征；然后，将降噪后的融合特征输入校正模型中进行校正.由于校正模型在输入时就已经屏蔽了错误字符的语义特征，再加上字形字音对模型预测的限制，使SepSpell方法能更好地处理连续错误问题.

探测模型的目标是识别错误字符位置，一般被转化为序列标注问题，分别用0和1表示正确和错误字符.由于探测任务中错误字符相当于对正确字符进行了替换，所以本文采用和探测任务更吻合的ELECTRA ^{［ 15 ］} 作为模型编码器.模型输入的是 embeddings 的序列 E = e 1 , e 2 , ⋯ , e N ，其中， e i 表示字符 x i 特征向量（字符语义特征向量、位置向量和句子段向量之和）.输出标签序列 O = { o 1 , o 2 , ⋯ , o N } ，其中， o i 表示第 i 个字符的标签，1表示该字符不正确，0表示正确.对于每个字符，利用sigmoid函数获取的概率 P i 表示字符错误的概率， P i 越高，字符错误的可能性越大.对于序列的每个字符，其错误概率 P i 定义如下：

P i = P d o i = 1 X = σ W d H d i + b d (4)

其中， H d i 表示字符 x i 经过编码器之后最后一层的输出， W d 和 b d 是可学习二分类参数.

最后，使用二分类的交叉熵损失函数对探测模型进行优化.由于在CSC任务中，句子中的正确字符数远大于错误字符数，为了解决正负样本不均衡的问题，将正确字符与错误字符的损失权重设置为1∶5，如 式（5）所示：

ℒ = - 1 N ∑ i = 1 N 5 ⋅ o i ⋅ l g P i + 1 - o i ⋅ l g 1 - P i (5)

校正模型对预测正确的字符采取直接复制的方式，所以，为了尽可能发现错误字符，降低了探测模型判断为正类的阈值 Err .在二分类任务中，该值通常为0.5.本文实验中将阈值设置为0.05， P i ≥ 0.05 时判定该字符错误， P i < 0.05 时判定该字符正确，如 式（6）所示：

P i = 1 , i f P i ≥ 0.05 0 , i f P i < 0.05 (6)

在校正模型进行推理时，由于错误字符的位置未知，需要先借助探测模型找出句子中可能错误的字符，然后将可能错误字符的语义特征用mask字符进行屏蔽，保留字形字音特征.不同于训练阶段，字符 x i 的融合特征 e f u s i o n _ i 表示为：

e f u s i o n _ i = W f c e w i ⊕ e s i ⊕ e p i , i f P i = 0 W f c e m a s k ⊕ e s i ⊕ e p i , i f P i = 1 (8)

由于在输入时屏蔽了错误字符的语义特征，校正模型仅通过上下文信息对屏蔽的语义进行预测，再加上字形和字音信息的限制，能够更好地降低错误字符的影响.

在获取所有的预测字符时，模型没有直接使用所有的预测字符作为最后的输出结果.对于探测模型预测为正确的字符，保留输入的原字符；探测模型预测为错误的字符，才使用校正模型的输出结果.如 图3 所示，校正模型虽然输出了每个字符的预测，但在最终阶段，仅保留探测模型预测为错误的字符“经”“赤道”对应的输出“经”“迟到”.

遵循先前的工作 ^{［ 2 ， 10 ］} ，使用SIGHAN官方训练数据和Wang et al ^{［ 21 ］} 生成的伪数据作为训练集，并使用SIGHAN2013，SIGHAN 2014，SIGHAN2015为测试集.训练集和测试集的统计结果如 表1 所示.由于原始数据是繁体中文，使用OpenCC （https：∥github.com/BYVoid/OpenCC）将其转化为简体中文，再利用Xu et al ^{［ 11 ］} 的方法，对转化过程中的错误进行处理（如著→着，妳→你）.由于SIGHAN2013测试集中人为标注语料的质量较差，相当多的助词“的”“地”“得”的混合用法没有标注 ^{［ 10 ］} ，导致性能良好的模型在该数据集上的分数不佳.为了缓解这个问题，本文也采用Xu et al ^{［ 11 ］} 的后处理方法，从模型输出中删除所有检测和更正的“的”“地”“得”.

实验中使用的数据集统计 Table 1 Dataset statistics used in experiments

Train Set	#Sent	Avg.Length	#Errors
（wang）	271329	44.4	271329
SIGHAN2013	700	49.2	350
SIGHAN2014	3435	49.7	3432
SIGHAN2015	2339	30.0	2339
Test Set	#Sent	Avg.Length	#Errors
SIGHAN2013	1000	74.1	996
SIGHAN2014	1062	50.1	529
SIGHAN2015	1100	30.5	550

新窗口打开 | 下载CSV

表2 给出了本文方法和四个基线模型在测试集SIGHAN2013，SIGHAN 2014，SIGHAN2015上字符级别和句子级别检测和校正水平的评估结果，表中黑体字表示结果最优.

各算法在SIGHAN2013，SIGHAN2014和SIGHAN2015三个测试集上的实验结果 Table 2 Experimental results of different algorithms on three test sets of SIGHAN2013，SIGHAN2014 and SIGHAN2015

	Character Level						Sentence Level
	Detection Level			Correction Level			Detection Level				Correction Level
SIGHAN2013	P	R	F	P	R	F	Acc	P	R	F	Acc	P	R	F
SpellGCN	82.6%	88.9%	85.7%	98.4%	88.4%	93.1%	(-)	80.1%	74.4%	77.2%	(-)	78.3%	72.7%	75.4%
REALISE	(-)	(-)	(-)	(-)	(-)	(-)	82.7%	88.6%	82.5%	85.4%	81.4%	87.2%	81.2%	84.1%
DCN	(-)	(-)	(-)	(-)	(-)	(-)	(-)	86.8%	79.6%	83.0%	(-)	84.7%	77.7%	81.0%
Roberta	80.5%	88.0%	84.1%	98.0%	86.5%	91.9%	77.3%	85.1%	76.9%	80.8%	75.6%	83.6%	76.0%	79.6%
ChineseBert	79.4%	91.2%	84.9%	98.1%	95.3%	96.7%	81.4%	85.6%	81.3%	83.4%	80.0%	84.1%	79.9%	81.9%
SepSpell	78.9%	91.4%	84.7%	98.4%	95.4%	96.9%	83.9%	88.5%	84.0%	86.2%	82.7%	87.2%	82.8%	84.9%
SIGHAN2014	P	R	F	P	R	F	Acc	P	R	F	Acc	P	R	F
SpellGCN	83.6%	78.6%	81.0%	97.2%	76.4%	85.5%	(-)	65.1%	69.5%	67.2%	(-)	63.1%	67.2%	65.3%
REALISE	(-)	(-)	(-)	(-)	(-)	(-)	78.4%	67.8%	71.5%	69.6%	77.7%	66.3%	70.0%	68.1%
DCN	(-)	(-)	(-)	(-)	(-)	(-)	(-)	67.4%	70.4%	68.9%	(-)	65.8%	68.7%	67.2%
Roberta	82.6%	78.0%	80.2%	96.9%	75.9%	85.1%	74.1%	61.2%	67.3%	64.1%	73.6%	60.3%	66.4%	63.2%
ChineseBert	80.3%	79.4%	79.8%	97.1%	88.4%	92.5%	77.1%	66.0%	68.1%	67.1%	76.4%	64.6%	66.5%	65.5%
SepSpell	79.9%	79.6%	79.8%	98.0%	89.2%	93.4%	78.3%	67.2%	71.2%	69.1%	77.5%	65.5%	69.4%	67.4%
SIGHAN2015	P	R	F	P	R	F	Acc	P	R	F	Acc	P	R	F
SpellGCN	88.9%	87.7%	88.3%	95.7%	83.9%	89.4%	(-)	74.8%	80.7%	77.7%	(-)	72.1%	77.7%	75.9%
REALISE	(-)	(-)	(-)	(-)	(-)	(-)	84.7%	77.3%	81.3%	79.3%	84.0%	75.9%	79.9%	77.8%
DCN	(-)	(-)	(-)	(-)	(-)	(-)	(-)	77.1%	80.9%	79.0%	(-)	74.5%	78.2%	76.3%
Roberta	86.9%	87.3%	87.1%	95.1%	82.0%	88.1%	82.9%	73.2%	80.4%	76.7%	81.7%	71.0%	78.0%	74.5%
ChineseBert	87.5%	87.6%	87.5%	96.1%	92.1%	94.0%	84.9%	77.1%	81.3%	79.1%	83.8%	75.0%	79.1%	77.0%
SepSpell	87.0%	86.5%	86.7%	97.3%	92.4%	94.8%	86.6%	81.7%	80.6%	81.1%	85.6%	79.6%	78.6%	79.1%

新窗口打开 | 下载CSV

由表可见，在字符级别，ChineseBert的探测和校正水平优于Roberta.SepSpell由于在探测模型阶段为了召回更多的错误字符将阈值 Err 设置得很低，使输入校正模型的噪声增多，导致其探测水平的精确率比SpellGCN和ChineseBert低.在校正水平上，现有的评估方法只针对探测模型预测正确的字符计算得到.以测试集SIGHAN2013为例，对于探测模型预测正确的所有字符，SepSpell的校正模型对其中95.4%的字符都进行了修改，且98.4%的修改都是正确的.与其他最先进的模型相比，在校正水平上，SepSpell在三个测试集上均获得了最好的结果.

在句子级别的评估结果中，ChineseBert的性能接近之前最先进的模型.和ChineseBert相比，SepSpell在SIGHAN2015上检测和校正水平的 F 1分别又提高了2.0%和2.1%，在SIGHAN 2013上分别提高了2.8%和3.0%.和以往的最佳模型REALISE相比，SepSpell仅在SIGHAN2014测试集上校正水平的 F 1低0.7%，此结果仍然非常具有竞争力，而在SIGHAN2013和SIGHAN2015测试集上校正水平的 F 1分别提高了0.8%和1.3%.与之前的先进模型相比，使用ChineseBert作为预训练语言模型，将字符的字音和字形特征的提取工作放到预训练模型阶段，不仅极大地简化了整体CSC模型的结构，而且，由于字音和字形特征是经过大规模语料统一训练得到的，也使训练得到的字音特征和字形特征更具泛化性.

此外， 表3 还给出了使用CSC官方测试评估工具（http：∥nlp.ee.ncu.edu.tw/resource/csc.html）评估测试集SIGHAN2015的结果，表中黑体字代表结果最优.与最新的方法相比，ChineseBert和SepSpell均获得了非常好的结果，充分证明了这两个方法的有效性.

SIGHAN2015官方工具评估的性能 Table 3 Performance evaluated by SIGHAN2015 official tools

Method	Detection Level				Correction Level
	Acc	P	R	F	Acc	P	R	F
SpellGCN	83.7%	85.9%	80.6%	83.1%	82.2%	85.4%	77.6%	81.3%
DCN	84.6%	88.0%	80.2%	83.9%	83.2%	87.6%	77.3%	82.1%
Roberta	82.9%	84.1%	80.4%	82.2%	81.7%	83.7%	78.0%	80.8%
ChineseBert	84.9%	87.1%	81.3%	84.1%	83.8%	86.8%	79.1%	82.8%
SepSpell	86.6%	91.2%	80.6%	85.6%	85.6%	91.0%	78.6%	84.3%

新窗口打开 | 下载CSV

实验结果如 图4 所示.由图可见，随着阈值的降低，探测模型的 P 下降，错误字符的召回率 R 提高.但由于召回率 R 已接近最大值100%， Err 的降低对召回率 R 的提升增益在不断减小，而精确率 P 却下降得很快，导致综合性能的 F 1一直在下降.实验中选择 F 1最好的 Err ，即0.05.

为了进一步探究探测模型中的超参数 Err 对校正模型的影响，将 Err 分别设定为0.03，0.05，0.1，0.2，0.5进行实验.由于 Err 对三个测试集影响的趋势相同，所以仅在SIGHAN2015上进行测试，实验结果如 图5 所示.由图可见，随着探测器阈值 Err 的降低，校正模型的探测和校正水平的 F 1在不断提高，在 E r r = 0.05 时达到最高，随后开始下降.通过前面的实验可以发现，虽然降低 Err 能提高错误字符的召回率 R ，但不断的下降使其对召回率 R 的影响越来越小，而精确率下降得更明显，显然当 E r r = 0.03 时，校正模型的性能反而降低了.

为了更直观地展示字形特征和字音特征对模型预测的影响， 表4 给出了三个案例的预测结果.和Roberta相比，本文提出的两个方法都融合了字符的字形和字音特征.第一种情况，词语“凭断”中的“凭”是错误字符，如果没有字音限制，模型倾向于将其修改为“判断”.第二种情况，“田”和“由”的字形非常相似，ChineseBert和SepSpell均能将“田来”纠正为更好的“由来”.第三种情况更常见，因为汉字的特点，往往字形相似的两个汉字也同时具有相似的发音.尽管Roberta将“开郎”修改为“开心”并没有语法错误，但对比原句，结合字形和字音的限制，显然纠正为“开朗”更合适.从这些案例中，可以看出字符的字形特征和字音特征能将不正确的字符修改为具有发音和形状约束的正确字符.

Table 4 Cases' analysis

Pronunciation：píng→píng
Src：…就主观立场来凭断任何一句人事物，….
Roberta：…就主观立场来判断任何一句人事物，….
ChineseBert：…就主观立场来评断任何一句人事物，….
SepSpell：…就主观立场来评断任何一句人事物，….
Shape：田→由
Src：…的文章田来经常都是下了很大的功夫…
Roberta：…的文章出来经常都是下了很大的功夫…
ChineseBert：…的文章由来经常都是下了很大的功夫…
SepSpell：…的文章由来经常都是下了很大的功夫…
Both：láng→lǎng；郎→朗
Src：…不好的事情也要开郎地度过…
Roberta：…不好的事情也要开心地度过…
ChineseBert：…好的事情也要开朗地度过…
SepSpell：…不好的事情也要开朗地度过…

新窗口打开 | 下载CSV

表5 是构造测试集中两种类型的句子：第一种类型，“几折”应为“记者”；第二种类型，“人”应为“认”.尽管第二句只有一个错字，但这样其实更符合拼音打字时因疏忽造成的错误，因为“认为”和“人为”拼音相同，经常同时存在于拼音输入法的候选词中.为了使构造的数据集更具有真实性，保留了这种类型的错误.经过统计，共构建119509条训练集，1047条测试集，其中第一种和第二种类型句子的数量比接近2∶1.

连续错误数据集举例 Table 5 Examples of connection error dataset

几折1日从广东省湛江市中级人民法院获悉，…
普京人为，针对平民的恐怖主义行为没有任何道理…

新窗口打开 | 下载CSV

为了进行对比，将Roberta，ChineseBert，SepSpell三种方法使用相同的训练集和实验参数设置进行训练，并使用句子级别的评估指标来进行对比，最终的实验结果如 表6 所示，表中黑体字代表结果最优.由表可见，SepSpell的探测和校正水平的指标都是最好的.值得注意的是，虽然Roberta和ChineseBert方法在探测水平上均获得了不错的 F 1分数，但在校正水平上，两个方法的 F 1分数和探测水平相比，均出现断崖式下降，分别下降了15%和10.1%，说明在含有噪声的文本环境中，Roberta和ChineseBert虽然能检测句子中的错误，但不能将其正确校正.相反，SepSpell校正水平的 F 1比Roberta提高接近10%，证明SepSpell对连续错误的校正的有效性.

SepSpell方法在连续错误问题上的表现 Table 6 Performance of SepSpell on continuous error problems

	探测水平				校正水平
	Acc	P	R	F	Acc	P	R	F
Roberta	87.3%	91.3%	87.3%	89.3%	72.7%	76.0%	72.7%	74.3%
ChineseBert	85.2%	88.8%	85.2%	86.9%	75.5%	78.6%	75.5%	77.0%
SepSpell	88.8%	92.8%	88.8%	90.8%	81.6%	85.2%	81.6%	83.4%

新窗口打开 | 下载CSV

为了探究模型的推理效率，按照Hong et al ^{［ 2 ］} 的设定，根据每句话的绝对时间消耗来衡量模型的推理速度.为了减少硬件造成的速度差异，在i5⁃6300 CPU上比较FASpell，Roberta，ChineseBert，SepSepll四个模型的推理速度，实验结果如 表7 所示.由表可见，因为不需要进行任何后处理操作，ChineseBert和Roberta的速度最快，而SepSpell需要经过两遍的网络探测和校正，和Roberta和ChinseeBert相比耗时翻倍，但由于采用了非自回归的解码方式，加上模型性能的提升，增加的时间损耗还是值得的.另外，和FASpell相比，两者虽然耗时相差不大，但SepSpell仍然具有优势，因为SepSpell可以直接输出对文本的预测结果，不需要对模型的预测重新进行筛选和排序.

模型的推理速度（ms per sentence） Table 7 Model inference speed (ms per sentence)

Test Set	FASpell	Roberta	ChineseBert	SepSpell
SIGHAN2013	446	160.3	164.2	335.0
SIGHAN2014	284	132.5	138.0	266.2
SIGHAN2015	177	81.8	83.7	179.3

新窗口打开 | 下载CSV Devlin J ， Chang M W ， Lee K ， et al .

Bert：Pre⁃training of deep bidirectional transformers for language understanding

∥ Proceedings of 2019 Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies，Volume 1 (Long and Short Papers) . Minneapolis，MI，USA ： Association for Computational Linguistics ， 2019 ： 4171 - 4186 . Cheng X Y ， Xu W D ， Chen K L ， et al .

SpellGCN：Incorporating phonological and visual similarities into language models for Chinese spelling check

∥ Proceedings of the 58 ^th Annual Meeting of the Association for Computational Linguistics. Seatle，Washington DC，USA ： Association for Computational Linguistics ， 2020 ： 871 - 881 . Huang L ， Li J J ， Jiang W W ， et al .

PHMOSpell：Phonological and morphological knowledge guided Chinese spelling check

∥ Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1：Long Papers) . Bangkok, Thailand ： Association for Computational Linguistics ， 2021 ： 5958 - 5967 . Sun Z J ， Li X Y ， Sun X F ， et al .

ChineseBERT：Chinese pretraining enhanced by glyph and pinyin information

∥ Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1：Long Papers) . Bangkok, Thailand ： Association for Computational Linguistics ， 2021 ： 2065 - 2075 . Rao G Q ， Gong Q ， Zhang B l ， et al . Overview of NLPTEA⁃2018 share task Chinese grammatical error diagnosis∥/Proceedings of the 5 ^th Workshop on Natural Language Processing Techniques for Educational Applications. Melbourne，Australia ： Association for Computational Linguistics ， 2018 ： 42 - 51 . Fu R J ， Pei Z Q ， Gong J F ， et al .

Chinese grammatical error diagnosis using statistical and prior knowledge driven features with probabilistic ensemble enhancement

∥ Proceedings of the 5 ^th Workshop on Natural Language Processing Techniques for Educational Applications. Melbourne，Australia ： Association for Computational Linguistics ， 2018 ： 52 - 59 .