文心大模型首场技术开放日已经圆满结束。在本次活动中，文心大模型背后的“技术天团”首次集中亮相，分享大模型技术发展趋势洞察、文心大模型最新技术突破及产业应用实践，为技术爱好者带来一场干货满满的AI技术盛宴。
本篇文章整理自百度技术委员会主席吴华《文心大模型：知识增强的NLP模型详解》直播分享。
现在，让我来解读文心·NLP大模型的发展历程。在这个发展过程中，我们有三条主线：
第一条主线是文心ERNIE，我们发布了文心ERNIE 3.0以及文心·ERNIE 3.0 Titan模型，并且在SuperGLUE和GLUE都超过了人类排名第一的水平。
第二条主线是文心ERNIE在跨模态、跨语言以及长文档、图模型等方面获得了非常好的发展，在各种榜单尤其是视觉语言相关的榜单上获得第一。
第三条主线是对话生成大模型文心PLATO的发布，对话的流畅性得到了很大提升。
在这三个特色的基础上，我们发布了全球首个知识增强的千亿大模型，拥有2600亿的参数，在60多项的NLP任务上取得了世界领先。同时，在这个模型上的实际应用中我们能把参数压速到99%，使这个模型的效果得到了大幅提升。
拥有了这样的模型，我们的语言理解能力得到了显著提升，尤其是拥有领先的复杂知识推理能力，相比GPT-3，文心ERNIE在复杂知识推理能力上有8个百分点的绝对提升。
在Fine-tuning任务上，文心ERNIE可以用在不同任务中，用任务数据做微调。文心ERNIE在21类54个Fine-tuning任务中取得领先。这些任务分布很广泛，有语言理解、语言生成、知识推理等。同时，文心ERNIE在零样本和小样本学习的能力也非常好，尤其是在文本分类、阅读理解、知识推理、指代消解等任务中取得全面领先。
众所周知，大模型的训练成本及使用成本非常高，在实际业务落地应用中面临着相当大的挑战。首先，对千亿模型进行知识蒸馏需要耗费非常高的计算资源，而且，如果从千亿的规模蒸馏到几亿或几千万的数据量，差距过大，影响蒸馏的效果。针对这个问题，我们提出了在线蒸馏的框架，能够降低计算资源的消耗。同时，我们采取辅助蒸馏的方式，首先从千亿规模蒸馏到几十亿，然后到几亿。通过这个过程，我们能使模型蒸馏的效率和效果都得到很好的提升。
从这个实际应用案例中能看到，我们实现了搜索15亿的大模型无损蒸馏，并把这个模型应用在搜索排序的场景中。实际上，在这个过程中，我们将多个教师模型进行蒸馏，使效果得到了非常大的提升。
此外，在开放域的聊天对话过程中，没有信息量的回复非常多。这时就要引入知识，怎么建模知识也是非常重要的一个能力。同时，在一些应用中需要做对话推荐，比如推荐商品、音乐等。
在这几方面，我们得到了比较好的结果，比如人设稳定、长期记忆的能力都在80%以上，知识问答的准确率达到90%，推荐的成功率在90%左右。
首先来看，我们是如何建设具有长期记忆能力的画像一致性的。
我们建设了一个画像相关的知识库，用画像知识去触发检索，检索回来的知识加入生成模型中，生成画像一致的回复，把画像一致性从10%左右提高到了80%以上，并且已经在实际业务中落地应用。
知识外用指的是我们把知识作为一个库，外挂在生成模型之外，通过检索的方法，检索知识加入生成模型中，能够很好地增强回复生成的信息量。知识内化是指我们把各种异构的数据、知识加入到这个聊天语料中一起训练，然后把知识信息学到模型参数中。通过这样的方法，我们能够把知识的准确率提升到90%以上。
举个例子，在医疗领域的对话中，我们用医疗图谱来指导生成。我们采用了两步生成方式，第一步通过上下文的方式生成一个流畅的句子，但是里面的知识可能是不准确的，这个时候利用知识图谱，也就是利用医疗知识图谱修正里面的知识错误，使生成回复中知识的准确率相对提高60%，达到80%以上。这样一个知识增强模型生成的回复，能够保持知识的准确率处于一个相对比较高的水平。
刚才提到，我们在有些任务中需要有对话推荐，如推荐一首音乐、推荐一本书，推荐一个地方去旅游等，这些都需要在对话中满足，也采用了两种方法：一种是层次化的内容规划，另外一种是通过数据增强的方式实现。我们也建立了多种跨类型的对话数据集，并且这些数据集已经发布。通过这样的方法，使多轮对话的合适度和推荐的成功率在90%以上。
在这个能力引擎平台和知识中台上，我们能够支持各种场景定制，比如，智能文档分析、对话理解、定制与服务平台、智能创作、机器翻译开放平台、内容审核平台等，所有这些平台都可以支持各种互联网应用和工业应用。
今天我的解读就到这里，谢谢大家。
扫描下方二维码关注 【AI大模型】公众号
后台回复【知识增强】获取本次分享PPT
上一篇：
制造业离不开质检 质检需要AI智能化赋能
