达摩院推出新型预训练对话模型 首次利用半监督学习注入知识

如何将人类知识注入预训练模型，让知识和数据有机融合，一直是AI研究中的难题。记者12日获悉，阿里达摩院研究人员首次利用半监督学习将标注的人类知识注入预训练对话模型，在MultiWOZ2.1等三个国际主流对话数据集中均实现了最佳效果，提升幅度明显，为知识和数据融合探索出新路径。

一个模型只能解决一项任务，通用性差是AI的一大问题。预训练模型可能是破解之道，它能举一反三，解决多种任务，因此近些年备受关注，已迅速发展出万亿参数的大模型。不少研究者认为，数据量只是一方面，如果能将人类知识有机注入预训练模型， AI有望像人类一样思考。

融合知识后，AI会进行思考

不过，知识注入并不容易，由于从数量级来说，知识远小于无标注数据，简单混合容易导致知识被淹没，或者出现严重的过拟合。达摩院研究人员此次利用半监督学习来对预训练对话模型注入知识，在人机对话领域尚属首次。

达摩院研究人员使用的半监督预训练方法（图片改自Xu Han等的综述 Pre-Trained Models: Past, Present and Future）

目前，预训练模型的主流训练方法还是以有监督学习和自监督学习为主，半监督学习更多是配合有监督学习，用于减少数据标注、降低成本等场景。而达摩院研究人员反其道行之，将半监督学习和自监督学习进行融合，在预训练对话模型中实现了这一创新工作，相关论文已被AAAI2022接收。

半监督使用示意图

据介绍，预训练对话模型有别于常见的预训练语言模型，需更多考虑对话轮次、上下文情境、对话人员的角色等，以便理解对方意图并做出恰当回复。也就是说，这类模型必须考虑对话过程中的策略，他们属于特定场景下的人类知识。业界通常用对话动作标签(dialog act)来刻画对话策略，比如模糊澄清、信息问询和信息告知等。

为此，达摩院研究人员构建了目前最大的对话动作标签知识库，总量达97万轮次，将其注入新设计的预训练对话模型SPACE 1.0中，随后在下游任务进行验证。新模型在斯坦福 In-Car，剑桥MultiWOZ2.0和亚马逊 MultiWOZ2.1这三个国际主流对话数据集上均实现了SOTA（最佳效果），部分提升超过5%，幅度较大。在具体案例中，新模型能够更准确预测出对话动作，能够更好和人类进行对话，避免答非所问。

达摩院新模型在三大国际数据集上的表现

达摩院资深算法专家李永彬表示，这项工作还只是起步，如何将更多的人类标注知识通过半监督的方式注入到预训练模型中、如何让模型自动选择合适的知识、如何更好评价知识注入的效果，还需要体系化的探索和创新。目前，SPACE 1.0模型已应用于阿里云智能客服等产品，对外输出服务客户。另据艾瑞咨询最近发布的《2022年中国对话式AI行业发展白皮书》，阿里云智能客服已领跑中国对话式AI行业。