专访 | 蚂蚁金服MISA：比用户更懂自己的自然语言客服系统

千瞳：问题识别模型是由多个子模型+融合模型的形式组织的。分类模型只是其中一种子模型，除此之外，还有搜索、意图树等多个结构化子模型。不同模型的输出格式也各不相同，分类模型返回不同类别的可能性打分，而意图树可能只返回某一个最可能的类别。在子模型各自进行问题识别后，我们会通过一个GBDT的模型，对前四个模型的结果进行融合。在融合模型阶段，我们取每一个模型的 top1 输出，根据标注数据来选择输出可能性最高的那个模型的结果。

机器之心：反问交互是如何实现的？

弈客：如今一百通电话里，有三十通会率先通过猜问题的形式对用户进行发问。如果没有猜中，就要思考如何在较短的轮数内摸清用户的需求。用户的大多数问题都能够以「业务、框架、类型」三要素方式进行拆分。例如「花呗不能还款」，「花呗」就是涉及的业务，问题的核心动词「还款」就是框架，「失败」是导致用户提问的诉求类型。有超过一千个用户问题都可以被拆解成三要素的形式，其中包括一百多类业务、不到一百类框架和不超过十种问题类型。

三要素拆分方式的方式能够帮助快速缩小识别范围。用户在描述中，可能不能一次把三要素都描述清楚，但是如果给出了某部分要素，比如用户说「我要还款」，就给出了框架「还款」和类型「如何」，这时我们就可以就缺失的「业务」要素进行反问，比如，「您是要进行花呗还款、借呗还款还是信用卡还款？」

千瞳：从技术的角度上来讲，我们在构建了语义要素库之后，是可以实现 zero-shot 的问题识别的。即，不需要见到特定的要素组合的训练样本，只要在其他训练样本中见过单独的要素在其他场景下出现，一样可以识别这个要素组合，对应到相应问题。

另外，我们也构建了多任务学习的框架。三要素识别任务的目标是非常类似的，都可以看做是多分类问题。多任务学习让不同任务间的数据可以共享。虽然每一个单独的任务都有足够的数据，但是不同任务间目标会让特征提取各有侧重，提高模型效果。相比单模型，识别准确率可以提升7个百分点。

机器之心：如何评估匹配的精确程度？这些评估是否会反过来影响模型的优化？

千瞳：匹配的评估指标有多个层级，第一个是CTR（Click Through Rate），比如在「猜问题」阶段，用户会确认系统猜的是不是他的问题。第二个是分流的准确率，如果分配到人工还有小二派单准确率，最后是问题解决率。

至于用户的评估如何影响模型优化，一言以蔽之，用户的反馈就是模型的训练数据，系统自己能形成一个闭环迭代体系。 MISA 的大部分模型一周迭代两次。

关于比赛：客服领域里的相似度计算

机器之心：比赛中的「判断两句话是否为同义句」任务和利用分类法进行问题识别任务之间的关系是什么？

深空：当我们拿到一个用户的自然语言问句，想判断它是知识库里的哪一类问题时，通常有两种做法：一是做分类，也就是上面讲到的问题识别；还有一种做法就是判断同义句，给出每一类问题的几条例句后，当一个新的问句出现，就计算新问句与每一条例句之间的相似度。

相比于识别，同义句是一类相对昂贵但具有重大意义的做法。对于许多拿不到丰富数据的场景来说，训练分类器变得不可能，而搜集例句、计算相似度相较之下更为可行和合适。

基于相似度计算的分类算法对于数据的需求要灵活得多，可以根据数据的情况分层次安排：有的方法可以不需要训练数据，基于规则来做；有的方法可以基于领域无关的、有公开语料的通用数据进行训练；当然，如果提供领域相关的数据，可以让相似度计算得更好，就像我们这次提供的数据这样。

从工程的角度来讲，这种一开始对训练数据依赖较小的办法，有利于工程师按部就班把一个问题解决掉。

机器之心：选择判断同义句作为本次大赛赛题的原因都有哪些？

深空：第一，在将用户的问句分类的场景下，相似度计算是一种基础而实用的做法。在客服领域里，大多数应用场景仍然是缺少数据的。第二，问题的相似度计算在其他场景下也有广泛的应用，例如，在「挖掘用户常见问题」任务里，就要对用户问句进行聚类，将每一类常见问题归为一类。聚类的基础就是计算每两个问句之间的相似度。还有许多其他类似的应用。总而言之，相似度计算是客服大领域中非常基础、非常核心的一个问题。

这次比赛的重点就是鼓励选手找到好的相似度计算方法。本次我们在初赛就提供了 10 万条数据。作为对比，现在的相似度计算比赛中最大的公开数据集大概在 1 万条左右。但是我们不强制选手使用提供的数据，完全不基于数据或者引入外部数据的做法都是被允许的，希望选手们不拘一格，找到最好的相似度计算方法。

机器之心：是否会考虑将比赛中出现的做法投入到实际生产中？

千瞳：这是肯定的。蚂蚁的业务发展非常快，因此在设计算法的过程中会遇到很多现实的问题：比如用户描述口语化、描述多样性、纠错以长句问题等等，都需要相似度计算方法去解决，我们自己也在进行大量相似度计算方面的探索，希望能够和选手们一起，找到最合适的方法。

现在起，即刻登录大赛官网（https://dc.antfin.com）报名参赛，百万奖金等你来战。

【加入大赛群，参与赛题讨论与观看发布会】

添加机器之心小助手3：syncedai3，备注：蚂蚁，由小助手邀请进群，第一时间获取大赛相关信息，一起讨论赛题，以及与其他小伙伴互动交流。

（编辑：辽源站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!