谷歌让 NLP 模型也能 debug，只要给一张草稿纸就可以
发布时间：2021-12-05 21:15:09 所属栏目：动态 来源：互联网
导读：现在的大型语言模型，能力个个都挺强。但，它们的计算能力都不太行：比如 GPT-3，没法做超过三位数的加法。再比如它们当中的大多数都可以写代码，但是理解代码却很费劲 稍微遇到点带循环的程序就GG。 不过，来自 MIT 和谷歌的研究人员发现：不用修改模型的底
|
现在的大型语言模型，能力个个都挺强。但，它们的计算能力都不太行：比如 GPT-3，没法做超过三位数的加法。再比如它们当中的大多数都可以写代码，但是理解代码却很费劲 —— 稍微遇到点带循环的程序就“GG”。 不过，来自 MIT 和谷歌的研究人员发现：不用修改模型的底层架构，只需训练它们学会像程序员 debug 时那样“打断点”，读代码的能力就唰唰唰地涨上去了。 将同样的思路用于大数加法、多项式计算，那就更不在话下了。所以，语言模型的数学能力终于也要跟上了？！ 前面说的“打断点”，其实指的是在计算步骤较多的程序中，让模型把每一步都编码为文本，并将它们记录到一个称为“便签”的暂存器中，或者叫“草稿纸”。 （编辑：辽源站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |