NLP模型超越人类水平？你可能碰到了大忽悠

这也应该成为执行数据集消除任务的常见做法，例如：

• 仅提供不完整的输入(如前文所述)：这将验证是否需要完整输。如果不需要，则说明数据集包含着一些可以采取捷径的线索。
• 打乱输入：这可以验证单词(或句子)顺序的重要性。 如果分数没有太大变化，那说明模型并没有理解输入的顺序信息。
• 分配随机标签：如果10%的实例被随机重新标记，性能会下降多少呢?所有实例重新标记呢?如果分数没有太大变化，那么模型可能没有学到任何有趣的东西。
• 随机替换内容词：如果所有名词短语或动词短语都被随机名词短语和动词替换，性能会下降多少?如果不多，则数据集可能提供了预料之外的非内容提示，例如句子长度或功能词的分布。

（编辑：辽源站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!