面向深度学习的文本预处理方式

发布时间：2021-11-07 03:12:57 所属栏目：数码来源：互联网

导读：如今，深度学习引起了人们极大的兴趣，尤其是自然语言处理(NLP)。不久前，Kaggle公司开展一场自然语言处理(NLP)竞赛，其名称为Quora不真诚问题挑战(Quora Question insincerity Challenge)。这个竞赛指出解决文本分类问题，其目的是通过竞赛以及Kaggle专家提

如今，深度学习引起了人们极大的兴趣，尤其是自然语言处理(NLP)。不久前，Kaggle公司开展一场自然语言处理(NLP)竞赛，其名称为“Quora不真诚问题挑战(Quora Question insincerity Challenge)”。这个竞赛指出解决文本分类问题，其目的是通过竞赛以及Kaggle专家提供的宝贵内核，使其变得更容易理解。首先从解释竞赛中的文本分类问题开始。文本分类是自然语言处理中的一项常见任务，它将不确定长度的文本序列转换为文本类别。那么文本分类有什么作用?可以：了解评论时的情绪在Facebook等平台上查找有害评论在Quora上查找不真诚的问题，而目前Kaggle公司正在进行的一项竞赛在网站上查找虚假评论确定文本广告是否会被点击现在，这些问题都有一些共同点。而从机器学习的角度来看，这些问题本质上是相同的，只是目标标签发生了变化，并没有其他的变化。话虽如此，业务知识的添加可以帮助使这些模型更加健壮，这就是在预处理数据以进行测试分类时想要包含的内容。虽然本文关注的预处理管道主要围绕深度学习，但其中大部分也适用于传统的机器学习模型。首先，在完成所有步骤之前，先了解一下文本数据深度学习管道的流程，以便更进一步了解整个过程。通常从清理文本数据和执行基本事件驱动架构(EDA)开始。在这里，尝试通过清理数据来提高数据质量。还尝试通过删除词汇表外(OOV)的单词来提高Word2Vec嵌入的质量。前两个步骤之间通常没有什么顺序，并且通常在这两个步骤之间来回切换。
面向深度学习的文本预处理方式

（编辑：辽源站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!