文本内容安全领域-谛听安全深度学习的常见应用方法

在深度学习技术兴起之前相当长的一段时间内，基于机器学习技术的文本分类方法占据着文本分类领域的统治地位。特征工程+机器学习分类器一直是解决文本分类问题的标准范式。针对不同的业务场景，算法工程师需要精心设计相应的特征工程，以取得最佳的分类效果。

 

到2010年，深度学习技术逐渐兴起，文本分类领域的技术格局也相应的发生了变化。基于深度学习的文本分类方法打破了上述技术范式，对文本进行简单预处理后，直接喂给深度学习模型，进行端到端的训练和推断。一般性的，用于文本分类的深度学习模型最后一层为softmax层（多标签问题则为sigmoid），这相当于机器学习分类器中的LR模型。由此可见，模型的其余部分本质上就是在表示自动学习文本的特征，因此算法工程师再也不用操心特征工程的事情了。不过先别高兴得太早，文本特征学得好不好，取决于具体的深度学习模型结构设计和超参数设置，工程师们还是得把省下来的时间花在模型结构和超参数的调整上面。

本文根据谛听文本算法团队在内容安全领域的实践经验，介绍在项目中用过的一些深度学习模型以及对部分技术细节进行讨论。深度学习是近几年来的热门方向，学术界和工业界的研究人员提出了很多有价值的方法，本文所分享的方法只是其中少数代表性的工作，仅供读者