myaijarvis notebook

针对特定群体的仇恨言论和仇恨内容的大规模传播是一个至关重要的社会问题。仇恨言论的自动检测方法通常采用最先进的基于深度学习(DL)的文本分类器——包含超过1亿个参数的大型预训练神经语言模型，使用相关的标记数据集将这些模型调整到仇恨言论检测任务中。不幸的是，只有少数大小有限的公共标记数据集可以用于此目的。我们为推动这一事态做出了几项极具潜力的贡献。我们提出了一种用于仇恨言论检测的超网络，它是一类特殊的DL网络，其权值由一个小型的辅助网络来调节。这些体系结构是在字符级。

论文：《Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation 》2014使用 RNN Encoder-Decoder 学习短语表示以进行统计机器翻译【参考：【NLP】Seq2Seq 翻译_myaijarvis的博客-优快云博客】【参考：nlp-tutorial/Seq2Seq.py at master · graykode/nlp-tutorial】【参考：seq2seq的

参考：《深度学习从0到1-基于Tensorflow2》CBOW连续词袋模型 CBOW（Continuous Bag of-Words）CBOW 模型是给神经网络传入上下文词汇，然后预测目标词汇。比如我们有一个用于训练的句子是“我爱北京天安门“，可以给模型传入“爱”和“天安门“，然后用”北京“作为要预测的目标词汇。而最简单的CBOW 模型就是传入前一个词然后再预测后一个词。Skip-GramSkip-Gram 模型是给神经网络传入一个词汇，然后预测其上下文词汇。PyTorch实现（乞丐版）【

【参考：怎样阅读NLP论文_哔哩哔哩_bilibili】【参考：如何阅读NLP论文笔记_12Struggle的博客-优快云博客】【参考：怎样阅读NLP论文_百度搜索】

《A Neural Probabilistic Language Model》其中双曲正切 tanh 逐个元素地应用，W 可选为零（无直接连接），x 是词特征层激活向量，它是来自矩阵 C 的输入词特征的串联：【参考：graykode/nlp-tutorial: Natural Language Processing Tutorial for Deep Learning Researchers】【参考：Neural Network Language Model PyTorch实现_哔哩哔哩_bilibili