lyj223061的博客

MNN环境配置首先可以通过官网提供的window，mac，linux版本运行库来配置自己的mnn环境 https://github.com/alibaba/MNN。或者可以自己下载最新的mnn源码根据 https://www.yuque.com/mnn/cn的官方文档来编译出最新的运行库来配置自己的mnn环境，文档中各种版本的编译都很详细，可以根据需要自行编译。MNN推理示例配置好环境，准备已经转换好的mnn模型之后开始推理#include "MNN/Interpreter.hpp"#incl

下面是huggingface的bert文件API的调用及简单的使用demo，具体bert文本分类使用可以参考https://github.com/lyj157175/nlp_projectsfrom pytorch_pretrained import BertModel, BertTokenizerimport torchimport torch.nn as nn# 加载本地预训练模型文件，包括config.json, vocab.txt, pytorch_model.binbert = Be

DSSM模型结构代码地址：https://github.com/lyj157175/Modelsimport torch import torch.nn as nnclass DSSM(nn.Module): def __init__(self, vocab_size, embedding_dim, dropout): super(DSSM, self).__init__() self.embed = nn.Embedding(vocab_size,

Bert模型BERT包括BertEmbedding和12层TransformerBlock组合而成。BertEmbedding包括TokenEmbedding，PositionalEmbedding，SegmentEmbedding三部分相加而成。TransformerBlock则是transformer的encoder部分。两个预训练任务Masked language modelNext Sentence Prediction Modelimport torchimport tor

模型结构Positional EncodingFeed Forward

【pytorch模型实现1】Skip-Gram+Neghttps://blog.youkuaiyun.com/lyj223061/article/details/113849997【pytorch模型实现2】Glovehttps://blog.youkuaiyun.com/lyj223061/article/details/113850145【pytorch模型实现3】C2Whttps://blog.youkuaiyun.com/lyj223061/article/details/113850182【pytorch模型实现4】T.

HAN_Attention模型实现NLP模型代码github仓库：https://github.com/lyj157175/Modelsimport torch import torch.nn as nn from torch.autograd import Variableimport numpy as np from torch.nn import functional as Fclass HAN_Attention(nn.Module): '''层次注意力网络文档分类模型实现

Seq2Seq + attention模型实现NLP模型代码github仓库：https://github.com/lyj157175/Modelsimport torchimport torch.nn as nn from torch.autograd import Variableimport torch.nn.functional as Fimport numpy as np class Seq2Seq_attention(nn.Module): '''Bahdanau论文中

Seq2Seq模型实现NLP模型代码github仓库：https://github.com/lyj157175/Modelsimport torchimport torch.nn as nn class Seq2Seq(nn.Module): def __init__(self, src_vocab_size, tgt_vocab_size, embedding_dim, hidden_size): super(Seq2Seq, self).__init__()

FastText模型实现NLP模型代码github仓库：https://github.com/lyj157175/Modelsimport torch import torch.nn as nnclass FastText(nn.Module): def __init__(self, vocab_size, embedding_dim, max_len, num_label): super(FastText, self).__init__() self.

ChartextCNN模型实现NLP模型代码github仓库：https://github.com/lyj157175/Modelsimport torchimport torch.nn as nn class ChartextCNN(nn.Module): '''6层卷积，3层全连接层''' def __init__(self, config): super(ChartextCNN, self).__init__() self.in_featu

TextCNN模型实现NLP模型代码github仓库：https://github.com/lyj157175/Modelsimport torch import torch.nn as nn import torch.nn.functional as Fclass TextCNN(nn.Module): def __init__(self, config): super(TextCNN, self).__init__() self.max_seq_le

C2W模型实现NLP模型代码github仓库：https://github.com/lyj157175/Modelsimport torchimport torch.nn as nn class C2W(nn.Module): def __init__(self, config): super(C2W, self).__init__() self.char_hidden_dim = config.char_hidden_dim self.w

NLP模型代码github仓库：https://github.com/lyj157175/Modelsimport torchimport torch.nn as nnclass Glove(nn.Module): def __init__(self, vocab_size, embedding_dim, x_max, alpha): super(Glove, self).__init__() self.vocab_size = vocab_size

Word2Vec原文 https://arxiv.org/pdf/1301.3781.pdfSkip-Gram+Neg模型实现NLP模型代码github仓库：https://github.com/lyj157175/Models'''Word2Vec模型包括：CBOW, Skip-Gram这里实现的是Skip-Gram + 负采样(NEG)模型'''import torchimport torch.nn as nnimport torch.nn.functional as Fcla

可先阅读这篇文章仅需1/5成本：TPU是如何超越GPU，成为深度学习首选处理器的https://baijiahao.baidu.com/s?id=1610560990129941099&wfr=spider&for=pc什么是CPU?中央处理器（CPU），是电子计算机的主要设备之一，电脑中的核心配件。其功能主要是解释计算机指令以及处理计算机软件中的数据。CPU是计算机中负责读取指令，对指令译码并执行指令的核心部件。中央处理器主要包括两个部分，即控制器、运算器，其中还包括高速及实现它们

Bidirectional LSTM-CRF Models for Sequence Tagging用于序列标注的双向LSTM-CRF模型序列标注问题输入为特征序列，输出为类别序列。大部分情况下，标签体系越复杂准确度也越高，但相应的训练时间也会增加。因此需要根据实际情况选择合适的标签体系。命名实体识别发展历程BiLSTM-CRF历史意义• 拉开命名实体识别深度学习时代的序幕• 使模型更加简洁高效，鲁棒性强模型结构句中转化为字词向量序列，字词向量可以在事先训练好或随机初始化，在模型训

NLP的两大核心任务：NLP = NLU + NLGNLU（自然语言理解）：NLG（自然语言生成）：NLP的基础任务：分词（前向最大匹配算法，后向最大匹配算法）词性标注（POS，也叫序列标注sequence labeling，每个单词单独做分类，算法：HMM,CRF）命名实体识别（NER）句法分析（syntatic analysis，主谓宾）语义分析（semantic analysis，如何理解一个单词和文本的意思）NLP常见的应用：写作助手（拼写纠错，语言模型）文本分类（

《 Bag of Tricks for Efficient Text Classification》Fasttext: 对于高效率文本分类的一揽子技巧论文背景：文本分类是自然语言处理的重要任务，可以用于信息检索、网页搜索、文档分类等。基于深度学习的方法可以达到非常好的效果，但是速度很慢，限制了文本分类的应用。基于机器学习的线性分类器效果也很好，有用于大规模分类任务的潜力。从现在词向量学习中得到的灵感，我们提出了一种新的文本分类方法Fasttext，这种方法能够快速的训练和测试并且达到和最优结

《Convolutional Neural Networks for Sentence Classification》基于卷积神经网络的句子分类作者：Yoon Kim（第一作者）单位：New York University会议：EMNLP2014论文代码实现：https://github.com/lyj157175/NLP_paper_reproductionTextCNN结构TextCNN正则化DropoutL2正则结果分析超参分析Embedding方式卷积核大小卷

Conv1d一般用于文本nn.Conv1d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True)参数解读：in_channels： 输入通道。在文本分类中，即为词向量的维度out_channels： 卷积产生的通道。有多少个out_channels，就需要多少个1维卷积kernel_size：卷积核的尺寸(k, in_channels)stride： 卷积步

Finding Function in Form: Compositional Character Models for Open Vocabulary Word Representation从字符中生成嵌入：用于开放词表示的组合字符模型论文复现代码：https://github.com/lyj157175/NLP_paper_reproduction背景介绍词向量的两个问题无法进行词推理OOV（不在词标的词无法表示）摘要C2W模型两种训练任务...

《Efficient Estimation of Word Representations in Vector Space》基于向量空间中词表示的有效估计作者：Tomas Mikolov单位：Google语言模型计算一个句子是句子概率有一些词或者词组在语料中没有出现过，但是这不能代表它不可能存在。Laplace Smoothing也称为加1平滑：每个词在原来出现次数的基础上加1。问题：参数空间过大数据稀疏严重引入马尔科夫假设????????=????（????1,????2,

layer normalization层太多会偏移，进行归一化