- 博客(7)
- 收藏
- 关注
RSS订阅原创 BERT模型
BERT是基于Vaswani et al(2017)的论文"Attention is all you need"中提出的transformer模型构建的多层双向transformoer encoder。就是说BERT只是一个NLP方向的编码器。他能对单独句子进行表征，也可以对问答等进行表征。具体可以看论文 论文题目：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 论文发表时间：2018年10月1
2020-08-03 20:24:43
367
原创 TensorFlow实现HAN文本分类
HAN模型结构 HAN模型总共包含三层，分别是词汇层、句子层和输出层，其中词汇层和句子层都包含一层encoder和一层attention层 在词汇层，HAN首先将文本分为K个句子，每个句子的长度为T，然后在词汇层，每个句子分别会进入一层encoder层和一层attention层，最终得到该句子的一个向量表示s_i。记数据集为D，其中N表示数据集的大小，x表示文本的词汇序列，y表示文本的标签。 在encoder时，记g _ { w }为encoder层的变换函数，则对于一个文本中的第i个句子\left{ w
2020-07-31 19:57:23
600
转载 使用机器学习完成中文文本分类
文章参考：https://blog.youkuaiyun.com/weixin_40924580/article/details/83049592 https://blog.youkuaiyun.com/ywangjiyl/article/details/107546396 机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。机器学习通过历史数据训练出模型，然后利用学习获得的模型对新数据进行预测 机器学习模型 机器学习是对能通过经验自动改进的计算机算法的研究。机器学习通过历史数据训练出模型对应于人类对经验进行归纳的
2020-07-25 19:21:20
664
原创 ancanda里面安装torchtext
conda install -c derickl torchtext 这是我们大家查博客或者百度时能够找到的安装命令 一般有可能遇到让我们去anacuda官网搜索其他包的问题 这里贴出一个新的安装命令 conda install -c pytorch torchtext在这里插入代码片 ...
2020-03-06 18:58:39
2040
原创 伯禹第三次打卡
GAN 生成对抗网络：只是提出一种网络架构。 GAN简单的想法就是用两个模型，一个是生成模型，一个是判别模型，判断模型用于对数据的判断，生成模型则是模型自己去产生数据。这两个模型一同对抗， 生成模型生成的数据去欺骗判别模型，判别模型去判断数据的真假，从而二者共同完善从而达到稳定。 判别模型比较好理解，就像分类一样，有一个判别界限，通过这个判别界限去区分样本。从概率角度分析就是获得样本x属于类别y...
2020-02-25 12:34:45
113
原创 伯禹学习第二次打卡
seq2seq模型 定义 sequence to sequence模型是一类End-to-End的算法框架，也就是从序列到序列的转换模型框架。 应用场景 机器翻译 聊天机器人 文本摘要生成 图片描述生成 诗词生成 故事风格改写 代码补全 思路 seq2seq可以说是基于RNN提出的生成序列的模型，一般来说，对于基础的RNN我们可以输入一段序列数据得到一个输出结果，而seq2seq则可以输出一段序列...
2020-02-18 16:00:24
194
1
原创 梯度消失
梯度消失 因为疫情的原因，最近在家学习，并在伯禹平台上学习深度学习。在循环神经网络这一节内容中的课后习题，我遇到一个新的名词：梯度消失，但是课程中并没有提到相关内容，于是我自己查了查，作为日志。 我们知道神经网络有输入层、隐藏层、输出层3层结构，反向传播算（BP算法）是从输出层到输入层逐层进行误差传递以及更新权重，无论是机器学习还是深度学习，都是在一次次的训练中根据前一次的误差进行梯度下降以及权重...
2020-02-14 15:35:21
275
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人