- 博客(7)
- 收藏
- 关注
RSS订阅原创 2021-08-24
BERT使用 - datawhale 组队学习 用的都是微调之后的模型 finetuned 模型 BertForSequenceClassification 这一模型用于句子分类（也可以是回归）任务，比如 GLUE benchmark 的各个任务。 句子分类的输入为句子（对），输出为单个分类标签。 结构上很简单，就是BertModel（有 pooling）过一个 dropout 后接一个线性层输出分类： 在前向传播时，和上面预训练模型一样需要传入labels输入。 如果初始化的num_labels=
2021-08-24 20:38:06
568
转载 2021-08-22
bert代码 原始链接 作者看的特别详细，是我楷模。 BERT Tokenization 分词模型（BertTokenizer） BERT Model 本体模型（BertModel） BertEmbeddings BertEncoder BertLayer BertAttention BertIntermediate BertOutput BertPooler BERT Tokenization 分词模型（BertTokenizer） BertTokenizer 是基于BasicToke
2021-08-22 22:58:22
1019
原创 BERT and beyond
BERT 背景前言 注意力机制-transformer https://mp.weixin.qq.com/s?__biz=MzIwMTc4ODE0Mw==&mid=2247486960&idx=1&sn=1b4b9d7ec7a9f40fa8a9df6b6f53bbfb&chksm=96e9d270a19e5b668875392da1d1aaa28ffd0af17d44f7ee81c2754c78cc35edf2e35be2c6a1&scene=21#wechat_re
2021-08-20 23:22:17
946
原创 transformer的pytorch实现
attention 应用于RNN 注意力应用于文本：Bahdanau等2014发布的Neural Machine Translation by Jointly Learning to Align and Translate 和 Luong等2015年发布的Effective Approaches to Attention-based Neural Machine Translation 两篇论文。 解码器： 上下文向量：RNN 加上注意力机制之后，编码器把所有时间步的 hidden state（隐藏层状态）
2021-08-17 00:04:04
1161
原创 2021-08-16
TRANSFORMER 学习 task 1：项目部署+简介+安装虚拟环境 在vscode中新建一个Terminal，用于安装一个新的python环境和相应的python依赖包： 在Terminal中通过virtualenv软件安装python环境到venv文件夹下： virtualenv -p python3 venv 激活python环境： #source activate venv/bin/activate # linux环境下 source ./venv/bin/activate 激活p
2021-08-16 00:59:05
103
原创 2021-06-04
深度生成模型： VAE 、GAN 【懂个思想】 任务：根据观测到的样本学习参数化模型，近似未知分布。 功能：概率密度估计和生成样本（采样） 优势：深度神经网络可以近似任意函数 密度估计 引入隐变量，变成（x，z） ，z的边缘分布【假设标准高斯】和(x|z)【重点】的条件分布。为了建模含有隐变量的分布，要用EM算法进行密度估计，条件（x|z) 和近似后验(z|x)。vae思想=分布复杂，用神经网络建模。 GAN思想：从简单分布中采样z，利用深度神经网络：z——x 生成g(x)接近p(x) VAE 自编码器
2021-06-04 23:51:14
249
1
原创 2021-06-04
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2021-06-04 23:50:33
625
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人