- 博客(3)
- 收藏
- 关注
RSS订阅转载 2021-05-29
https://www.jianshu.com/p/fbde57f91f0f (两种bert词向量表示方法)https://terrifyzhao.github.io/2019/01/30/%E4%BD%BF%E7%94%A8BERT%E7%94%9F%E6%88%90%E5%8F%A5%E5%90%91%E9%87%8F.html （说明）https://github.com/frostjsy/bert-utils/blob/master/extract_feature.py （github路径）h
2021-05-29 11:35:10
78
原创 SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient 阅读笔记
GAN应用到文本生成的两个问题：(1)GAN常用于连续的数据，而文本生成是离散的数据。(待补充说明)(2)GAN只能为完整的序列给出分数，而我们需要衡量不完整序列的分数。本文模型：(1)利用了强化学习：state:目前的已经生成的字符；action:下一个生成的字符；(2)利用了GAN：使用分辨器评估序列的分数，且引导生成器的训练。(3)利用了Monte Carlo(MC)来评估state-action值。序列生成对抗网络GθG_θGθ:参数为θ的生成器；Y1:TY_{1:T}Y1:
2020-06-09 16:21:16
289
原创 Character-Aware Neural Language Models笔记
字符级别的输入目前存在的问题：NLMs已经被证明优于基于计数的n-gram语言模型(Mikolov.2011年)，但是模型对子词信息关注少，例如，eventful,eventfully,uneventful和 uneventfully ，这些词应该在向量空间内具有类似的结构嵌入。但是NLMs对于罕见词的嵌入估计很差，导致罕见词（以及它们周围的词）的高度***困惑***。本文提出了一种利用子...
2020-03-31 10:37:26
299
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人