- 博客(9)
- 收藏
- 关注
RSS订阅原创 torch版本和tensorflow版本的预训练语言模型（如BERT）嫁接
最近手头有个项目，线上配的一整套流程都是基于tensorflow的，现在需要训练一个多层全连接网络的分类头，无需微调底层基座。在线上部署的时候，把模型转numpy进行推理，嫁接在tensorflow出来的基座模型之后，（知道torch权重可以转tf，不用GPU是因为组里的一些限制）。在调用adamw优化器报错，发现是pytoch1.8中的adamw源码写错了，pytorch官方在1.9版本中修复了这个错误，所以直接用1.9中的代码替换掉就行。附：torch 1.8.1版本adamw的错误。
2023-07-27 23:26:13
216
原创 Penn Chinese Treebank （CTB）论文笔记-成分句法分析的标注体系
Penn Chinese Treebank标注体系1. 分词（word segmentation）由于本文的目标是为句子建立句法结构，因此在分词阶段本文采用了句法词（句法原子）的概念。涉及构词法和词法分析。2. 词性标注（POS tagging）由于汉语词汇没有时态、格数标记，词性标注的核心问题是词性标注的定义是基于语义还是基于句法分布。这个问题从20世纪50年代就开始争论了(Gong 1997)，存在有两种相反的观点。例如，“毁灭”翻译成英文：destroy/destroys/destroye
2021-09-16 18:31:43
1608
原创 python re模块
python re模块re.match：从字符串的开始位置，只匹配一个re.search：匹配整个字符串，只匹配一个re.findall：在字符串中找到正则表达式所匹配的所有子串，并返回一个列表re.finditer：在字符串中找到正则表达式所匹配的所有子串，并作为一个迭代器返回re.compile：用于编译正则表达式，生成一个正则表达式（ Pattern ）对象，供 match() 和 search() 这两个函数使用。(.) 第一个匹配分组，代表匹配除换行符之外的所有字符(.?) 第二个匹
2021-08-25 11:12:11
104
原创 LDA Gibbs Sampling
PLSA需要求解的参数：doc-topic每个面的概率参数，topic-word骰子每个面的概率参数可以视同EM算法进行求得局部最优解EM算法求解LDA对于上述的PLSA模型，贝叶斯学派显然是有意见的，doc-topic和topic-word骰子的各个面的概率都是模型中的参数，参数都是随机变量，怎么能没有先验分布呢？因此LDA将PLSA对应的游戏过程改造为一个贝叶斯的游戏过程。由于φk和θm都对应到多项分布，所以先验分布的一个好的选择就是Drichlet分布，于是得到LDA模型。..
2021-07-22 15:54:08
264
1
原创 transformer中multi-head attention在论文中的描述和代码实现的差异
论文中描述的是对QKV做多次线性变换，几个头做几次，默认8次，每一次的维度变换为512->64，然后在单独的头里做点积attention，在把每个头的结果拼起来，维度还原到512总参数量：512×64×8(n_head)×3class MultiHeadAttention(nn.Module): ''' Multi-Head Attention module ''' def __init__(self, n_head, d_model, d_k, d_v, dropout=0..
2021-07-22 10:34:22
517
原创 Python 缓存机制与 functools.lru_cache
https://blog.youkuaiyun.com/Hollybobo79/article/details/100511788?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-3.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCo
2021-06-12 17:01:43
141
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人