- 博客(7)
- 收藏
- 关注
RSS订阅原创 sentence transformer微调（simcse模型为例）
简要介绍sentence transformer是一个使用pytorch对常见语言模型进行封装，得到一个句子级别的embedder的python包。主要由基于transformer的预训练模型（生成句子中各个字的embedding）+pooing层（对句子中各个字的embedding选择一种方式生成句子的embedding）组成，如下图：如何在自己的数据上finetune?闲话：相比于单纯针对预训练模型的transformer包，sentence transformer的封装程度更高一些，但二者都是
2021-12-17 16:54:53
9035
2
原创 复杂KBQA问答方法分类
复杂KBQA问答方法分类复杂KBQA问答的主流方法有两类，基于语义解析（SP-based）和基于信息检索（IR-based）两类，顾名思义，基于语义解析的方法：将一个自然语句问题解析成某种逻辑形式（logic form，例如SQL、query graph等等），然后在KB上利用这个逻辑形式执行查询操作，来获取答案。基于信息检索的方法：通过在KB中检索自然语言问题特定的子图，对子图中的实体应用某种排序算法（比如把问题表示和候选实体表示做相似度）来选择排序最上面的实体作为答案。总的来说：SP：解析-查询模
2021-11-28 16:37:20
1912
原创 基于bert-base-chinese微调文本相似度模型
微调一下其实蛮简单，其实应用起来重点在于理解bert的输入需要使用tokenizer格式化成标准bert输入（就是把句子里的字符按照词典标号标准化，并且加上各种token标志，进行补齐和截断），然后bert的输出就是<batchsize,句子长度,768>的tensor，后面加上你想要的各种网络就可以了，需要特别注意的就是需要把数据和网络都放在同一个设备上（cpu or GPU）～
2021-11-11 23:18:01
17321
5
原创 《Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs》论文阅读笔记
《Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs》论文阅读笔记主要挑战贡献：KG上的推理挑战主要有两个：1.KG的规模很大，每跳一步候选答案集的候选答案数量便指数增长，因此通过跳转来寻找答案不现实；2.绝大多数的现实世界的KG根本不完全，缺少很多边（关系），因此跳转可能都跳不动，根本无法找到答案。BetaE是第一个可以在大型异构知识图谱上处理**所有逻辑操作符号（包括存在、交、或、非，之前主要是无法处理逻辑“非”）
2021-04-09 14:44:20
1748
1
原创 远程调试服务器python代码解决方案
远程调试服务器python代码解决方案原理示意图远程调试vscode步骤：直接修改服务器上的代码，并直接使用上面的默认编译器运行1.在插件安装界面安装Remote-ssh、Remote-Deployment2.点击左下角出现的（绿色）远程控制界面入口3.点击 Remote-ssh：connect to host4.输入远程服务器：用户名@ip5.在弹出界面中输入密码6.进入后点击左上角的文件图标，在弹出窗口中点击open folder选择打开即可，可直接进行远程调试7.低栏可切换服
2020-12-29 13:50:00
810
4
原创 RNN-LSTM-GRU
RNN问题：无法获得长期依赖信息梯度消失/爆炸二者的原因都是因为循环过程中参数W的高次幂带来的问题LSTM想了一个剧集的例子：Ct（细胞状态）目前t时刻为止所有的剧情要素集合ht（隐藏状态）目前t时刻（结合了所有的剧情要素）的剧情理解遗忘单元：结合这一集的剧情输入Xt和上一集的剧情理解ht-1，看看哪些之前的剧情要素根本不重要，产生一个遗忘列表（元素0-1的一个向量ft），和之前的所有剧情要素集合Ct乘一下（越0忘的越多，越1越不咋忘说明比较重要），这样就把不重要的要素给忘了输
2020-12-19 17:30:18
311
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人