qq_33540705的博客

import difflib DIFF =difflib.Differ() def fuzzy_match(seq:str,sub_seq:str ,difflib=None): """ 模糊匹配 """ assert difflib!=None, "please import difflib.Differ" def match_(seq:str,sub_seq:str ): dif = list(difflib.compare(seq,sub_seq)) .

请自己检查一下datasets中__len__长度是否正确，找到问题了点赞 from torch.utils.data import Dataset,DataLoader import torch from functools import partial def mydata(batch): print(batch) return batch class MyDataset(Dataset): def __init__(self, size): self.

劝人善良别用freeze freeze > requirements.txt 输出你当前环境的所有依赖，并不是这个工程的,docker打包害人 pipreqs pipreqs可以帮你找到当前项目的所有组件及其版本， pip3 install pipreqs $cd 到自己的项目 ps如果使用的虚拟环境请切换 pipreqs ./ 根目录下会输出requirements.txt文件，很可能遇到编码错误：UnicodeDecodeError: 'gbk' codec can't .

这个是总结最常用的几个命令，需要看更全的命令去链接https://blog.youkuaiyun.com/laozitianxia/article/details/50682100 为Git的换行符检查功能。LF是linux下的换行符，而CRLF是enter + 换行。git add .会自动提交 每台想要登陆某个github账号的主机都需要有一个对应的key，例如你有一个github账号，你在你的笔记本和台式上都要创建key id_rsa.pub 默认在C:\Users\Administrator.ssh...

shell脚本[] [[]] -n -z 的含义解析 坑：：中括号[]与其中间的代码应该有空格隔开 定义变量的时候，“=”左右千万不要有空格啊。 乘号(*)前边必须加反斜杠(\)才能实现乘法运算 -z 是判断字符串长度是否为0，是否为空； zero = 0 空=true -n 判断变量的值，是否为空 name 空= False [ -z "$pid" ] 单对中括号变量必须要加双引号 [[ -z $pid ]] 双对括号，...

有个数据的论文seesee GoEmotions: A Dataset of Fine-Grained Emotions

huggingface 地址里面有最较为先进的开源模型，上面都是基于transformers框架，其中包括了bert、robert 、Gpt2等，同时也支持pytorch和tensorflow2 框架，可以下载数据集和模型，非常方便。 我们以roberta-large为例手动下载模型 以箭头的方向我们可以查看，能下载的文件 通常我们需要保存的是三个文件及一些额外的文件，第一个是配置文件；config.json。第二个是词典文件，vocab.txt(或vocab.json)。第三个是预训练...

注意力机制问题 注意力模型(Attention Model，AM)已经成为神经网络中的一个重要概念，并在不同的应用领域进行了充分的研究。这项调查提供了一个结构化和全面的概述关于attention的发展。我们回顾了注意力机制被纳入的不同的神经网络结构，并展示了注意力如何提高神经网络的可解释性 ...

1 端口号的暴露问题、 参考 https://www.runoob.com/docker/docker-container-connection.html 容器中可以运行一些网络应用，要让外部也可以访问这些应用，可以通过-P（大写） 或-p（小写） 参数来指定端口映射。 （1）当使用 -P 标记时，Docker 会随机映射一个49000~49900的端口到内部容器开放的网络端口。 使用docker ps可以看到，本地主机的 49155 被映射到了容器的 5000 端口。此时访问本机的 49...

学习R-dropR-Drop: Regularized Dropout for Neural Networks 文章链接 https://arxiv.org/pdf/2106.14448v1.pdf 意思就是用dropout 去模拟bert中的mask 牛蛙牛蛙 一个输入x将经过模型两次，得到两个分布P1和P2，由于dropout的随机性导致两个输出有差异， 为了减少两个模型的输出的差异性，就使用了下面这个损失函数KL距离（相对熵）（Kullback-Leibler Divergenc...

工作任务 语义模型相似度训练 学习任务 ABCNN 阅读和实现 学习收获 论文链接：ABCNN: Attention-Based Convolutional Neural Network for Modeling Sentence Pairs 关键词 ：文本匹配 ， answer selection (AS)给定一个问题，从候选答案集合中匹配最佳答案。 paraphrase identification (PI)，给定两个句子，判断它们是否包含相同的语义。 textual entailm.

工作任务 web后端框架对比 对比 fastapi , fast+gunicorn和tornado 三者的对比 fastapi 文件内容变更后可以自动重启服务，便于开发调试 服务器环境 测试环境 接口功能 测试指标 学习任务 工作收获 学习收获 ...