- 博客(37)
- 收藏
- 关注
RSS订阅原创 原来pip是有默认路径的。
原来是root/data1/anaconda3/envs/li_3_10/bin/pip: 这个位置的pip 自身带默认路径，然后路径就是后面这个，但后者又不存在。修改上面这个路径就行。
2024-05-09 11:21:41
438
原创 深度学习训练遇到的bug
都说是什么栈溢出了， 重复释放了， 最后发现是torch环境和显卡以及python版本不匹配。重新建一个好的环境就行了。munmap_chunk(): invalid pointer 进程已结束,退出代码134。训练了个神经网络， 一直出现下面的错误。而且是轮着出现， 每次不重样的。进程已结束,退出代码139。
2023-09-08 10:15:46
455
原创 transformer模型，文本生成任务。 self-attention结构
大家好，好久不见，终于又有机会来学习深度学习了， 这次我们通过全球人工智能大赛算法挑战赛的赛道一来学习。2023全球人工智能技术创新大赛 - 算法挑战赛赛道一的任务是通过医疗图像的文字描述来生成医生的诊断描述。这是一个典型的文本生成任务， 因此transformer终于可以要打破bert在我心中的地位， 第一次登上历史舞台了。下图很好的展现了transformer，bert和GPT的关系。transformer包括了一个encoder和一个decoder。
2023-04-07 11:18:05
1785
2
原创 删除小红点\u200b的
红点会变成这个字符。复试这个字符 回去， 查找 替换为空 就实现了删除。复制这段代码到编译器中 如clion。点上去显示\u200b 很烦人。写了几行代码，好多小红点。
2023-03-17 19:47:04
366
原创 2022李宏毅作业hw4 - 挫败感十足的一次作业。
难难难 难于上青天 def __init__(self, data_dir, segment_len=128): self.data_dir = data_dir self.segment_len = segment_len # Load the mapping from speaker neme to their corresponding id. mapping_pa...
2022-05-30 15:11:12
5290
7
原创 对比学习 ——simsiam 代码解析。：
2022李宏毅作业HW3 是食物的分类 ，但是我怎么尝试 再监督学习的模式下 准确率都达不到百分之60 .。半监督也感觉效果不明显。 所以 这次就想着对比学习能不能用来解决这个问题呢 。？看了一圈，感觉simsiam是对比学习里比较简单的一种方法，好像效果也不错。 所以来看一看这个东西是怎么玩的。 simsaim 是对比学习很新的文章了。 他的训练方式简单来说就是 ，一张图片 ，用不同的方式去增广后形成图片对 。 然后用一张去预测另一张。 不懂得可以看朱老师的视频。对比学习论文综...
2022-04-14 20:34:16
11349
33
原创 借京东图文识别baseline 来看clip训练过程。 clip是怎样练成的 。
这次轮到clip模型啦 。记笔记记笔记。背景 是 京东已经给了 图片的feature 也就是不需要我们再去抽特征 。 然后给了图片对应的标题。我们直接从clip训练开始。 dataloader, sampler = data['train'].dataloader, data['train'].sampler loss_img = nn.CrossEntropyLoss() loss_txt = nn.CrossEntropyLoss() if args.
2022-03-25 17:41:48
4187
5
原创 数据增广albumentations用法 -借例 hw3 食物分类-
previous work：开启第三个作业 食物分类 ， 有的人找不到数据集地址 放一个 ：ml2021spring-hw3 | Kaggle前言：这个作业 每类带标签的数据很少， 然后又是可以看到的真实的图片，一般面对这种 ，我们都需要做数据增广。 所以着part1 我们就一起来探索数据增广的方式 。先说说 我对数据增广的理解。众所周知，数据增广的方式有很多，然后我们该选哪种呢 ？好吧 我承认 我非常的想用autoaugment 但是那个需要高版本的torchvision...
2022-03-19 21:29:40
2547
2
原创 hw-2 李宏毅2022年作业2 phoneme识别 单strong-hmm详细解释。
系列文章2022李宏毅作业hw1—新冠阳性人员数量预测。_亮子李的博客-优快云博客目录系列文章前言 ： 作业二 真的很难 。而且会出现训练集没办法过拟合的情况 也就是训练集准确度没办法到百分之百 数据太多了 。 向实验室申请了一台服务器来跑这个作业，最后在kaggle上 pub达到了strong pri没有 哭了 试了好久都不太行。 但还是试着写写思路吧。git地址 和kaggle网址https://github.com/xiaolilaoli/lih...
2022-03-18 20:43:51
8928
5
原创 MAE源代码理解 part1 ： 调试理解法
git官方链接：GitHub - facebookresearch/mae: PyTorch implementation of MAE https//arxiv.org/abs/2111.06377下了MAE代码 完全看不懂 我要一步一步来 把这篇代码给全部理解了 。我自己觉得看大神代码很有用。 这篇文章当笔记用。一，跑示例：怎么说 一上来肯定是把demo里的代码拿出来跑一跑。但是会遇到问题。 下面时demo的代码。 第一个问题是TypeError:...
2022-03-04 20:47:59
13639
45
原创 关于信息熵 ，KL散度，交叉熵，一文读懂（bushi)。
也是看其他大佬的说法。比如这个信息熵是什么？ - 知乎大家都知道 ，对于一个概率分布，信息熵的公式是： 表示发生的概率。定义公式我就不再赘述，已经有很多了。确实和我们的印象比较符合，一件事概率越大，他发生了，信息量就越小。太阳天天东边升，一点也不吃惊。太阳哪天从西边来了，说明人类换了东西的叫法。 我们来看一个例子。现在有一条公路，四家公司A,B,C,D负责这条公路的打扫和维护。A来的早，他从里面先选了二分之一。B来了，他占了四分之一，C来了，再选八分之一,D来了，只...
2021-11-29 16:41:24
1490
原创 关于os.listdir得到的文件乱序的问题
其实我觉得一般情况下都是有序的 但是偶尔无序就带来的危害超级大这时就需要对得到的列表排序 按名字排序也可以 :filelist.sort(key= lambda x:int(x))但注意X要是可以排序的 比如可以取他们名字的一部分 X[2:5]这样子按时间排序有时也很必要：filelist = sorted(filelist,key=lambda x: os.path.getmtime(x))...
2021-11-01 16:57:02
372
原创 做力扣时才体会到行优先和列优先的区别
之前感受不深这次写DP时特意换了行和列如图 44MS的是保持行不变 访问完一列再换48MS的是保持列不变 访问完一行再换数组列表在内存里都是一行一行存放的，固定行去访问的话就挨着访问就行固定列去访问 就只能跳着去访问了 所有时间肯定会变慢 在力扣上就是超过40的人和超过60的人的差距...
2021-10-13 10:32:56
217
原创 关于 Word2Vec 使用时遇到的一系列问题。
1 训练时model = Word2Vec(x, vector_size=250, window=5, min_count=5, workers=12, epochs=10, sg=1)
2021-06-04 17:16:49
2397
4
原创 对于计算正确率时 logits.argmax(dim=1)，torch.eq(pre_label,label)
额 好像是一句非常简单的代码 ，但是作为新手 ，我是完全看不懂哎 前十眼。首先 这里的PRE label是一个 （a，b）维的张量。其中a是你的全连接输出维度，bsi
2021-05-31 11:10:58
4184
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人