- 博客(199)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 【Vit】Vision Transformer 入门与理解
注意上图中有些细节遗漏，全流程应该是：先把输入进行 patch_embedding 变成 visual tokens，然后和 class_token 合并，最后 position_embedding。看图就比较明白了，VIT只用了Encoder的部分，把每一个图片裁剪成若干子图，然后把一个子图flatten一下，当成nlp中的一个token处理。其实有了 Transformer 的基础后，直接看代码就知道VIT是怎么做的了。
2024-04-11 17:18:57
562
原创 【PPspliT】ppt转pdf-保留过渡动画
http://www.maxonthenet.altervista.org/ppsplit.php再次打开ppt，就能在上方的选项栏里头看到了：
2023-11-23 11:21:55
1091
原创 【英语】标题首字母大小写规则
在阅读英文资料时，最常接触的英语标题大写方式有两种，一种是全部字母大写，另一种是部分单词首字母大写。如：THE TRUE COST OF BEING LAST IN LINE ——《哈佛商业评论》The Case of the Offensive Band Name （the本不应该大写，这里大写是因为首字母） ——《读者文摘》其中，前一种较少用，而后一种最为常用。为何？小站认为原因在于前一种多用于强调，而不太利于阅读。
2023-10-26 11:36:23
17164
原创 【爬虫】Requests库的使用
这个库比我们上次说的 urllib 可是要牛逼一丢丢的。通过它我们可以用更少的代码，模拟浏览器操作。不多说，直接上手代码。
2023-08-18 00:34:00
1183
原创 【pytorch】torch.nn.utils.rnn的pad_sequence、pack_padded_sequence、pad_packed_sequence、PackedSequence
nn.utils.rnn.PackedSequence是nn.utils.rnn.pack_padded_sequence的亲戚，两者输出的结果都一样，都是将序列进行pack，得到。第一个是PackedSequence对象，而标准RNN返回的是所有序列，每个位置的隐向量输出，形状是[batch_size,seq_len,hidden_size]。第二个一模一样，是RNN每一个序列的最后一个位置的隐向量输出，形状是[batch_size,hidden_size]。类型的变量，只是输入的参数不一样。
2023-07-04 23:57:18
860
原创 【python】__init__.py 文件的作用
可以为空，也可以定义包的属性和方法，但其必须存在，其它程序才能从这个目录中导入相应的模块或函数。文件，那么它就变成了一个包（package）。可以看到，几乎每个文件夹下都有。，一个目录如果包含了。
2023-07-04 12:41:20
275
原创 【NLP】常见的tokenize（分词）方式——Byte Pair Encoding (BPE)
参见：https://zhuanlan.zhihu.com/p/424631681
2023-06-17 21:13:58
2377
原创 【pytorch】模型剪枝 model pruning
torch.nn.utils.prune 是pytorch用于修剪模型的工具包，其通过 修改将模型某一层的参数进行限定，然后再使用 prune.remove 函数进行修剪，一般来说，修剪参数值较小的参数，模型的性能也不会发生太大变化。但是要注意，本文介绍的都是非结构剪枝，就是哪些被裁剪为0的参数，在经过模型重新训练以后，会重新进行迭代更新，对于结构剪枝，使用本文的方法不适用，建议采用 github 上面的一些库来进行实现。
2023-04-09 21:56:38
939
原创 【迁移式的目标检测】一种通用目标检测算法
传统的物体检测算法受限于繁琐的人工标注，在开放世界中出现新类别后往往需要“从头来过”，即使只增加一个新类别，也要完整过一遍标注、训练、部署整个流程，严重限制了其通用性，这显然不“科学”。向大家介绍一篇今天新出的非常有意思的 CVPR 2023 的论文，相比于传统的目标检测算法，训练时标注了几个类别，就只能检测几个类别，这篇论文属于通用目标检测的范畴。3）为了应对训练中的新挑战，作者还提出了提出的解耦训练方式和概率校准，进一步提高了对新类别的泛化能力。（好吧，这个世界限制了UniDetector的发挥~）
2023-03-23 10:15:17
726
原创 【pytorch】self.register_buffer()的作用：定义为不可训练的模型参数
PyTorch中定义模型时，有时候会遇到 self.register_buffer(‘name’, Tensor)的操作，该方法的作用是定义一组参数，该组参数的特别之处在于：模型训练时不会更新（即调用 optimizer.step() 后该组参数不会变化，只可人为地改变它们的值），但是保存模型时，该组参数又作为模型参数不可或缺的一部分被保存。而 register_parameter() 和它是相反的功能。
2023-03-12 13:04:19
735
原创 【pytorch】nn.Embedding()
翻译过来的意思就是词嵌入，通俗来讲就是将文字转换为一串数字。因为数字是计算机更容易识别的一种表达形式。我们词嵌入的过程，就相当于是我们在给计算机制造出一本字典的过程。计算机可以通过这个字典来间接地识别文字。词嵌入向量的意思也可以理解成：词在神经网络中的向量表示。num_embeddings (python:int) – 词典的大小尺寸，比如总共出现5000个词，那就输入5000。此时index为（0-4999）
2023-03-11 16:03:56
587
原创 【github】生成免密token
在 git 某个项目时，登陆github账号后出现了一个问题：remote: Support for password authentication was removed on August 13, 2021.意思是不支持命令行的账号密码登录了，本文提供利用token的解决方案。
2023-03-05 13:53:59
877
原创 【python】time包的使用
Python 程序能用很多方式处理日期和时间，转换日期格式是一个常见的功能。Python 提供了一个 time 和 calendar 模块可以用于格式化日期和时间。时间间隔是以秒为单位的浮点小数。Python 的 time 模块下有很多函数可以转换常见日期格式。
2023-02-09 10:41:51
1144
原创 【python】repr() 将对象转化为str格式；避免转义字符
以下是 repr() 方法的语法: object – 对象。返回一个对象的 string 格式。例如我有一个字典data，如果需要把其转化成str格式，可以用 输出str格式的字典：可以看到输出多了一个双引号，而且效果和一样。有时候我有一串字符串，里面包含形如 这样类似转义字符但是我本意不是转义字符，这时候用 就可以实现忽略转义字符的转化：
2023-02-09 10:04:16
1186
转载 【python】多线程的基本使用 _thread包
Python中使用线程有两种方式：函数或者用类来包装线程对象。调用 _thread 模块中的start_new_thread()函数来产生新线程。语法如下:function - 线程函数。args - 传递给线程函数的参数,他必须是个tuple类型。kwargs - 可选参数。
2023-02-09 09:39:31
678
原创 【Coursera】处理来自不同分布的数据集
两个数据集不是来自同一分布的，有着不同的数学期望、方差，这样会导致训练集效果很好，但是模型在测试集上的效果很差，这时候需要调整一下训练策略了。ps：这不同于过拟合，本文讲的原因在于训练集和测试集的分布不同。
2022-12-11 00:02:27
1453
原创 【pytorch】利用 model.children() 对模型进行拆解；提取复杂嵌套模型的某一层
可以看到，模型一共有三个大层，分别命为：‘avgpool’，‘features’，‘classifier’。而每一个大层里面又嵌套了很多小层（子层）。以往，我们只能够通过一个个引用来进行调用大层或者小层（子层），例如：也可以通过list()
2022-12-10 18:54:21
2323
原创 【测试】111111111111111111111111111111
11111111111111111111111111111111111111111111
2022-12-09 12:20:35
1373
原创 【python】os.system() & os.popen() 在 python 执行 cmd 指令
而是一个16位的数，它的高位才是返回码。使用os.system返回值是脚本的退出状态码，该方法在调用完shell脚本后，返回一个16位的二进制数，低位为杀死所调用脚本的信号号码，高位为脚本的退出状态码。os.system()返回值为256，十六位二进制数示为：00000001，00000000，高八位转成十进制为 1 对应 linux命令返回值 1。通过 os.popen() 返回的是 file read 的对象，对其进行读取 read() 的操作可以看到执行的输出。一般来说，返回 0 表示运行成功。
2022-12-09 12:18:31
12573
原创 【VSCode】配置 conda 创建的环境到 VSCode
conda 创建的虚拟环境在 spyder 上可以跑代码，但是到了 VSCode 就会报错。
2022-11-20 20:44:21
9591
2
原创 【VSCode】代码高亮的调整
默认在dark的背景下，代码选中后高亮的效果是浅浅的白色，那么如果我想实现如下效果该怎么操作呢？然后在搜索中输入：workbench.colorCustomizations。打开，并把以下代码插入。注意，颜色是可以选择的~
2022-11-11 21:51:29
15610
2
原创 【VSCode】关闭讨厌的语法检查、语法自动检查、代码错误自动提示、错误提示
刚下载完 VSCode 使用的过程中，会发现导出提示语法错误（但是明明是没错的），非常讨厌：为什么会这样呢？因为编辑器无法识别这是python文件，所以导致其出现乱报错的情况，解决办法如下：搜索language，选择python，然后选择“Jedi”：
2022-11-11 21:15:02
20615
9
中国计算机学会推荐国际学术会议和期刊目录-2019 (1).pdf
2021-09-13
crime_dataset.zip
2021-03-30
Exploiting Unintended Feature Leakage in Collaborative Learning.pdf
2020-04-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人