- 博客(380)
- 收藏
- 关注
RSS订阅
原创 昇腾torch.multiprocessing.spawn分布式训练使用pytorch迁移
这样每个子进程启动时都能自动迁移NPU。开头添加NPU迁移的操作。假设你的程序程序基于。那么，可以在进程函数。
2025-04-02 09:52:14
5
原创 pip install cryptacular卡住，卡在downloading阶段
参数，可以展示安装过程卡在哪一步，比如笔者加上参数后，发现卡在了下载scon这一步(如下日志所示)。于是从本地PC下载whl包后，上传到机器安装。笔者安装pip install cryptacular卡在downloading阶段，但不知道为何。之后再安装cryptacular即可。解决办法是，首先加上。
2025-03-29 17:17:33
326
原创 ImportError: libGL.so.1: cannot open shared object file
【代码】ImportError: libGL.so.1: cannot open shared object file。
2025-03-29 15:59:30
358
原创 高数往事(1.2) 二维、高维空间下余弦定理、点乘公式的证明与相互推导
参考《线性代数 原书第七版 中文 利昂著》第211页。证明余弦定理需要使用向量点乘公式。
2025-03-04 14:55:00
42
原创 位置编码(三.1) 苏剑林讲旋转位置编码 数学基础
假设你已经了解RoPE的公式，本文将着重RoPE的求解过程。之前，苏剑林对RoPE给出了数学推导，具体可以看他的博客系列，先阅读。的"其他位置编码"，"融合式"一节，之后再阅读。
2025-03-03 14:18:22
56
转载 线代往事(1.3) 无序图的邻接矩阵乘幂可以求任意两顶点间给定长度的路的条数。
https://blog.youkuaiyun.com/qq_24118527/article/details/82313673
2025-02-27 10:46:39
17
原创 AI视频编码器(3.2) 《Swin Transformer V2: Scaling Up Capacity and Resolution》
本文的主要贡献如下：
2025-02-01 17:12:44
832
原创 AI视频编码器(3.1)《Swin Transformer: Hierarchical Vision Transformer using Shifted Windows》
第一个patch merging layer的行为，根据原文，其输入的维度为2×2×C，输出的维度为1×1×2C。
2025-01-26 15:01:37
776
原创 IndexError: piece id is out of range.
解决方法是，把以下的语句订正，令输入参数放置到当前进程被分配到的设备。如果是"cuda"，会默认放置到设备0上。所说的一样，报错原因并非真正原因。他的博客中实际问题是模型加载到了相同设备导致OOM。而我的情况也是一样，报错信息与实际问题毫无关系。
2025-01-09 16:02:32
204
原创 在arm平台Euler系统上编译安装ffmpeg
主要参考腾讯教程的"二、在EulerOS（欧拉系统）上编译安装FFmpeg"一节。以下是我跟随教程执行的一些经验：第一步，，安装前确保配好了yum镜像。安装时如果权限不足，可以用sudo。我安装g++时报错找不到，但跳过也没关系。第二步，安装x264，执行如果权限不足，可以使用sudo，下同。作者使用非root用户执行和make都没用到root权限，只在运行时用到了。最后，记得要执行，如果没报错输出了各个组件的版本信息，才说明安装成功。
2025-01-02 11:42:46
582
原创 报错WARNING: tokenization mismatch: 173 vs. 169. (ignored)
由下面代码可知，程序会遍历对话的文字，期间把属于用户指令的token id覆盖为IGNORE_INDX，最后会判断cur_len与total_len是否相等。cur_len记录了遍历后所处的位置，total_len记录了文字总长度。如果不相等，说明tokenizer的分词行为与作者硬编码的遍历行为有差别，主要问题可能在于。升级安装tokenizers==0.13.3以后，设置use_fast=True。这行代码，作者想当然地认为通过-2可以舍去某些文字，但那个文字可能分成3个token。
2025-01-02 09:47:22
1113
原创 Local variable ‘tokens‘ referenced before assignment error in tokenization_llama.py
我们到https://github.com/huggingface/transformers/releases?page=5 找到v4.33.1的时间为2023年9月，所以此时已修复该bug。https://github.com/huggingface/transformers/pull/25793，时间为2024年8月。之前作者用的是transoformers v4.32.0，其发布刚好在这个bug被修复的时间点之前。
2024-12-28 15:24:47
216
原创 torch.multiprocessing 向Process传递对象参数报错 Can‘t pickle local object
如下代码所示，使用torch.multiprocessing启动多进程，并传递了model和image_processor两个对象作为参数。
2024-12-17 16:45:13
456
原创 accelerate launch 启动多节点训练 实际进程数少于预期
在多个节点上用accelerate launch启动多节点训练，预计有3个节点，每个节点8张卡，结果运行程序后发现每个节点上只有两个训练进程。
2024-12-10 15:13:53
400
原创 pytorch worker数设置为0导致显存OOM
可能是因为不小心设置了woker数为0，导致各个batch的数据都读取到显存上了。设置worker=16后就好了。
2024-11-13 19:10:05
123
原创 深入理解torch.functional.cross_entropy或F.cross_entropy的原理
由此可知，torch的CE loss会先沿着prediciton score矩阵的每一行计算softmax操作，再全部计算log。最后再基于negative likelyhood loss去计算最终的loss。因此，其实CrossEntropyLoss损失，就是softmax + log + nll_loss的集成。
2024-11-07 15:44:25
212
原创 RuntimeError: CUDA error: invalid device ordinal
最终发现，当我设置比如CUDA_VISIBLE_DEVICE=3,4,5时，对于python程序来说，设备编号仍然是0、1、2，因此应当设置。
2024-10-21 19:35:51
165
1
原创 ModuleNotFoundError: No module named ‘models.xxx‘
自己项目下有目录models/xxx，但是运行代码时却识别不到。
2024-10-15 10:57:24
631
原创 pycharm运行代码报错ModuleNotFoundError: No module named ‘data‘
可知，只要设置代码目录为sources root即可。
2024-10-12 09:51:27
412
原创 diffusion model(1.1) 为什么前向传播和反向传播都遵循高斯分布？
较小时，前向传播和反向传播前向分布和后向分布拥有同样的分布形式。后者又引用了另一篇论文(Feller, 1949)，但没空分析了。DDPM的引用[53]为。所引论文的内容如下，
2024-10-07 15:23:38
295
原创 高数往事(1.1) 高斯分布的特征函数、独立高斯分布的可加性
Characteristic function (probability theory)
2024-10-06 14:49:16
677
原创 什么是高斯积分，以及如何求它的值(error function)
的"通过极限计算"一节，利用了双重积分，正方形的内切圆和外切圆面积，以及夹逼定理。在这里，积分的平方被转化为双重积分，再加以整理。两个相互独立的积分相乘可以化为双重积分，解答参考。当z趋近于正无穷时，其值为1。高斯积分的证明过程可以参考。（凑出误差函数的形式）（积分函数是偶函数）
2024-10-05 23:43:17
1737
原创 自然常数e的定义
你会发现，每当缩小领利息的周期，复利后的收益会变多。那假如利息周期无限小，以此类推，一年后的复利会如何呢？实际上，这个数字不会超过e。可以用银行利息的复利来理解这个公式。某银行每年的利息年化是100%，你在里面存了1块钱，且每次领到利息时都会再存回去。
2024-10-05 11:36:49
1149
原创 diffusion model(3) 扩散模型去噪推理原理 solver
在之前的篇章中，以huggingface为例，分析了模型在训练阶段，是如何加噪声，以及用unet预测噪声的。接下来以diffusers为例，分析扩散模型在去噪推理时的原理。
2024-09-29 19:31:37
305
原创 2024年9月 MLLM做图片生成
目前主流的图片生成是用扩散模型diffusion model，本文介绍另一种路径：基于多模态大模型MLLM做图片生成。
2024-09-29 15:33:22
357
原创 ValueError: PEFT backend is required for this method. Please install the latest version of PEFT
笔者这样做后就解决问题了。
2024-09-27 17:12:03
364
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人