- 博客(21)
- 收藏
- 关注
RSS订阅原创 Dify使用docker部署后报错不完全统计
解决了之前知识库全丢失的问题，之前知识库的内容都出现了，在查看之前知识库和创建新知识库时发现embedding不可用，接下来解决了以下问题：1、没有下载xinference插件下载插件后发现xyp安装的模型列表在插件中自动的还原了2、端口冲突。
2025-08-20 17:03:51
745
原创 一些小错记录
3、报错Error processing files fall_youtube_0002-Qwen2.5-VL-7B-Instruct_check_result_by_gemini.json and fall_youtube_0002-Qwen2.5-VL-7B-Instruct.json: Invalid format specifier ' "yes", "riding scooter": "no", "play": "yes"' for object of type 'str'拖入终端自动显示路径。
2025-07-15 20:33:29
261
原创 在mac上配置python和pycharm
刚才要跑代码时才发现原来自己还没有配python，在leader的一步步引导下下载了飞连（用于连外网），然后在mac上直接search到安装的软件（还在适应中），他说下个pycharm就能跑了。我在下载pycharm之余突然意识到是不是要先自己下载pythonexe文件，然后在pycharm上配interpreter，和实习搭子讨论时他说“是”，然后告诉我可以用homebrew下载miniconda，下载速度快了很多，而且不需要在anaconda官网注册邮箱什么的。
2025-07-11 11:10:02
485
原创 第一次使用Mac的记录install requested for command line developer tools
如果看到类似 `curl 7.64.1 (x86_64-apple-darwin20.0) libcurl/7.64.1 OpenSSL/1.1.1s zlib/1.2.11 nghttp2/1.42.0` 的输出，则说明 `curl` 已安装并正常工作。如果看到类似 `GNU bash, version 3.2.57(1)-release` 或更高版本的输出，则说明 Bash 已正确安装。如果输出类似于 `/bin/bash`，则表示当前使用的 Shell 是 Bash。
2025-07-07 14:51:14
893
原创 要保持记录的好习惯Day2 Diffusion model 代码学习
*`~partial_mask`的含义**： - `partial_mask`是一个布尔掩码（Boolean mask），其形状与`sample`相同。因此，`~partial_mask`将掩码反转，即原来`True`的位置变成`False`，原来`False`的位置变成`True`。- 通过`~partial_mask`，我们选取了需要更新的区域（即未知区域），并将优化后的参数（`input_embs_param.data`）中对应位置的值赋给`sample`。**朗之万动力学采样用于推理阶段**。
2025-07-07 14:40:35
738
原创 Qwen2源码学习及微调实践
总的来说，self.act_fn(self.gate_proj(x)) * self.up_proj(x) 这个表达式实现了一个门控操作，其中 self.act_fn(self.gate_proj(x)) 提供了门控信号，而 self.up_proj(x) 提供了需要被门控的信号。表达式 self.act_fn(self.gate_proj(x)) * self.up_proj(x) 是 Qwen2MLP 类中的一种门控机制的实现。这个点积结果通常非常大，特别是当键和查询的维度（head_dim）较大时。
2025-07-06 21:35:14
762
原创 要保持记录的好习惯Day1-扩散模型原理理解
物理过程建模需求扩散模型模拟了物理中的非平衡热力学过程前向过程（扩散）：数据逐渐被噪声破坏，对应自然界中的熵增过程反向过程（生成）：需要实现熵减，必须依赖严格的概率推导。
2025-07-05 22:01:21
515
原创 一个模型微调后可以同时跑两个checkpoint进行评估吗
1、指定DEVICE = "cuda:1"后总是报错OOM，且不是自己指定的那一片GPU。device_map=“auto”应该改为DEVICE。报错原因：在加载模型时。
2025-07-05 20:55:52
285
原创 大模型下载
去年下载llama2微调时模型下载了很久才下载下来，但是忘记了最终怎么实现的了，好像是huggingface-cli，但是已经更新了很多轮了不知道原方法是否健在，如果在的话应该是和。该链接的方法一样的。但是要注意一下是否在环境变量里配置了python，也能理解，毕竟是pip install。使用huggingface镜像。
2025-07-04 21:17:27
210
原创 代码随想录Day1打卡
704. 二分查找代码随想录代码随想录官网网站，代码随想录网站，代码随想录官网，代码随想录百度网盘，代码随想录知识星球，代码随想录八股文PDF，代码随想录刷题路线，代码随想录知识星球八股文二分查找其实可以使用分治思想递归，但是效率有点低，所以这里使用while语句进行简化。除此之外，在指针移动时要特别区间是否有-1，主要是看末尾是开区间还是闭区间，以列表[3，4，8，9]为例循环不变量最贴近实践的一次。
2025-04-25 17:38:30
180
原创 使用nohup python xxxxxx.py ＞ run.log 2＞&1 &后ctrl+C无法关闭进程，nvidia-smi后发现显存没有被释放
使用nohup python xxxxxx.py > run.log 2>&1 &进行后台工作，但是已经写到.sh文件中了，所以自己把这个改为了nohup bash x.sh> run.log 2>&1 &所以使用ps的时候只能看到bash。一层一层地我估摸着这样是kill不完的，然后给出prompt“如何关闭僵尸进程”，根据给出的定义“僵尸进程（Zombie Process）是指已经完成执行（通过调用。于是尝试了以下方式，发现可以kill这个进程，但是会冒出新的bash进程2767749。
2024-12-25 13:27:04
824
原创 openmind微调大赛报错总结
如果您在函数内部对 datasets 进行了赋值操作，确保在使用它之前不要有任何赋值语句。或者，如果您需要使用 datasets 库的其他功能，确保在使用 datasets 之前不要有任何赋值操作。2、deepspeed会报错，有版本限制换成0.15.4。没有导入华为编写好的处理与pytorch结合的驱动。3、使用华为昇腾910单机8卡时出现的报错。
2024-12-18 12:34:37
500
原创 Qwen-1.8B微调记录（Qlora）
还是下不下来包，于是发现python版本是3.6，这是因为在新建环境时没有指定python版本，所以新开了一个环境，重新下载，这次连torch也下不下来了，问了kimi说这个代码可以自动处理依赖，需要把后面的cu113换成自己nVidia显卡对应的cuda版本，然后正常运行，叽里咕噜下来一大堆东西，刚开始下的时候很快，后面就很难，扫了一眼有什么pillow，numpy的，想复制一下包名结果以外中止了程序。如果您的 Python 版本不在这个范围内，您可能需要安装一个兼容的 Python 版本。
2024-12-18 12:31:02
1636
2
原创 解析json文件时的报错
@[ 错误通常发生在尝试解析的JSON数据包含额外的数据，这违反了JSON格式规范。JSON格式要求每个文件或字符串仅包含一个JSON对象。如果你有一个包含多个JSON对象的文件，你需要以不同的方式处理它，例如逐行读取（如果每个对象都在单独的一行）或将它们包装在一个数组中。以下是几种可能的情况和解决方案：如果你的文件是JSON Lines格式（每行一个JSON对象），你可以逐行读取并解析每个对象：情况2：文件包含一个JSON数组如果文件包含一个JSON数组，你可以直接解析整个文件：情况3：文件包含多个
2024-12-05 23:18:17
2809
原创 记录一下在使用服务器时需要记住的一些知识
1、进入文件夹用 cd2、exit正常退出terminal，ctrl+c是异常中断3、使用conda创建镜像时：conda create -n hh python==3.10.0；激活环境 conda activate hh 结束环境conda deactivate3、使用华为昇腾910芯片时配置NPU运行环境 export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/usr/local/Ascend/driver/lib64/driver/
2024-12-05 10:41:50
338
原创 微调过程中有关于accelerate库的学习
在这种方法中，和是分别初始化的方法二使用的参数和方法来集成，示例如下：使用这种方法时，会自动处理多进程环境下的记录，无需手动判断主进程，但需要按照的规范来使用方法记录数据如果使用第二种方法，即通过`Accelerator`的`log_with`参数和`init_trackers`方法来集成`TensorBoard`，查看`TensorBoard`记录结果的步骤如下： （其中是你在代码中指定的保存日志文件的目录），然后在浏览器中访问就可以打开界面，随着训练的进行，就能看到指标的动态变化
2024-12-05 10:41:37
1594
原创 Android Studio 解决dependence问题
下载AndroidStudio后会遇到很多问题1.build不成功提示unresolved dependency，如果app下的gradle长成这样：implementation 'com.android.support:appcompat-v7:26.1.0+'则可把它更改为implementation 'com.android.support:appcompat-v7:+'尝试一下，同理对于implementation 'com.android.support:design
2022-03-23 01:34:09
4431
空空如也
dify报错panic
2025-08-11
TA创建的收藏夹 TA关注的收藏夹
TA关注的人