韬小志-优快云博客

原创【LLaMa-Factory】监督微调训练方法

训练阶段，可选: rm(reward modeling), pt(pretrain), sft(Supervised Fine-Tuning), PPO, DPO, KTO, ORPO。提供了微调时的配置示例。该配置指定了模型参数、微调方法参数、数据集参数以及评估参数等。您需要根据自身需求自行配置。可选: freeze, lora, full。数据集模板，请保证数据集模板与模型相对应。true用于训练, false用于评估。使用的数据集，使用”,”分隔多个数据集。是否推送模型到 Huggingface。

2024-11-06 17:20:08 1397

原创【实测有效】两个Ubuntu系统通过网线传输文件

scp -r /path/to/local/file(本地电脑文件路径) username@192.168.1.12（对方电脑IP）:/path/to/remote/destination。scp -r /path/to/local/file(本地电脑文件路径) username@192.168.1.11（对方电脑IP）:/path/to/remote/destination。确保两台电脑上都安装了 SSH，并启动了 SSH 服务。，然后激活了这个网络接口，使其能够开始传输数据。，并设置了子网掩码为。

2024-11-05 16:36:08 1141

原创 [BUG]warn(f“Failed to load image Python extension: {e}“)的解决办法

通过以下命令查看torchvision的版本为0.12.0。通过一下命令查看torch的版本为2.5.0。查询发现版本不对应。

2024-10-26 12:32:59 783

原创 [BUG]ValueError: Unknown scheme for proxy URL URL(‘socks://127.0.0.1:7890/‘)的解决方法

[BUG]ValueError: Unknown scheme for proxy URL URL('socks://127.0.0.1:7890/')的解决方法

2024-10-24 16:41:57 996

原创（亲测有效，有图有真相）问题解决：ModuleNotFoundError: No module named ‘st_aggrid‘，找不到st_aggrid版本

（亲测有效，有图有真相）问题解决：ModuleNotFoundError: No module named 'st_aggrid'，找不到st_aggrid版本

2024-03-26 19:59:05 777

原创（离线RAG、chatGLM3-6B）安装了fastchat：0.2.36，仍报错ModuleNotFoundError: No module named ‘fastchat.protocol‘

（离线RAG、chatGLM3-6B）安装了fastchat：0.2.36，仍报错ModuleNotFoundError: No module named 'fastchat.protocol'

2024-03-25 16:22:42 1691 2

原创（亲测好用-真心值得收藏）LoRA本地微调chatGLM-6B可用的数据集（LLM基础数据是2023年9月之前的）

LLM的水平与训练时所用的数据集的质量强相关。在LoRA本地微调ChatGLM-6B模型时，刚开始采用网上的包含较少数据的数据集，LoRA微调前后的效果对比不明显。

2024-03-14 18:39:26 961 1

原创 switch case break return

语句，除非你有意使用“贯穿”行为来实现某种特定的逻辑（这种情况很少见，并且通常不推荐）。这种行为可能不是程序员想要的，因为它可能导致逻辑错误或不可预测的行为。语句的“贯穿”（fall through）行为。语句匹配成功并执行完相应的代码块后，如果没有。标签用于标识一个特定的值或情况，而。语句，程序会继续执行下一个。语句之后的第一条语句。搭配使用的主要目的是防止。语句的代码块，直到遇到。为了避免这种情况，每个。语句后面都应该紧跟一个。语句的执行，并跳出到。语句，程序会继续执行。

2024-03-07 15:43:48 741

原创 std::accumulate()——中年油腻

include <numeric> // 需要包含这个头文件以使用std::accumulate。是一个高效的算法，它直接在输入序列上操作，而不需要额外的存储空间（除了可能需要的临时变量），因此即使。是一个通用的算法，它可以对序列中的元素进行累积操作。是按值传递的，这通常也不会成为性能瓶颈。使用了C++标准库中的。向量被按值传递，这意味着函数会接收。向量中所有元素的和。

2024-03-06 14:52:28 633

原创 std::vector＜int＞、const std::vector＜int＞、for（int num:nums）{}

大语音模型发展得如火如荼，读写代码能力已经甩一般程序员好几条街了，像我这种不可能成为编程高手的中年油腻大叔，还有必要学C++编程吗？

2024-03-05 14:08:28 860

原创 python集合set可以去除重复元素、““.join——油腻大叔的无奈

可能会让人误解，因为它并不返回两个输入字符串中的最长字符串，而是返回合并、去重并排序后的字符串。一个更合适的函数名可能是。两个字符串合并，去除重复字符，然后返回排序后的字符串。，并返回一个字符串。这是一个Python函数，名为。

2024-02-23 21:31:14 477 1

原创 python sorted()、切片、TypeError: ‘int‘ object is not iterable——油腻大叔的无奈

python中sorted函数，返回一个新的排序后的序列，原来的序列不会被改变。如果想要改变原始序列需要将sorted后的序列赋值给原来序列。alse，是布尔值，表示逻辑上的“是”或“否”。: 这是一个Python切片操作，用于反转字符串。注意对比以下两种切片方法的在末尾处的不同。

2024-02-23 20:23:07 556 1

原创 python for循环等简单bug解决记录-油腻大叔的无奈

作为工作多年的，非计算机相关专业出身的，只在大一还是大二考过计算机二级后面主要用matlab（工作后也基本不用了）的油腻大叔，学编程真的是不容易啊！1、python的for循环，一般采用 for i in XXX的方式，XXX可以为字符串、列表、元组、字典等。话说我也是在本地进行了大模型的部署和微调后，趁着这段时间抽空学习一下python。在语言大模型如此火爆的当下，学编程，尤其是我这种高龄半途学编程真的有意义吗？3、定义空字符串，用单双引号即可。针对python编程，真的是一看就懂，一写就废啊！

2024-02-22 16:48:37 495 1

原创对列表求和，报错：‘NoneType‘ object is not iterable

append 'NoneType' object is not iterable

2024-02-21 22:21:24 448

原创方法导入 (.py文件下的方法可以通过from - import导入）

可以在模块中直接编写方法，然后通过import直接调用

2024-02-21 10:32:20 345

原创 (新手亲测有效)在消费级GPU上本地LoRA微调chatGLM-6B（FP16）

在运用LoRA对ChatGLM-6B（FP16）大语音模型时，遇到了bug1：ValueError: Attempting to unscale FP16 gradients. 和 bug2： AttributeError: 'ChatGLMTokenizer' object has no attribute 'sp_tokenizer'. Did you mean: '_tokenize'?显存要求：本人选用的ChatGLM-6B是FP16精度的，运行代码需要不少于14G的显存；四、过程中的bug解决。

2024-02-20 13:56:59 3009

weixin_41784510的博客