摘要
本文记录了在单张 RTX 5060 Ti(16GB VRAM)下,使用 QLoRA 方法对 0.5B 至 35B 共 5 个 LLM 进行微调的完整过程,目标是让模型写出没有 AI 味的长篇网文。整个过程跨度约两周,涉及 16 次训练/推理尝试,3 次数据集重构。所有路线均未达成目标。本文按时间线记录完整过程,附具体错误信息与分析。
关键词: QLoRA, LLM 微调, 长文本生成, 显存优化, LLaMA-Factory
阅读提示: 如果对技术细节没有兴趣,只是想看得出了什么结论,可以直接拖到最下面的第 9 节结论和附录 A:训练记录汇总。
1. 背景
1.1 起因
本人完全网文小白,不会写作。因为抖音看到宣传自动化写作,起了兴趣,所以自己尝试了一下。
先用云端 API 模型直接裸写,发现效果还可以——花时间慢慢修改,还算篇小说。但自己改太累了,于是用 OpenClaw(一个 AI Agent 框架,可以搭多个 AI 角色分工协作)搭建了多 Agent 协作流程。但 OpenClaw 还是需要自己手动下指令,效率不够高,后来又转向了全自动化流水线工具。写了开头 10 章,花了点时间改了一下,投番茄小说签约,然后就掉坑里了。后面写的完全没法看了:情节飘逸,AI 味道太重,前后不一致,需要人工大量改写。虽然番茄有首秀(新书流量推荐期)、书测(平台数据考核)等机制,但因为书太烂完全没兴趣,随便写了几十章就结束了第一本书,0 人阅读。
之后开始到处找解法,找方法论,看怎么去 AI 味道,怎么写出真正的情绪文字,怎么搞出商业化网文:
- 改 prompt:到处找提示词修改,没什么用
- 找 skill:找号称能去 AI 味道的 skill,没什么用
- 学方法论:找到了一套《工程化AI》文章,涵盖幻觉防控、上下文管理、文风校准、爽感拆解等主题。读完觉得很有道理,尝试按方法论自己写了一个自动化写作工具,效果依然不太好——方法论说得对,但 AI 模型本身的能力跟不上方法论的要求
- 蒸馏大神作者写作风格:尝试蒸馏了几位大神作者的写作风格skill,没什么用
- 微调:最后想到的方向,于是有了这个踩坑记录
从 5 月份开始折腾,到 7 月份微调结束,累计消耗近 70 亿 token,API 费用 500 多元。
1.2 问题分析
在动手微调之前,需要先搞清楚一个根本问题:为什么 AI 写不出真正的网文?
网文和普通文本有本质区别。一篇好的网文章节不是"通顺的中文",而是能让读者产生情绪反应的文字——紧张、愤怒、心动、憋屈、爽快。读者花钱订阅不是为了看语法正确的句子,是为了追那种"看得停不下来"的感觉。
用 API 裸写时已经观察到以下现象:
- 开头能读,后面散架:前 200 字通常还像回事,500 字后开始重复、跑题、失去叙事结构
- 情节飘逸:写着写着角色性格变了、世界观崩了、前面铺垫的伏笔忘了
- 没有情绪起伏:每个段落读起来情绪是一样的,没有"紧→爆→松"的节奏变化
- AI 味顽固:改 prompt、调温度、换模型,输出还是那股味道——工整、正确、无聊
- 风格蒸馏无效:试图让模型模仿特定作者的风格,模仿到了用词习惯,但学不到叙事节奏
- prompt 越长越失控:自动化写作工具为了控制输出质量,不断往 prompt 里塞规则——大纲、人物卡、前文摘要、写作规范、禁忌清单。结果 prompt 本身就有几千 token(token 是模型处理文本的最小单位,大约 1 个中文字 ≈ 1-2 token),模型要先"读完理解"这些指令才能动笔,注意力被 prompt 占满,留给正文的注意力反而不够。规则越多,模型越拘谨,输出越像"按模板填空"而不是"自由创作"
这些现象背后的原因,一开始并不清楚。是微调实验过程中逐步排除假设后,才慢慢想明白的。本文按时间线记录实验过程,每个阶段的分析在对应实验后给出,最终在结论部分给出完整的解释。
1.3 硬件与软件环境
| 项目 | 配置 |
|---|---|
| GPU | RTX 5060 Ti 16GB |
| OS | Windows 10 + WSL2(Windows 子系统 Linux,用于跑训练) |
| 训练框架 | LLaMA-Factory |
| 显存优化 | unsloth, QLoRA 4-bit (bnb) |
| 精度 | fp16 |
| Python | 3.11 (conda) |
| PyTorch | 2.11.0+cu128 |
硬件约束:RTX 5060 Ti 是 Blackwell 架构,所有训练使用 fp16 精度。16GB 显存是整个过程的硬天花板,所有参数配置都围绕这个限制展开。
2. 环境配置问题
2.1 conda 环境创建
训练环境搭建在 WSL2 中,使用 conda 管理环境。主训练环境命名为 llama:
conda create -n llama python=3.11
conda activate llama
PyTorch 安装时遇到的第一个坑:清华 PyPI 镜像将 torchvision 解析为 cu130 版本,与 PyTorch cu128 不匹配:
ImportError: torchvision needs torchvision>=0.25.0+cu130, but found 0.25.0+cu128
解决方法是 torch 三件套必须使用 PyTorch 官方源,不能用清华镜像:
pip install torch torchvision torchaudio \
--index-url https://download.pytorch.org/whl/cu128
这个问题看似简单,但第一次遇到时排查了半小时。CUDA 版本不匹配的报错信息并不直观,容易误判为 PyTorch 安装不完整。
2.2 unsloth 安装与版本兼容性
unsloth 是 16GB 显存下微调 8B 模型的关键依赖。它通过优化注意力计算和梯度检查点,将显存占用压缩到原生 PEFT 的约 1/4。不装 unsloth,8B 模型 QLoRA 4-bit 训练时显存 barely 够用。
但 unsloth 对 transformers 版本有严格依赖。版本不匹配时训练启动报错:
RuntimeError: Unsloth: No layers to finetune?
该报错信息具有误导性——实际原因是 unsloth 版本与 transformers 不兼容,而非 LoRA target 配置错误。第一次遇到时会去检查 --lora_target 参数是否写对,但实际上参数没问题,是 unsloth 自身的版本问题。
2.3 unsloth 与 Qwen3.5 线性注意力层不兼容
后续尝试 Qwen3.5-9B 时发现更严重的不兼容问题。Qwen3.5-9B 采用混合注意力架构,32 层中 28 层为线性注意力(Linear Attention),模块名为 model.language_model.layers.0.linear_attn.out_proj。
unsloth 的正则匹配无法识别这个模块名,导致 --lora_target all 匹配不到任何可训练层:
RuntimeError: Unsloth: No layers to finetune?
去除 unsloth 后使用原生 PEFT 可以正常运行,但失去 unsloth 的显存和计算优化,训练速度从 ~10s/step 降至 ~46s/step(详见实验 13-14)。
这意味着 16GB 显存下 unsloth 是必须的,但 unsloth 又不兼容新架构——一个死循环。
2.4 Qwen3.5-9B 的额外环境搭建
为 Qwen3.5-9B 新建了独立的 conda 环境 qwen35:
conda create -n qwen35 python=3.11
conda activate qwen35
pip install torch torchvision torchaudio \
--index-url https://download.pytorch.org/whl/cu128
Qwen3.5 的线性注意力层理论上需要 causal-conv1d 和 flash-linear-attention(pip 包名为 fla)来加速。但这两个包需要 CUDA 12.x 的 nvcc 编译,而 WSL2 默认的 nvcc 版本是 11.x。需要手动安装 CUDA 12.8 toolkit 到 /usr/local/cuda-12.8 并添加到 PATH。
实际编译过程中 fla 包的编译过程较长且容易出现版本冲突。最终测试结论是:即使安装了 fla,LLaMA-Factory 也不原生支持 fla 加速线性注意力层。--flash_attn fa2 只能加速 4/32 层标准注意力层,28 层线性注意力仍然走 PyTorch SDPA 后端。
2.5 torchvision/torchaudio 版本残留问题
安装过程中还遇到 torch 残留 2.10.0+cu128 导致 torchvision 和 torchaudio 版本不匹配的问题。必须三个包一起卸载重装:
pip uninstall torch torchvision torchaudio -y
pip install torch==2.11.0 torchvision==0.25.0 torchaudio \
--index-url https://download.pytorch.org/whl/cu128
3. 数据集构建
3.1 数据来源
使用 15 本女频网文作为训练数据源。原始数据为整本小说的章节文本,需要提取每章的前文(前一章末尾约 200 字)和正文(本章原文 2000-2500 字),组成训练对。
3.2 字体反爬机制
数据采集过程中遇到字体反爬问题。机制如下:
- 平台将部分常用字的 Unicode 码点重映射至 PUA(Private Use Area, U+E000–U+F8FF)区域
- 通过自定义字体文件(WOFF/TTF)将 PUA 码点渲染为正确字形
- 人类读者在网页上视觉看到正确文字,但程序获取的原始文本为 PUA 乱码
排查方法:逐字比对网页渲染文本和爬虫获取的原始文本,找出不一致的字符。共发现 37 个字受此机制影响,影响范围覆盖 53.7% 的章节——超过一半的章节包含至少一个乱码字。
如果这些乱码字直接进训练数据,模型会学到错误的内容映射(把 PUA 码点映射到错误的中文字),严重污染文风学习。因此所有含乱码字的样本
482



被折叠的 条评论
为什么被折叠?



