- 博客(16)
- 收藏
- 关注
RSS订阅原创 大模型训练与量化
本文介绍了大模型量化技术与DeepSpeed分布式训练框架。量化技术通过降低权重精度（如FP16→INT4）显著减少显存占用和提升推理速度，主流方法包括GPTQ（二阶误差补偿）、AWQ（激活感知缩放）和BitsAndBytes（混合精度处理离群值）。实战部分演示了使用llmcompressor工具进行W4A16量化的完整流程。DeepSpeed框架通过ZeRO优化器分片策略（分三个阶段消除模型状态冗余）和异构内存技术（Offload/Infinity），结合3D并行策略，实现了从单卡到千卡集群的高效训练，支
2026-05-02 18:28:44
576
原创 高级微调技术（RLHF）
RLHF（基于人类反馈的强化学习）是一种关键技术，通过人类偏好数据优化大语言模型（LLM）的输出，使其更符合有用性（Helpful）、诚实性（Honest）和无害性（Harmless）的3H原则。RLHF分为三个阶段：监督微调（SFT）、奖励模型训练（RM）和强化学习优化（如PPO/DPO/GRPO）。其中，DPO（直接偏好优化）因高效稳定成为主流方法，无需显式奖励模型即可直接优化偏好数据。实战中，通过LLaMA-Factory框架可在消费级硬件上实现DPO微调，显著改善模型回答风格（如从武断猜测转
2026-04-30 17:42:43
512
原创 2025 年大语言模型进展报告
核心主题：2025 年大语言模型（LLMs）架构演进不再单纯依赖规模扩张，而是通过架构革新提升模型能力与效率。主要覆盖内容全注意力序列建模稀疏序列建模模型混合专家模型（MoE）状态化序列建模模型多模态语言模型架构新兴方向（扩散语言模型、动态计算、嵌套学习等）演进逻辑：从“静态规则”向“动态适应”、从“稠密计算”向“高效稀疏/混合”、从“单模态”向“原生多模态”转变，追求效率与表达能力的帕累托最优。核心主题：2025 年大语言模型训练技术呈现多维度突破与深度融合特征。重点围绕。
2026-04-27 21:21:34
758
原创 TChecker 编译踩坑全记录：从缺失依赖到代码修复
TChecker 这个工具对于想深入理解 PHP 静态分析和 CPG 的朋友来说非常有价值，虽然初次编译会踩些坑，但只要理清依赖关系和源码中的小问题，很快就能跑起来。希望这篇踩坑记录能帮你节省时间，少走弯路。如果还有什么问题，欢迎在评论区交流！
2026-04-26 11:14:18
334
原创 参数高效微调
方法核心思想可训练部分关键机制解决的问题LoRA低秩近似低秩矩阵 A 和 B (旁路)\(\Delta W = B \cdot A\)，可合并入原权重无推理延迟，极高参数/存储效率AdaLoRA自适应低秩分配SVD 参数化的 P, Λ, Q重要性评分 + 动态预算调度固定秩分配的次优性，模块/层级重要性差异QLoRA量化基座模型 + LoRANF4 量化后的基座 + 16-bit 适配器NF4 数据类型、双量化、分页优化器。
2026-04-26 11:06:24
457
原创 深入大模型架构
最重要概念稀疏激活：MoE 的本质——用海量参数换取极低的活跃计算量。Router（门控网络）Experts：MoE 的两大核心组件。：目前最主流的路由策略（尤其是 Top-2）。负载均衡：MoE 训练中最关键的挑战，必须通过辅助损失解决。共享专家（DeepSeek）：现代 MoE 的重要创新方向。MoE vs 稠密模型对比参数容量：MoE ≫ 稠密推理计算量：MoE ≈ 小模型训练难度：MoE > 稠密（需处理负载均衡、通信等）显存占用：MoE ≈ 总参数量（所有专家仍需加载）
2026-04-20 21:18:01
660
原创 预训练模型
BERT（Encoder-Only，双向理解专家）：像一个“超级阅读理解高手”。它能同时看前后所有内容（双向注意力），非常擅长“吃透”一句话的意思。典型干的事：判断这句话是正面还是负面情感？找出人名、地名？判断两句话是否相似？做搜索排序。它不擅长自己写长文章，因为它不是为“一步一步生成”设计的。GPT（Decoder-Only，续写/生成大师）：像一个“天才故事续写家”。它只能从左往右看已经写过的内容，然后一步一步预测下一个词（因果注意力）。
2026-04-19 11:19:42
430
原创 文本表示与词向量
技术适用场景优缺点关键点面试/工作出现频率One-Hot玩具级演示维度灾难、无语义★★BoW简单分类、Baseline快、丢失词序★★★TF-IDF关键词提取、搜索、传统ML区分度高、仍丢失语义★★★★★（高频）N-gram语言模型、小数据场景捕捉词序，但稀疏★★★★序号化+Embedding所有现代NLP/LLM项目端到端、可迁移★★★★★（核心）生产中常用组合Baseline语义增强：Word2Vec 平均池化句子向量 → 全连接分类主题分析。
2026-03-29 11:28:25
452
原创 OpenVLA论文精读
大型策略（AI模型）预先在互联网规模的视觉-语言数据和多样机器人演示上训练，有潜力改变我们教机器人新技能的方式：而不是从零训练新行为，我们可以微调这样的视觉-语言-动作（VLA）模型，得到 robust（稳健的）、generalizable（能泛化的）策略，用于视觉运动控制。然而，VLA在机器人领域的广泛采用面临挑战，因为。
2026-01-07 09:48:39
1164
原创 云端Sapien渲染终极挑战：hello_world为何永远失败？完整避坑指南
先说结论，博主在进行多次实验后，发现云端服务器+vnc只能运行python -m sapien.example.offscreen，但无论怎么配置都无法运行python -m sapien.example.hello_world。如果想只运行spaien可以试试在本地windows系统中（sapien基本兼容windows，可以运行python -m sapien.example.hello_world）；
2026-01-06 00:27:10
1222
原创 视频内容智能解析（ASR+LLM）完整学习笔记
项目名称：视频内容智能解析参赛背景：2024年DataWOW大模型应用开发比赛作品，团队约10人（在校大学生 + 在职人员），通过开源社区结识，共创开发。开发周期：约2周，最终获“卓越作品奖”（上百参赛者、70+作品中排名前10%）。开源地址核心目标：利用大模型提升视频/音频学习效率，解决：学生跟不上课堂节奏、记笔记慢；在职人员无大块时间看会议/直播/长视频（B站、知乎上百集长系列常见）；大模型早期多模态（语音+语言）结合应用少。本项目是典型的多模态大模型应用。
2025-12-23 20:22:22
1081
原创 RAG（检索增强生成）学习笔记总结
RAG 定义：Retrieval Augmented Generation，通过引入外部知识库检索相关信息，增强大模型生成过程，生成更准确、符合上下文的答案。解决基础大模型痛点知识局限性：模型知识限于训练数据，无法掌握实时或非公开知识。数据安全性：无需将私有数据纳入训练集，避免泄露风险。大模型幻觉：基于概率生成易产生错误内容，尤其在未知领域。优势：简单有效，已成为主流大模型应用方案之一，显著减少幻觉、提升事实准确性。RAG 基本三步骤索引（Indexing）
2025-12-19 21:07:14
1068
原创 大模型应用开发必知必会笔记
语言模型核心目标：预测词序列中下一个词或缺失词的概率，对人类语言内在规律建模。四代语言模型演化统计语言模型（SLM）：基于马尔可夫假设的n-gram模型。神经语言模型（NLM）：神经网络（如RNN）+分布式词向量（Word Embedding）。代表：word2vec。预训练语言模型（PLM）：海量无标注数据预训练（biLSTM或Transformer）+下游任务微调。代表：ELMo、BERT、GPT-1/2。大语言模型（LLM）
2025-12-15 22:13:44
1058
原创 VMware:设备vmnet0上的网桥没有运行。
解决方法：退出所有虚拟机，点击“编辑”中的虚拟网络编辑器，点击更改设置，点击还原默认值，按照提示找到”下载vmware“的文件夹的 vmnetBridge.dll 文件。重新启动虚拟机，发现网桥运行成功，ping通外网。问题：在做IPv4 分组收发与转发实验时，发现ping不通外网，检查日志发现设备vmnet0上的网桥没有运行。
2025-11-08 19:13:57
278
原创 戴尔笔记本电脑充不上电的问题
（大家修电脑，最好先找官方修理店，毕竟官方天天修同一类电脑，可能会遇到类似问题，像我找的另一个修理店跟我说主板短路了要换主板......）试过几个网上的方法（像是长按关机键30s去静电、修改bios）都没用，最后找了戴尔官方修理店，发现是适配器坏了，买了个新的就好使了。电脑：戴尔灵越16plus，问题：充不上电，电量一直下降。
2025-10-31 10:18:04
203
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人