<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[hellotzx的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/hellotzx</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; hellotzx]]></copyright><item><title><![CDATA[程序员怎么做到粉丝100万]]></title><link>https://blog.youkuaiyun.com/hellotzx/article/details/158538844</link><guid>https://blog.youkuaiyun.com/hellotzx/article/details/158538844</guid><author>hellotzx</author><pubDate>Sun, 01 Mar 2026 14:11:18 +0800</pubDate><description><![CDATA[我们验证了抖某音的算法和内容规则，可以在最快的时间内完成真实涨粉100万的工作。有兴趣的可以联系我们。]]></description><category></category></item><item><title><![CDATA[【Transformer】主流的大模型训练框架]]></title><link>https://blog.youkuaiyun.com/hellotzx/article/details/154761148</link><guid>https://blog.youkuaiyun.com/hellotzx/article/details/154761148</guid><author>hellotzx</author><pubDate>Thu, 13 Nov 2025 02:07:49 +0800</pubDate><description><![CDATA[本文介绍了从零构建LLaMA2模型的全过程，涵盖预训练到微调的完整流程。首先通过手写实现LLaMA的预训练和微调，深入理解模型原理；然后转向主流训练框架Transformers，解决手写实现存在的扩展性问题。详细讲解了使用Transformers+DeepSpeed+PEFT的高效训练方案，包括模型初始化、数据集处理、分布式训练配置等关键技术点。特别介绍了高效微调方法LoRA的原理与实现，通过低秩矩阵分解大幅降低微调资源需求。文章提供了完整的代码示例，展示了如何在工业级框架下实现大模型的高效训练和调优，使读]]></description><category></category></item><item><title><![CDATA[【Transformer】从零训练一个LLaMA2大模型（二）]]></title><link>https://blog.youkuaiyun.com/hellotzx/article/details/154760875</link><guid>https://blog.youkuaiyun.com/hellotzx/article/details/154760875</guid><author>hellotzx</author><pubDate>Thu, 13 Nov 2025 01:43:33 +0800</pubDate><description><![CDATA[本文摘要： 本文系统介绍了自然语言处理中Tokenizer的训练方法及其在预训练语言模型中的应用。首先详细讲解了三种分词方法：基于词的分词（Word-based）简单直观但泛化性差；基于字符的分词（Character-based）灵活但语义丢失；子词分词（Subword）则在两者间取得平衡，重点介绍了BPE、WordPiece和Unigram三种子词算法。 随后文章展示了如何使用HuggingFace工具包训练自定义BPE分词器，包括数据加载、配置设置和模型训练全流程。在此基础上，详细阐述了从数据准备到模型]]></description><category></category></item><item><title><![CDATA[【Transformer】从零训练一个LLaMA2大模型（一）]]></title><link>https://blog.youkuaiyun.com/hellotzx/article/details/154760646</link><guid>https://blog.youkuaiyun.com/hellotzx/article/details/154760646</guid><author>hellotzx</author><pubDate>Thu, 13 Nov 2025 01:35:40 +0800</pubDate><description><![CDATA[本文介绍了如何从工程实践角度构建一个简化版的LLaMA2模型。首先概述了LLaMA2基于Transformer架构的总体设计，包括输入嵌入层、多层Transformer块（使用RMSNorm和SwiGLU激活函数）和旋转位置编码（RoPE）。然后详细讲解了各模块的实现：1）定义超参数管理类ModelConfig；2）实现RMSNorm归一化层；3）构建分组查询注意力机制（GQA）和旋转位置编码；4）设计MLP模块；5）组装DecoderLayer并堆叠成完整模型。文章提供了各模块的PyTorch实现代码，并]]></description><category></category></item><item><title><![CDATA[【Transform】如何深度定制一个大模型]]></title><link>https://blog.youkuaiyun.com/hellotzx/article/details/152420465</link><guid>https://blog.youkuaiyun.com/hellotzx/article/details/152420465</guid><author>hellotzx</author><pubDate>Thu, 02 Oct 2025 23:18:47 +0800</pubDate><description><![CDATA[大模型输出问题的核心挑战与修正技术 大模型输出问题主要包括偏见（如性别/职业刻板印象）、 毒性（攻击性言论）和知识错误（事实性偏差）。传统修正方法如重新预训练成本高、周期长，微调则存在过拟合风险。新兴的模型编辑技术通过局部参数修改（梯度编辑、记忆网络等）实现精准修正，具有成本低、针对性强等优势，但面临精确性、泛化能力等挑战。未来发展方向包括自动化编辑、联邦学习等，结合伦理审查机制，推动构建更安全可靠的AI系统。]]></description><category></category></item><item><title><![CDATA[【Transform】大模型微调参数附加方法（四）参数选择方法（Parameter Selection Methods）]]></title><link>https://blog.youkuaiyun.com/hellotzx/article/details/152420237</link><guid>https://blog.youkuaiyun.com/hellotzx/article/details/152420237</guid><author>hellotzx</author><pubDate>Thu, 02 Oct 2025 23:09:54 +0800</pubDate><description><![CDATA[参数选择方法是一种高效的模型微调技术，通过选择性更新预训练模型的部分参数来降低计算开销。主要包括两类：基于规则的方法（如BitFix仅优化偏置项）和基于学习的方法（如Child-Tuning通过梯度掩码自动选择参数）。这些方法能在保持模型性能的同时显著减少训练参数规模（如BitFix仅更新0.08%-0.09%参数），特别适合资源受限场景。但存在参数选择优化和性能平衡等挑战，且在大模型上的效果仍需验证。]]></description><category></category></item><item><title><![CDATA[【Transform】大模型微调参数附加方法（三）低秩适配方法]]></title><link>https://blog.youkuaiyun.com/hellotzx/article/details/152419638</link><guid>https://blog.youkuaiyun.com/hellotzx/article/details/152419638</guid><author>hellotzx</author><pubDate>Thu, 02 Oct 2025 23:02:51 +0800</pubDate><description><![CDATA[LoRA（低秩适配）是一种高效的大模型微调方法，通过低秩矩阵分解技术，仅需训练少量参数即可达到接近全量微调的效果。其核心思想是将参数更新矩阵分解为两个小矩阵，大幅减少显存占用和计算量。该方法具有参数效率高、推理无延迟、可插拔等优势，支持多任务插件]]></description><category></category></item><item><title><![CDATA[【transform】大模型微调参数附加方法（二）多种参数高效微调（PEFT, Parameter-Efficient Fine-Tuning）]]></title><link>https://blog.youkuaiyun.com/hellotzx/article/details/152419547</link><guid>https://blog.youkuaiyun.com/hellotzx/article/details/152419547</guid><author>hellotzx</author><pubDate>Thu, 02 Oct 2025 22:49:37 +0800</pubDate><description><![CDATA[摘要： 大语言模型在垂直领域应用中存在适应性不足的问题，全面微调成本高昂。参数高效微调（PEFT）技术通过三类方法实现高效适配：1）参数附加法（如适配器层）；2）参数选择法（仅微调关键参数）；3）低秩适配法（如LoRA）。相比指令微调，PEFT显著降低计算和存储开销，提升资源利用率，适用于内存受限场景，同时保持模型灵活性，推动大语言模型在垂直领域的实用化落地。（148字）]]></description><category></category></item><item><title><![CDATA[【transform】大模型微调参数附加方法（一）（Additional Parameter Methods）]]></title><link>https://blog.youkuaiyun.com/hellotzx/article/details/152419400</link><guid>https://blog.youkuaiyun.com/hellotzx/article/details/152419400</guid><author>hellotzx</author><pubDate>Thu, 02 Oct 2025 22:45:14 +0800</pubDate><description><![CDATA[参数附加方法是对大语言模型进行高效微调的技术，主要分为三类：1）输入层附加（如Prompt-tuning），通过添加可训练软提示优化输入；2）模型层附加（如Prefix-tuning、Adapter-tuning），在Transformer层插入可学习参数模块；3）输出层附加（如代理微调），通过调整生成分布实现模型优化。这些方法在保持预训练模型参数的同时，显著降低了微调计算成本，各有优势：输入层附加灵活性高，模型层附加泛化能力强，输出层附加适合黑盒模型优化。这些技术为高效利用大语言模型提供了多样化解决方案。]]></description><category></category></item><item><title><![CDATA[【Transform】模型量化]]></title><link>https://blog.youkuaiyun.com/hellotzx/article/details/152116329</link><guid>https://blog.youkuaiyun.com/hellotzx/article/details/152116329</guid><author>hellotzx</author><pubDate>Fri, 26 Sep 2025 09:45:36 +0800</pubDate><description><![CDATA[模型量化是AI模型压缩的关键技术，通过将高精度浮点数转换为低精度整数（如FP32转INT8），实现模型体积缩小75%、推理速度提升3-4倍等优势。量化分为不同精度等级：FP32（全精度）、FP16（半精度）、INT8（最常用）、INT4（边缘设备）和极端的INT1/INT2。混合精度量化是主流方案，需结合模型结构分析和特殊层处理。实际案例显示，4bit量化可使65B参数模型体积减少87.5%至15GB，推理速度达30tokens/s。选择量化方案需综合考虑部署场景、精度需求和硬件支持，在性能与效率间寻求平衡]]></description><category></category></item><item><title><![CDATA[【Transformer】和前馈神经网络（Feed-Forward Network，简称 FFN）]]></title><link>https://blog.youkuaiyun.com/hellotzx/article/details/152113153</link><guid>https://blog.youkuaiyun.com/hellotzx/article/details/152113153</guid><author>hellotzx</author><pubDate>Fri, 26 Sep 2025 06:25:33 +0800</pubDate><description><![CDATA[Transformer模型中的前馈神经网络（FFN）是其关键组件之一。FFN位于自注意力机制之后，通过两层线性变换和ReLU激活对每个词向量进行非线性映射，增强模型表达能力。与自注意力机制聚焦全局关系不同，FFN负责对语义信息进行深度加工。典型实现中，FFN先将512维向量扩展到2048维再压缩回原尺寸，参数量达200万。研究表明，FFN提供的非线性变换能力对模型性能至关重要，后续还发展出GLU、SwiGLU等改进版本。FFN与自注意力机制相互配合，共同构成了Transformer强大的特征提取能力。]]></description><category></category></item><item><title><![CDATA[【Transformer】和多头注意力机制Multi-Head Attention]]></title><link>https://blog.youkuaiyun.com/hellotzx/article/details/152113092</link><guid>https://blog.youkuaiyun.com/hellotzx/article/details/152113092</guid><author>hellotzx</author><pubDate>Fri, 26 Sep 2025 06:17:11 +0800</pubDate><description><![CDATA[文章摘要：Transformer模型中的多头注意力机制(Multi-Head Attention)是NLP领域的重要突破。它通过多个&quot;注意力头&quot;并行工作，每个头独立分析词与词之间的不同关系（如动作、情感等），最后汇总结果。这种方法比单头注意力能捕捉更丰富的语义信息，提高计算效率。以&quot;我喜欢吃苹果&quot;为例，不同头分别识别动作关系、动宾结构和情感表达。技术上，每个头将输入向量切分为低维子空间进行QKV计算，最终拼接输出。多头机制使模型具备多角度理解语言的能力，是Transf]]></description><category></category></item><item><title><![CDATA[【Transformer】的注意力机制（Attention Mechanism） ：Query（查询）、Key（键）、Value（值）]]></title><link>https://blog.youkuaiyun.com/hellotzx/article/details/152112878</link><guid>https://blog.youkuaiyun.com/hellotzx/article/details/152112878</guid><author>hellotzx</author><pubDate>Fri, 26 Sep 2025 06:09:39 +0800</pubDate><description><![CDATA[Transformer架构中的注意力机制(QKV)是NLP领域的核心组件。Query代表当前词要查找的信息，Key标识其他词能提供什么内容，Value则是实际语义信息。通过计算Q与K的相关性得分，对V进行加权融合，最终输出包含上下文关系的新向量。多头注意力机制通过并行多个注意力头（如语法、语义等不同维度），从多角度增强模型理解能力。该机制使Transformer能有效捕捉长距离依赖关系，是BERT、GPT等成功模型的基础。]]></description><category></category></item><item><title><![CDATA[大模型时代程序员有哪些机会？]]></title><link>https://blog.youkuaiyun.com/hellotzx/article/details/147186011</link><guid>https://blog.youkuaiyun.com/hellotzx/article/details/147186011</guid><author>hellotzx</author><pubDate>Sun, 13 Apr 2025 04:44:26 +0800</pubDate><description><![CDATA[这场由大模型驱动的行业重构，本质上是一场"认知工业革命"。程序员作为技术演进的核心参与者，既面临着职业形态的深刻变革，也获得了前所未有的创新杠杆。这种变革不仅重塑着代码世界，更在重构整个数字经济的底层逻辑，将人类带入"一人一世界"的个性化生产力时代。大模型技术的突破性进展正在重构程序员的技能图谱。传统程序员的知识体系呈现"T型结构"：纵向深耕特定编程语言或框架，横向了解基础算法与系统架构。程序员群体正在经历从"技术工人"到"数字艺术家"的蜕变。]]></description><category></category></item><item><title><![CDATA[人工智能有哪些产品可以应用，程序员怎么把自己的技术变现呢？]]></title><link>https://blog.youkuaiyun.com/hellotzx/article/details/145818469</link><guid>https://blog.youkuaiyun.com/hellotzx/article/details/145818469</guid><author>hellotzx</author><pubDate>Mon, 24 Feb 2025 00:47:15 +0800</pubDate><description><![CDATA[人工智能技术正在快速发展，并广泛应用于许多产品和领域。同时，程序员可以通过多种方式将其编程技能转化为收入。欢迎大家关注留言。]]></description><category></category></item><item><title><![CDATA[DeepSeek安装部署和测试在个人电脑（Windows和Mac）]]></title><link>https://blog.youkuaiyun.com/hellotzx/article/details/145401575</link><guid>https://blog.youkuaiyun.com/hellotzx/article/details/145401575</guid><author>hellotzx</author><pubDate>Thu, 30 Jan 2025 23:26:06 +0800</pubDate><description><![CDATA[想要深入了解大模型的原理，开发，应用，市场的，也欢迎关注留言，我的团队已经跑通了大模型对个人的市场，欢迎大家加入。后续我会把deepseek的模型训练复现的过程也写到这里，欢迎大家马克关注，也是对我的一种敦促。在mac上的实际测试，安装的是7b模型。除了了资源过载，电脑重启了，第一次碰见。他的回复比较慢，个人笔记本资源不够。问他一个简单问题，“你是谁”运行以上指令，进入以下模式。]]></description><category></category></item><item><title><![CDATA[【ASPICE体系】aspice体系过程简介(四)]]></title><link>https://blog.youkuaiyun.com/hellotzx/article/details/143031127</link><guid>https://blog.youkuaiyun.com/hellotzx/article/details/143031127</guid><author>hellotzx</author><pubDate>Thu, 17 Oct 2024 23:50:23 +0800</pubDate><description><![CDATA[评估方法

评级 评估过程 评级指南]]></description><category></category></item><item><title><![CDATA[【ASPICE体系】aspice体系过程简介(三)]]></title><link>https://blog.youkuaiyun.com/hellotzx/article/details/143030566</link><guid>https://blog.youkuaiyun.com/hellotzx/article/details/143030566</guid><author>hellotzx</author><pubDate>Thu, 17 Oct 2024 23:40:39 +0800</pubDate><description><![CDATA[Automotive   SPICE模型-过程要求介绍


过程与过程改进
主要生命周期过程类
组织生命周期过程类
支持生命周期过程类
]]></description><category></category></item><item><title><![CDATA[【ASPICE体系】aspice体系过程简介(二)]]></title><link>https://blog.youkuaiyun.com/hellotzx/article/details/142994675</link><guid>https://blog.youkuaiyun.com/hellotzx/article/details/142994675</guid><author>hellotzx</author><pubDate>Thu, 17 Oct 2024 00:30:40 +0800</pubDate><description><![CDATA[与ISO/IEC 15504、ISO/IEC 330XX
CMMI 、ISO       26262关系
]]></description><category></category></item><item><title><![CDATA[【ASPICE体系】aspice体系过程简介(一)]]></title><link>https://blog.youkuaiyun.com/hellotzx/article/details/142994579</link><guid>https://blog.youkuaiyun.com/hellotzx/article/details/142994579</guid><author>hellotzx</author><pubDate>Thu, 17 Oct 2024 00:17:38 +0800</pubDate><description><![CDATA[VDA Automotive SPICE
汽车行业软件过程改进及能力评估




过程参考模型(PRM)
过程评估模型(PAM)
]]></description><category></category></item></channel></rss>