
从零开始构建大模型
文章平均质量分 95
本专栏系统解析大模型开发全流程,从数学基础到工业实践,涵盖 Transformer 架构设计、分布式训练、推理优化及多模态融合技术。通过代码示例与行业案例,深度剖析数据预处理、模型并行策略及硬件加速方案,适合 AI 开发者与研究人员,提供最新技术趋势与工程化解决方案,助力打造高效、可扩展的大模型系统
言析数智
再见少年拉满弓,不惧岁月不惧风。
1.科技先进工作者、省级评审专家库、参与4篇专利、杭州E类人才;
2.参与管理6+人数据分析与挖掘(AI)团队;
3.多次带领团队荣获数据应用模型创新大赛单位一等奖、作品一等奖、个人一等奖;
展开
-
从零构建大语言模型全栈开发指南:第三部分:训练与优化技术-3.1.2Tokenization策略:BPE算法与词表设计
从零构建大语言模型全栈开发指南:第三部分:训练与优化技术-3.1.2Tokenization策略:BPE算法与词表设计原创 2025-04-05 19:39:12 · 336 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:附录与资源-3.面试与进阶-200道大模型面试真题与职业发展路线图-基础理论篇50题
从零构建大语言模型全栈开发指南:附录与资源-3.面试与进阶-200道大模型面试真题与职业发展路线图-基础理论篇50题原创 2025-04-05 18:52:47 · 334 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:附录与资源-2.数据集大全-公开语料库、多模态数据集与领域专用数据源
从零构建大语言模型全栈开发指南:附录与资源-2.数据集大全-公开语料库、多模态数据集与领域专用数据源原创 2025-04-05 17:08:51 · 277 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:附录与资源-1.工具链速查-PyTorch Lightning、Hugging Face Transformers、Weights & Biases
从零构建大语言模型全栈开发指南:附录与资源-1.工具链速查-PyTorch Lightning、Hugging Face Transformers、Weights & Biases原创 2025-04-04 01:08:20 · 83 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第五部分:行业应用与前沿探索-5.2.3前沿方向:MoE架构、世界模型与具身智能
从零构建大语言模型全栈开发指南:第五部分:行业应用与前沿探索-5.2.3前沿方向:MoE架构、世界模型与具身智能原创 2025-04-04 00:35:29 · 208 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第五部分:行业应用与前沿探索-5.2.2超级对齐与AGI路径探讨
从零构建大语言模型全栈开发指南:第五部分:行业应用与前沿探索-5.2.2超级对齐与AGI路径探讨原创 2025-04-04 00:17:40 · 285 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第五部分:行业应用与前沿探索-5.2.1模型偏见与安全对齐(Red Teaming实践)
从零构建大语言模型全栈开发指南:第五部分:行业应用与前沿探索-5.2.1模型偏见与安全对齐(Red Teaming实践)原创 2025-04-03 23:58:50 · 250 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第五部分:行业应用与前沿探索-5.1.1百度ERNIE、阿里通义千问的技术对比
从零构建大语言模型全栈开发指南:第五部分:行业应用与前沿探索-5.1.1百度ERNIE、阿里通义千问的技术对比原创 2025-04-03 23:20:52 · 380 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第五部分:行业应用与前沿探索-5.1.2行业落地挑战:算力成本与数据隐私解决方案
从零构建大语言模型全栈开发指南:第五部分:行业应用与前沿探索-5.1.2行业落地挑战:算力成本与数据隐私解决方案原创 2025-04-03 23:06:35 · 288 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第四部分:工程实践与部署-4.3.1LangChain与Dify平台实战:从RAG到Agent工作流
从零构建大语言模型全栈开发指南:第四部分:工程实践与部署-4.3.1LangChain与Dify平台实战:从RAG到Agent工作流原创 2025-04-02 20:43:06 · 394 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第四部分:工程实践与部署-4.3.3低代码开发:快速构建行业应用(电商推荐与金融风控案例)
从零构建大语言模型全栈开发指南:第四部分:工程实践与部署-4.3.3低代码开发:快速构建行业应用(电商推荐与金融风控案例)原创 2025-04-02 19:41:18 · 318 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第四部分:工程实践与部署-4.3.2知识库增强与外部API集成(代码示例:HTTP节点与检索增强生成)
从零构建大语言模型全栈开发指南:第四部分:工程实践与部署-4.3.2知识库增强与外部API集成(代码示例:HTTP节点与检索增强生成)原创 2025-04-02 18:55:15 · 287 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第四部分:工程实践与部署-4.2.3行业案例:智能客服中的图文交互系统
从零构建大语言模型全栈开发指南:第四部分:工程实践与部署-4.2.3行业案例:智能客服中的图文交互系统原创 2025-04-01 22:01:24 · 220 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第四部分:工程实践与部署-4.2.2多模态数据处理:图像编码与文本对齐(实战代码示例)
从零构建大语言模型全栈开发指南:第四部分:工程实践与部署-4.2.2多模态数据处理:图像编码与文本对齐(实战代码示例)原创 2025-04-01 21:24:24 · 610 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第四部分:工程实践与部署-4.2.1视觉-语言模型(VLM)架构设计(CLIP与Flamingo模式)
从零构建大语言模型全栈开发指南:第四部分:工程实践与部署-4.2.1视觉-语言模型(VLM)架构设计(CLIP与Flamingo模式)原创 2025-04-01 01:10:49 · 395 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第四部分:工程实践与部署-4.1.3边缘设备适配:手机端与嵌入式系统推理优化
从零构建大语言模型全栈开发指南:第四部分:工程实践与部署-4.1.3边缘设备适配:手机端与嵌入式系统推理优化原创 2025-04-01 00:29:41 · 202 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第四部分:工程实践与部署-4.1.2ONNX格式转换与TensorRT部署
从零构建大语言模型全栈开发指南:第四部分:工程实践与部署-4.1.2ONNX格式转换与TensorRT部署原创 2025-03-31 21:23:35 · 254 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第四部分:工程实践与部署-4.1.1模型量化(INT8/FP16)与剪枝策略
从零构建大语言模型全栈开发指南:第四部分:工程实践与部署-4.1.1模型量化(INT8/FP16)与剪枝策略原创 2025-03-31 20:37:35 · 283 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第三部分:训练与优化技术-3.3.3领域适配案例:医疗文本分类与法律合同生成
从零构建大语言模型全栈开发指南:第三部分:训练与优化技术-3.3.3领域适配案例:医疗文本分类与法律合同生成原创 2025-03-31 15:18:32 · 276 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第三部分:训练与优化技术-3.2.2GPU/TPU集群部署实战(AWS与阿里云配置指南)
从零构建大语言模型全栈开发指南:第三部分:训练与优化技术-3.2.2GPU/TPU集群部署实战(AWS与阿里云配置指南)原创 2025-03-31 13:17:57 · 289 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第三部分:训练与优化技术-3.3.2参数高效微调:LoRA与适配器(Adapter)技术
从零构建大语言模型全栈开发指南:第三部分:训练与优化技术-3.3.2参数高效微调:LoRA与适配器(Adapter)技术原创 2025-03-30 22:57:48 · 329 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第三部分:训练与优化技术-3.3.1指令微调(Instruction Tuning)与人类反馈强化学习(RLHF)
从零构建大语言模型全栈开发指南:第三部分:训练与优化技术-3.3.1指令微调(Instruction Tuning)与人类反馈强化学习(RLHF)原创 2025-03-27 23:52:35 · 90 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第三部分:训练与优化技术-3.2.3预训练任务设计:掩码语言建模(MLM)与下一句预测(NSP)
从零构建大语言模型全栈开发指南:第三部分:训练与优化技术-3.2.3预训练任务设计:掩码语言建模(MLM)与下一句预测(NSP)原创 2025-03-27 23:22:31 · 272 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第三部分:训练与优化技术-3.2.1模型并行与数据并行策略(ZeRO优化器与混合精度训练)
从零构建大语言模型全栈开发指南:第三部分:训练与优化技术-3.2.1模型并行与数据并行策略(ZeRO优化器与混合精度训练)原创 2025-03-27 01:57:32 · 662 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第三部分:训练与优化技术-3.1.3分布式数据加载与并行处理(PyTorch DataLoader优化)
从零构建大语言模型全栈开发指南:第三部分:训练与优化技术-3.1.3分布式数据加载与并行处理(PyTorch DataLoader优化)原创 2025-03-27 01:36:04 · 459 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第三部分:训练与优化技术-3.1.1大规模语料库构建(Wikipedia、Common Crawl清洗与分词)
从零构建大语言模型全栈开发指南:第三部分:训练与优化技术-3.1.1大规模语料库构建(Wikipedia、Common Crawl清洗与分词)原创 2025-03-25 22:21:53 · 231 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第二部分:模型架构设计与实现-2.2.1从零编写类GPT-2模型架构(规划模块与代码组织)
从零构建大语言模型全栈开发指南:第二部分:模型架构设计与实现-2.2.1从零编写类GPT-2模型架构(规划模块与代码组织)原创 2025-03-25 21:56:20 · 339 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第二部分:模型架构设计与实现-2.2.3实战案例:在笔记本电脑上运行轻量级LLM
从零构建大语言模型全栈开发指南:第二部分:模型架构设计与实现-2.2.3实战案例:在笔记本电脑上运行轻量级LLM原创 2025-03-25 17:20:04 · 318 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第二部分:模型架构设计与实现-2.2.2文本生成逻辑:Top-k采样与温度控制
从零构建大语言模型全栈开发指南:第二部分:模型架构设计与实现-2.2.2文本生成逻辑:Top-k采样与温度控制原创 2025-03-25 16:27:24 · 487 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第二部分:模型架构设计与实现-2.1.3前馈网络(FFN)与激活函数(GELU)优化
从零构建大语言模型全栈开发指南:第二部分:模型架构设计与实现-2.1.3前馈网络(FFN)与激活函数(GELU)优化原创 2025-03-25 15:56:02 · 306 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第二部分:模型架构设计与实现-2.1.2多头注意力扩展与掩码机制(因果掩码与填充掩码)
从零构建大语言模型全栈开发指南:第二部分:模型架构设计与实现-2.1.2多头注意力扩展与掩码机制(因果掩码与填充掩码)原创 2025-03-23 17:00:15 · 280 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第二部分:模型架构设计与实现-2.1.1自注意力机制(Scaled Dot-Product Attention)的逐行代码实现
从零构建大语言模型全栈开发指南:第二部分:模型架构设计与实现-2.1.1自注意力机制(Scaled Dot-Product Attention)的逐行代码实现原创 2025-03-23 14:32:00 · 240 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第一部分:数学与理论基础-1.2.3层归一化(LayerNorm)与残差连接的原理与代码实现
从零构建大语言模型全栈开发指南:第一部分:数学与理论基础-1.2.3层归一化(LayerNorm)与残差连接的原理与代码实现原创 2025-03-23 11:50:59 · 359 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第一部分:数学与理论基础-1.2.2Transformer的突破性设计:自注意力机制与位置编码
从零构建大语言模型全栈开发指南:第一部分:数学与理论基础-1.2.2Transformer的突破性设计:自注意力机制与位置编码原创 2025-03-23 09:50:45 · 286 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第一部分:数学与理论基础-1.1.3模型参数与超参数:权重、偏置、学习率与正则化策略
从零构建大语言模型全栈开发指南:第一部分:数学与理论基础-1.1.3模型参数与超参数:权重、偏置、学习率与正则化策略原创 2025-03-22 02:22:24 · 322 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第一部分:数学与理论基础-1.2.1RNN与LSTM的局限性
从零构建大语言模型全栈开发指南:第一部分:数学与理论基础-1.2.1RNN与LSTM的局限性原创 2025-03-22 02:10:43 · 301 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第一部分:数学与理论基础-1.1.2核心数学基础:线性代数、概率论与梯度优化
从零构建大语言模型全栈开发指南:第一部分:数学与理论基础-1.1.2核心数学基础:线性代数、概率论与梯度优化原创 2025-03-19 20:43:27 · 439 阅读 · 0 评论 -
从零构建大语言模型全栈开发指南:第一部分:数学与理论基础-1.1.1语言模型演进:从N-gram到Transformer
从零构建大语言模型全栈开发指南:第一部分:数学与理论基础-1.1.1语言模型演进:从N-gram到Transformer原创 2025-03-18 22:54:06 · 502 阅读 · 0 评论