- 博客(69)
- 收藏
- 关注
RSS订阅
原创 从零到顶会：NLP科研实战手册
《NLP研究者从零到顶会的实战指南》摘要：本文系统梳理了一位连续发表ACL/EMNLP等顶会论文的NLP研究者成长路径。核心内容包括：1）科研入门需掌握深度学习基础与PyTorch技能；2）通过arXiv/GitHub等平台追踪前沿；3）研究方向选择建议"热点+经典任务"组合；4）创新点可从论文局限性或综述展望切入；5）论文写作要讲好故事，注重图表设计；6）投稿后需善用GitHub/Twitter扩大影响力。文中还提供了CS224N等精选学习资源、写作工具及配色网站推荐。强调科研是系统性
2025-09-14 22:52:46
1367
原创 深度学习中的梯度问题：从消失到爆炸，全面解析与解决方案
摘要：深度学习中的梯度消失和爆炸问题严重影响模型训练效果。本文系统分析了这两类问题的成因（如激活函数选择不当、权重初始化不合理、网络过深等），并详细介绍了五大主流解决方案：1）改进激活函数（ReLU及其变体）；2）合理权重初始化；3）残差连接技术；4）归一化方法（BN/LN）；5）梯度裁剪。文章还提供了不同场景下的组合应用策略，对比了各方法的优缺点，指出现代深度学习架构通常需要综合运用多种技术来解决梯度问题。理解这些原理有助于更高效地调试和优化深度神经网络。
2026-03-15 19:33:27
587
原创 为什么神经网络要“深”？——从万能逼近定理到大语言模型的深度必要性
《为什么神经网络必须"深"？》摘要：虽然单层神经网络理论上能拟合任意函数（万能逼近定理），但深层网络在实践中具有显著优势：1）参数效率更高，避免单层网络的指数级参数增长；2）更匹配自然数据的层次结构（如语言的词→句→语义）；3）训练更稳定。大语言模型（如GPT-3、Llama）通过数十层Transformer结构实现高效学习，其中残差连接和归一化技术解决了深层网络的梯度问题。深度不是选择而是必然，它使模型能以更少参数获得更强泛化能力。
2026-03-15 18:10:33
706
原创 github私有仓库部署实践记录
摘要： 在多服务器部署GitHub项目时，为每台服务器生成独立的SSH密钥（而非共享本地密钥或使用HTTPS+Token）是更安全高效的做法。HTTPS方式易受TLS兼容性问题影响，而SSH结合GitHub的DeployKey机制可实现仓库级权限控制，避免单点泄露风险。操作步骤包括：在目标服务器生成密钥、添加为DeployKey、配置SSH客户端并设置严格文件权限。每台服务器的独立密钥支持精准权限管理，无需Token轮换，提升部署安全性与可维护性。
2026-03-01 22:03:13
996
原创 深入浅出：理解多智能体系统（MAS）与主流框架
没有“最好”的 Agent 框架，只有“最合适”当前问题的抽象。Agent 是有目标的行为单元通信是受控的信息交换调度是显式或隐式的流程控制你就能超越 API 层面，在更高维度设计和组合智能系统。而这，正是构建下一代 AI 应用的核心能力。
2026-02-02 15:45:40
927
原创 大模型注意力机制进化史：从全局到稀疏，从标准到线性、滑动窗口、MQA……
注意力机制的演进，本质是在“建模能力”、“计算效率”、“工程可行性”之间寻找最优平衡点。要极致速度？→ 试试 MQA + 滑动窗口要超长上下文？→ 窗口 + RoPE + FlashAttention要理论创新？→ 探索线性或 SSM理解这些机制，不仅能帮你读懂论文，更能在部署时做出明智选择——比如：“我的应用场景是客服对话（平均 500 字），其实不需要 128K 上下文，用标准注意力 + GQA 就够了。而这，正是工程师的智慧所在。
2026-01-12 23:29:31
1106
原创 LeetCode-day6:接雨水
方法时间复杂度空间复杂度是否推荐暴力法O(n²)O(1)仅用于理解动态规划O(n)O(n)✅ 面试稳妥双指针O(n)O(1)✅✅最优解，必会单调栈O(n)O(n)适合变种题（如求积水区域）
2026-01-08 14:50:22
863
原创 大模型应用开发框架全景图
随着大模型（LLM）能力的爆发，“如何高效构建 AI 应用” 成为开发者最关心的问题。你是否也面对过这些困惑：别慌！今天我们就来系统梳理当前主流的 大模型应用开发框架，包括：我们将从定位、核心能力、适用场景、优劣势等维度，帮你选对工具，少走弯路！表格除了之前提到的LangChain、LlamaFactory、LlamaIndex、Dify和n8n之外，还有一些其他热门的大模型框架和平台也值得关注：每个工具都有其特定的用途和优势，选择合适的工具取决于具体的需求，比如你是更注重于模型的训练和微调，还是更加关注
2026-01-07 16:38:06
1082
原创 LeetCode-day5：三数之和
收获说明1. 结果收集模式用res = []动态收集答案2. 降维思想固定一个数，将 K 数之和转化为 (K-1) 数之和3. 主动去重策略利用排序 + 相邻比较，在过程中跳过重复，而非事后过滤。
2026-01-06 17:10:53
441
原创 Leetcode-day4：从「移动零」到「盛最多水的容器」
b = a # b 和 a 指向同一个 list 对象print(a) # [1, 2, 3, 4] → a 也被改变了！✅ 这就像两个指针指向同一块内存。维度收获Python 指针思想不需要显式指针，用变量表示下标就是指针双指针模式两个变量协同工作：slow（写入位）、fast（读取位）leftright（两端向中间）原地操作技巧通过覆盖或交换，避免新建数组算法优化意识从 O(n²) 暴力 → O(n) 双指针，理解“为什么能优化”比记住代码更重要代码风格变量命名清晰（slow/fast或。
2025-12-30 16:53:03
715
原创 LeetCode day3-最长连续序列
优秀的解法 = 清晰的算法思维 + 扎实的语言基础如果不懂set的 O(1) 查找特性，就想不到 O(n) 解法；如果混淆函数与方法，就会写出语法错误，浪费调试时间。这个数据结构为什么适合这个问题？这个函数/方法的底层原理是什么？我能否把这种模式迁移到其他题目？
2025-12-29 13:16:42
586
原创 LeetCode-day2:字母异位词分组分析
题号：LeetCode #49 Group Anagrams语言：Pythonsortedordtuple。
2025-12-27 00:01:52
998
原创 彻底搞懂 LeetCode 第一题「两数之和」——从暴力到哈希，零基础也能看懂！
用空间换时间哈希表（Hash Table）：一种数据结构，支持O(1) 平均时间的插入、查找、删除Python 中的字典dict就是哈希表。
2025-12-24 23:23:07
1371
原创 如何批量删除B站动态
摘要：本文介绍如何使用JavaScript脚本批量删除B站动态，绕过悬停菜单触发和Chrome安全拦截。通过分析B站前端特性，发现动态菜单需模拟mouseenter事件而非click，且CSS类名易变。解决方案包括：使用XPath精准定位"删除"按钮、手动派发鼠标事件、绕过Chrome的Self-XSS防护(需输入allowpasting)。脚本支持自动滚动、冷却防封控、跳过置顶动态，并详细解释了技术原理。注意需控制删除频率以防账号异常，建议分批操作。该方案可高效清理历史动态，10分钟可
2025-11-22 15:23:31
2588
原创 大模型推理参数全解析：temperature、top_k、top_p、num_beams 到底怎么用？
大模型推理参数解析：temperature控制创造力（低值更保守，高值更随机）；top_k限制候选词数量；top_p动态选择累计概率达标的最小词集；num_beams用于束搜索追求最优解。参数优先级：num_beams>1时忽略采样参数，否则按temperature→top_k→top_p顺序生效。实践建议：翻译/摘要用num_beams，创意写作用temperature+top_p，代码生成宜保守（temperature=0.2-0.4）。调参时先固定top_p=0.9，再调整temperature
2025-11-20 00:12:30
2035
原创 一文了解RoPE（旋转位置编码）
RoPE：让大模型理解词语顺序的旋转魔法 RoPE（旋转位置编码）是一种革命性的技术，解决了大模型理解词语顺序的关键问题。与传统位置编码不同，RoPE通过旋转词向量来表示位置信息：将词向量拆分为两部分，对不同位置施加特定角度的旋转变换。这种设计具有三大优势：天然支持超长文本（周期性旋转可外推）、自动编码相对位置关系（角度差表示距离）、无需额外参数（纯数学变换）。目前RoPE已成为Llama、ChatGLM等主流大模型的标准配置，是其处理长文本和保持上下文连贯的核心技术。
2025-11-09 17:20:50
1987
原创 大模型开发入门指南：从零到构建系统的完整工具链（附学习路径）
本文系统梳理了大模型开发的完整工具链，提供从入门到进阶的学习路径。核心内容包括：1）基础必备的HuggingFace生态圈（Transformers/Datasets）；2）高效微调工具PEFT+LLaMA-Factory；3）应用开发框架LangChain/LlamaIndex；4）高性能推理部署方案vLLM/TGI。针对不同需求推荐学习重点：研究者侧重模型微调，开发者优先掌握应用构建。文章强调工具链组合的重要性，帮助开发者从API调用进阶到系统构建能力，并提供阶段性学习建议和实战案例。
2025-10-19 20:56:56
1155
原创 Bert：从“读不懂上下文”的AI，到真正理解语言
【150字摘要】 2018年谷歌提出的BERT模型彻底改变了AI理解语言的方式。其核心创新在于双向上下文理解：通过"完形填空"式预训练（Masked LM）和句子关系预测（NSP），使AI能同时捕捉前后文信息。采用"预训练+微调"范式，BERT在11项NLP任务上刷新纪录，部分表现超越人类。模型基于Transformer架构，通过词嵌入、位置嵌入和段落嵌入融合多层次语义。BERT的成功引爆了预训练模型热潮，为ChatGPT等大模型奠定基础，证明了通用语言理解能力对AI
2025-10-14 16:11:21
1098
原创 论文阅读《LIMA:Less Is More for Alignment》
Meta AI最新研究揭示：仅需1000条精选数据就能让650亿参数大模型LIMA达到与GPT-4相近的表现。实验显示，大模型99%的能力来自预训练阶段，微调仅需教会其表达方式。研究发现：1）数据质量比数量更重要；2）多样化数据更有效；3）性能随数据量增长呈边际递减。虽然LIMA在43%情况下匹敌GPT-4，但安全性能仍需加强。该成果颠覆了"数据越多越好"的传统认知，为AI训练提供了更高效的新思路。
2025-10-14 15:45:28
900
原创 大模型推理全解析：从你提问到它回答，中间到底发生了什么？
大模型推理全过程解析：从输入到输出的智能生成之旅。当用户提问时，模型首先将文本分词并转换为向量表示，通过Transformer层进行语义理解。生成答案时采用自回归方式逐字输出，借助KVCache机制缓存中间计算结果，大幅提升推理效率。现代大模型通过预训练海量数据、指令微调以及优化的注意力机制（如RoPE位置编码和稀疏注意力），实现了长上下文记忆和流畅的对话能力。未来发展方向包括无限上下文支持、显存优化和多模态处理等技术突破。这一精密运算过程，展现了AI如何将庞大数据转化为富有逻辑的智能回应。
2025-10-13 14:05:11
989
原创 一文了解大模型分词技术
需求推荐方案纯英文任务BPE 或 WordPiece中文或中英混合✅兼容性要求高SentencePiece（通用性强）复现 BERTWordPiece复现 GPTBPE 或 Byte-level BPE大模型训练✅SentencePiece 是主流选择分词是大模型的“第一道门”。token 数量更少 → 训练更快语义单元更合理 → 模型理解更好支持多语言 → 应用更广。
2025-10-10 14:05:53
1162
原创 一文了解Function Calling、MCP、Agent联系与区别
【AI时代的"打工人"分工图谱】大模型像知识渊博的学霸，但需要三个"帮手"才能真正做事：Function Calling（执行专员）负责单步调用API；MCP（工具管理员）统一管理工具接口标准；Agent（项目经理）具备自主规划决策能力。三者形成层级关系：Agent依赖Function Calling执行具体操作，Function Calling的工具通过MCP标准化管理。这种分工使AI从单纯聊天升级为能完成复杂任务的数字员工，推动智能应用从"响应指令&qu
2025-10-09 15:08:23
1170
原创 RMSNorm 是什么？为什么大模型都在用它？
摘要： RMSNorm是LayerNorm的轻量级变体，通过省去均值计算（仅保留均方根归一化），在大语言模型（LLM）中广泛替代LayerNorm。其优势包括：1）计算更快，训练速度提升5%-8%；2）显存占用更少，支持更大batch；3）在LLM任务中性能相当甚至更优（如LLaMA实测效果）。RMSNorm契合LLM输入分布稳定的特性，成为高效训练的“标配”，但传统CV任务仍需谨慎使用。代码实现仅需数行，体现AI工程对计算效率的极致优化。 （98字）
2025-09-19 15:10:53
925
原创 大语言模型（LLM）入门全解
大语言模型（LLM）入门指南：从定义到训练的核心要点 本文系统梳理了LLM的关键概念与训练流程：1）定义LLM为10亿+参数的预训练语言模型，具备涌现能力、上下文学习等特质；2）详解四大核心能力（涌现、上下文学习、指令遵循、逐步推理）及多语言支持等特点；3）解析三阶段训练流程（预训练→监督微调→强化学习），比较RLHF与DPO方案差异；4）指出LLM的局限性（幻觉问题）与发展方向（高效小模型、多模态应用）。通过技术图解与案例，帮助读者建立完整的LLM认知框架。
2025-09-15 14:27:22
2343
1
原创 一文了解大模型压缩与部署
大模型压缩与部署关键技术 针对大模型（如Qwen-72B）部署难题，核心解决方案包括： 1️⃣ 量化技术：INT4/AWQ量化可减少75%显存，速度提升3倍，性能损失＜2%，适配边缘设备； 2️⃣ 知识蒸馏：将7B模型压缩至1.8B，速度提升4倍，适合手机端专用场景； 3️⃣ MoE架构：如Mixtral 8x7B仅激活部分专家，实现"万亿参数、十亿计算"； 4️⃣ 高效部署：vLLM+连续批处理提升吞吐5倍，TensorRT-LLM优化多卡推理，llama.cpp支持手机端INT4运行
2025-09-10 23:47:45
960
原创 一文了解 Agent 智能体
《Agent智能体：从问答机器到AI助手的进化》 摘要：Agent智能体通过整合大语言模型（LLM）、记忆系统、规划能力和工具调用，将被动应答的AI升级为能思考、会行动的智能助手。核心架构包括决策大脑、记忆存储、规划反思和工具系统三大主流范式：ReAct的"边想边做"、Plan-and-Solve的"先想后做"以及工具调用功能。高级能力涵盖记忆存储、自我反思和多智能体协作。开发框架推荐LangChain等工具，并需关注任务完成率等评估指标。未来趋势指向Agent操作系
2025-09-10 11:44:33
1211
原创 一文了解 RAG 与知识增强
用户提问│▼[HyDE 假设文档生成] → [混合检索：语义+关键词]│▼[重排序：BGE Reranker 精选 Top-3]│▼[构造 Prompt + 大模型生成带引用答案]│▼输出 → 可信、可溯源、无幻觉🎓 RAG = 给大模型配一个“超级外脑”不是替代大模型，而是让它“如虎添翼”。
2025-09-10 10:44:45
1569
原创 一文了解大模型微调与对齐
🌟大模型微调与对齐技术解析🌟 本文系统介绍了大模型的两大核心技术： 1️⃣微调（Fine-tuning）- 让模型掌握新技能 全参数/参数高效/指令微调三种方式 LoRA、Adapter等轻量化方案受青睐 2️⃣对齐（Alignment）- 确保模型输出安全可靠 主流方法：RLHF、DPO及其变体 目标：符合人类价值观，避免有害输出 📌核心区别： 微调=提升任务能力 对齐=规范输出行为 💡应用场景覆盖企业、教育、医疗等领域 2025趋势：DPO取代RLHF，多模态对齐兴起 （摘要共145字，涵盖核心
2025-09-09 21:54:04
1600
原创 一文了解大模型推理优化
⚡大模型推理优化技术解析：让大语言模型更高效运行的关键方法 本文深入探讨了大语言模型(LLM)推理优化的核心技术。大模型推理存在三大痛点：速度慢(自回归生成导致延迟累积)、显存占用高(KVCache膨胀)和并发性能差(批处理效率低)。针对这些问题，文章系统介绍了六大优化技术：1)KVCache缓存避免重复计算；2)PagedAttention实现显存分页管理；3)模型量化减少参数存储；4)批处理提升GPU利用率；5)模型蒸馏缩小模型规模；6)专用推理引擎底层优化。文章还对比了主流推理框架的适用场景，并指出未
2025-09-05 17:00:44
1395
原创 从指令微调到 RLHF：大模型是如何“学会听话”的？
摘要：大模型通过指令微调和RLHF技术实现智能化交互。指令微调教会模型理解任务格式（如翻译、分类），使用"指令-答案"数据进行监督学习。RLHF通过人类反馈强化学习优化模型输出，使其更符合人类偏好（如礼貌、简洁）。两者协同作用：指令微调解决"会不会做"，RLHF提升"做得好不好"。典型案例ChatGPT结合了这两种技术，但RLHF存在过度讨好、回避问题等副作用。未来发展可能转向AI自动反馈（RLAIF）等更高效方法。
2025-09-05 15:49:23
676
原创 从 GPT 到 LLaMA：解密 LLM 的核心架构——Decoder-Only 模型
本文系统解析了当前主流大语言模型(LLM)的核心架构——Decoder-Only模型。从GPT到LLaMA再到GLM，这些模型虽然名称各异，但都基于仅由Decoder堆叠的Transformer架构。文章详细对比了三大模型的特性：GPT开创了CLM预训练范式，LLaMA通过RoPE和GQA优化推理效率，GLM初期采用独特的空白填充训练任务。分析指出Decoder-Only胜出的四大原因：生成能力突出、任务统一性强、涌现能力显著、工程实现友好。当前几乎所有主流LLM都采用这一架构，印证了"简单、专注
2025-09-04 23:53:23
2071
原创 从BERT到T5：为什么说T5是NLP的“大一统者”？
摘要： Google提出的T5（Text-to-Text Transfer Transformer）通过Encoder-Decoder架构统一了NLP任务，将分类、翻译、问答等均转化为“文本到文本”的生成问题。相较于BERT（仅编码器）和GPT（仅解码器），T5兼具理解与生成能力，并采用SentencePiece分词、RMSNorm优化等技术。其核心创新在于以统一格式（任务前缀+输入→输出）处理多样化任务，结合C4数据集预训练，实现了多任务通用建模。T5的“大一统”范式为后续大语言模型（如GPT系列）奠定了
2025-09-04 23:35:43
1320
原创 从BERT到RoBERTa、ALBERT：揭秘Encoder-only预训练模型的进化之路
模型核心创新参数量训练数据优势BERTMLM + NSP1.1亿 / 3.4亿13GB开创预训练范式RoBERTa去NSP + 大数据 + 大Batch3.4亿160GB性能更强，训练更鲁棒ALBERT参数分解 + 共享 + SOP5900万16GB参数更少，效率更高尽管如今LLM（大语言模型）如GPT-4、Claude、通义千问等风头正盛，但BERT及其家族仍是NLP的基石。在标注数据丰富的场景下，BERT类模型依然高效、稳定、可解释。在边缘设备。
2025-09-03 17:22:44
837
原创 手撕 Transformer：从零实现一个完整模型（附 PyTorch 代码详解）
这篇文章详细讲解了如何从零开始实现一个完整的Transformer模型，并附有PyTorch代码详解。主要内容包括： 整体架构：采用标准的Encoder-Decoder结构，包含词嵌入、位置编码、多头注意力等核心模块。 核心组件实现： MultiHeadAttention：实现缩放点积注意力和因果掩码 自定义LayerNorm和MLP前馈网络 Encoder和Decoder层的残差连接设计 正弦/余弦位置编码 模型训练流程： 字符级tokenizer构建 前向传播六步骤详解 目前只实现了推理功能，建议补充训
2025-09-01 16:35:30
1769
原创 Transformer：从零理解“Attention Is All You Need”
想象你在阅读一段文字，看到“它”时，你会自动回看前文，寻找“它”指的是谁。注意力机制 = 模型的“回看”能力它让模型在处理某个词时，能“关注”输入中其他相关的词。Transformer 没有循环结构，如何知道词的顺序？位置编码（Positional Encoding）将位置信息（1, 2, 3...）编码为向量，加到词向量上：✅ 这样，模型就能区分 “猫追狗” 和 “狗追猫”。模块作用捕获全局依赖，实现“任意词看任意词”Multi-Head多角度学习语义关系告诉模型词序信息。
2025-09-01 12:51:12
2361
原创 为什么你的模型总调不好？可能是这些参数和指标没搞懂！
本文系统梳理了神经网络训练与评估的核心概念。训练部分详解了学习率、Batch Size、优化器、损失函数等关键参数的选择技巧，推荐使用AdamW优化器和ReLU激活函数。评估部分重点介绍了准确率、精确率、召回率、F1分数等指标，强调在类别不平衡时F1分数比准确率更重要。文章通过实例说明各参数的作用，并提供代码示例，帮助读者理解如何调参和评估模型性能。
2025-08-17 22:19:53
1247
原创 深度学习的“智能导航”：Adam 优化器到底强在哪？
Adam 是一个“聪明的梯度下降”——它记住过去的方向（动量），感知当前的陡峭程度（自适应学习率），并自动调节每一步的大小，让模型更快、更稳地找到最优解。它是深度学习的“自动驾驶系统”，也是你训练模型时最值得信赖的伙伴。
2025-08-16 16:17:21
1681
原创 机器学习中的“梯度”到底是什么？为什么“梯度下降”无处不在？
问题回答梯度是什么？是一个向量，指向函数增长最快的方向梯度下降是什么？沿着负梯度方向一步步走，寻找函数最小值为什么用它？它是让模型“自动学习”的核心机制它怎么用？计算损失函数对参数的梯度，然后更新参数有哪些变体？BGD、SGD、Mini-batch SGD、Adam 等会遇到什么问题？学习率、局部最优、梯度消失/爆炸。
2025-08-16 15:23:02
1618
原创 大模型导师之大模型研究生90天进阶学习计划表
（3个月，每周6天，每天2-3小时），目标是：✅ 系统掌握大模型核心知识✅ 熟练使用 HuggingFace、LoRA、RAG 等工具✅ 完成2个实战项目✅ 具备独立科研能力，为后续发论文打下坚实基础。
2025-08-14 22:10:27
827
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人