Token穿越LLM架构之旅

原创已于 2025-07-21 09:46:52 修改 · 902 阅读

17 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #深度学习 #pytorch

于 2025-07-20 16:32:36 首次发布

LLM 专栏收录该内容

80 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

第四阶段：Positional Embeddings

positional embeddings的原理

第五阶段：Add the results of token + positional Embeddings

编辑

《哈利·波特》类比

Summary of the Input Block

LLM 的核心：Transformer 模块

Transformer 模块的六个关键步骤

Feed Forward Neural Network

前馈神经网络的工作原理

Dropout Layer 2

Final Skip Connection

引言

在本篇博客中，我们将开启一段激动人心的旅程——追踪一个 token 在 LLM 架构中的流动轨迹。通过这种方式，我们将揭示这些强大模型的内部运作机制，从 token 化处理到嵌入表示，再到注意力机制，直至最终输出生成。这次探索将让我们一窥 LLMs 如何实现理解并生成类人文本的奇妙过程。

一个Token在LLM中的旅程

想象你是一滴进入强

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

runner000001

关注关注

25
点赞
踩
17

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

穿越计算之门：SpeCache的奇幻之旅

步子哥的博客

03-22

526

在浩瀚的人工智能领域，总有一些技术如同神秘魔法般改变了我们与计算机对话的方式。今天，就让我们穿越长文本的迷雾，走进大型语言模型（LLMs）背后那扣人心弦的“缓存世界”，探索一种名为 SpeCache 的技术——它以猜测未来、巧妙预取的方式，把繁重的内存瓶颈转化为顺畅的推理之旅。

穿越芯片边界：DeepSeek R1 INT8 量化革命之旅

步子哥的博客

03-13

1209

通过这次 INT8 量化实践，我们看到美团团队不仅成功打破了 FP8 模型的硬件限制，使 DeepSeek R1 在 A100 等 GPU 上得以顺利部署，同时还实现了吞吐量的大幅提升。分块量化技术通过细粒度权重切分，有效减小量化损失，但同时引入了额外的反量化操作成本。通道量化则利用更简单、快速的一次性反量化，使得整体推理速度提升达到了 50%，对硬件资源有更友好的适配性。

参与评论您还未登录，请先登录后发表或查看评论

【粉丝福利社】LangChain核心技术与LLM项目实践

热门推荐

愚公智库

05-14

5万+

《LangChain核心技术与LLM项目实践》是一本全面介绍LangChain框架及其在大语言模型（LLM）应用中的技术书籍。本书从大语言模型的基础知识入手，详细讲解了LangChain的核心组件、开发流程及高级功能，涵盖了任务链设计、内存模块管理、表达式语言使用、Agent系统实现、回调机制、模型I/O与数据检索等内容。通过丰富的代码示例和实战案例，本书逐步引导读者掌握模型优化、并发处理和多级任务链设计等高级技术，并最终通过一个企业级智能问答系统的开发案例，展示了LangChain在实际业务中的应用。本书

穿越思维迷宫：DeepReview引领LLM论文评审的深度革命

步子哥的博客

03-12

972

在科技日新月异的今天，人工智能已经悄然渗入学术评审的每个角落。传统的同行评审制度虽然历史悠久，却面临着评审专家不足、意见分歧严重和工作强度巨大的问题。与此同时，大型语言模型（LLM）以其独特的语义理解能力、对复杂内容的解析力和生成文本的能力被广泛应用于自动化论文评审。然而，现有的LLM评审系统常常暴露出领域知识欠缺、虚构推理和结构化评价不足等问题。

深入浅出LLM大语言模型

bagell的博客

08-02

1041

LLM（large language model，LLM）大语言模型是在2018年左右出现的一种语言模型，由具有许多参数（通常数十亿个权重或更多）的人工神经网络组成，使用无监督学习对大量未标记语料进行预训练生成通用模型，然后再在不同特定任务下进行微调。LLM每个单词的释义如下：Large（大型）：表示该模型具有大量的参数、大量的语料、复杂庞大的结构Language（语言）：表示该模型用于NLP任务，可以处理和生成自然语言，如英语、中文等。

微服务Token鉴权的种方案

asfasgascwga的博客

11-01

519

根据论文及实验经验，建议将LoRA同时作用于注意力层与MLP层（如target_modules=["q_proj","k_proj","v_proj","o_proj","gate_proj","up_proj","down_proj"]），以有效提升模型精度。优化后，模型训练速度提升2倍，显存占用降低70%。传统大语言模型微调往往面临硬件要求高、迭代速度慢和资源受限等挑战，而Unsloth通过高效的底层实现和友好的接口设计，显著降低了微调的技术门槛，使更多人能够高效、低成本地训练属于自己的定制模型。

穿越1比特的奇幻旅程：高效语言模型的未来之谜

步子哥的博客

04-17

607

BitNet b1.58 2B4T不仅为我们展示了一种全新、极端低比特情况下依然能够取得卓越成果的技术路径，更预示着未来在AI应用领域中节能、高速、高效的全新可能性。就如同一场融合智慧与极致工程技术的奇幻旅程，它让我们看到：在海量数据和无尽计算力之外，走向极端高效的方向，仍然充满无限可能。从预训练的高起点，到精细微调雕琢，再到直接偏好优化行云流水般的推理实现，每一步都凝结着研究者们的心血与执着。

LLM4Decompile终极指南：简单快速掌握AI反编译核心技术

最新发布

gitblog_00184的博客

01-08

524

你知道吗？在数字世界的深处，那些看似无法解读的二进制代码，其实隐藏着程序最原始的秘密。今天，让我们一起探索LLM4Decompile这个革命性的AI反编译工具，它将带你穿越从机器码到可读源代码的神奇旅程。 ## 🧭 探索之旅：AI如何破解二进制密码？想象一下，你是一位数字考古学家，面对着一块刻满神秘符号的古老石碑。这些符号就是二进制机器码，而LLM4Decompile就是你手中的罗塞塔石碑

上下文感知技术深度解析：提示工程架构师的AI对话系统优化

Agentic AI人工智能与大数据正在引领一场新智能科技革命。

08-13

826

上下文感知（Context Awareness）是指系统能够感知、理解并利用与当前交互相关的环境、历史和用户信息，从而提供更相关、连贯和个性化的响应。上下文类型定义示例存储方式即时上下文当前对话轮次的直接输入与场景信息用户当前问题、输入时间、设备类型、当前任务阶段内存变量、请求参数会话历史上下文同一对话会话中的历史交互记录过去5轮对话内容、用户之前提到的偏好或需求数据库（Redis/MongoDB）、缓存用户画像上下文跨会话的用户长期属性与历史行为。

AI赋能金融科技，VisualProject引领项目管理新潮流

weixin_46916369的博客

01-06

401

金融科技项目管理迈入AI赋能新阶段，VisualProject引领智能化转型。随着金融科技竞争转向"体系化能力"，传统管理模式面临需求断层、资源失衡等痛点。维普时代推出的VisualProject通过AI深度融入项目全流程，实现智能需求解析、资源协同和风险预警，使招商银行等项目效率提升40%、延期率降至8%。该产品构建"数据驱动决策"体系，提供30余项核心指标分析，助力金融机构实现精准管理。未来，AI与项目管理的深度融合将持续推动金融科技高质量发展。

[20页中英文PDF]生物制药企业新一代知识管理：用知识图谱+大模型构建“第二大脑“

01-07

383

药物研发正面临知识爆炸的挑战。本文深入探讨如何利用大语言模型和知识图谱技术构建企业级"第二大脑"，将分散的科研数据、文献和隐性知识整合为可搜索的知识库，实现60%的文档审查效率提升，并可能为制药行业创造600-1100亿美元的年度价值。

【金猿CIO展】上海康展物流有限公司董事长兼CIO王浩：AI驱动数智化转型——医药物流供应链的全链路革新之路

数据猿

01-04

724

未来，我们将继续聚焦技术创新与服务升级，深化人工智能、物联网等技术在全场景的应用，以更高效、更合规、更智能的供应链服务，助力大健康产业发展，致力于成为专业医药物流最佳服务商，与行业伙伴共同构建更具韧性与价值的供应链生态。：建立全链路透明服务体系，客户、委托方、康展物流、承运商派送商四方均可通过WEB端、移动端实时跟踪订单信息、物流状态、车辆位置与温度数据，实现发货通知、时效跟踪、回单状态查询、异常反馈等全流程可视化，变被动查询为主动感知。数智化转型的终极目标，是实现运营模式的升级与服务价值的重塑。

以 JoyAgent-JDGenie 项目为例：如何利用 AI Agent 高效学习开源框架

caicongyang

01-05

990

本文以JoyAgent-JDGenie项目为例，介绍利用AI技术高效学习开源框架的方法。

PBA-PEG-Silane，苯硼酸-聚乙二醇-硅烷在二氧化硅表面修饰中的应用研究

lk13186385584的博客

01-04

423

PBA-PEG-Silane是一种集成了苯硼酸（PBA）、聚乙二醇（PEG）和硅烷偶联剂的三功能分子。

调用embedding生成向量并存储到milvus中，进行查询

java

01-04

291

先按装docker ,milvus,attu。Attu 是 milvus 的可视化界面，第一步：操作milvus 的工具类。第二步：对应操作的实体对象。这里需要jdk21.三个节点都需要起动。

Hard Negative Mining: 面向企业RAG系统的领域特定检索优化框架

狮子座明仔知识集散场

01-06

625

摘要：本研究提出Hard Negative Mining框架，针对企业RAG系统中的领域特定检索问题，通过多模型嵌入集成（6种双编码器模型）和PCA降维（保留95%方差）生成语义表示，创新性地采用双条件筛选策略选择高质量硬负样本。实验表明，该方法在企业内部数据集上MRR@10达到0.64，相比基线提升42%，且跨金融、气候等领域保持33-45%的性能提升。核心贡献包括：1）多模型互补表示解决语义不匹配；2）双条件选择策略提升负样本质量；3）高效PCA降维优化。局限在于长文档处理和跨语言支持，未来将探索分层嵌

【2025年度总结】从4篇到187篇

hbkybkzw的博客

01-02

517

2026 年的第二天，今天的我在深圳图书馆，看着后台统计的那个数字——187篇，我竟然有一种恍如隔世的感觉。如果把时间轴拉回一年前，我的2024年只留下了4篇文章的记录；再往前看，2023年只有1篇。那时的我，或许是忙碌，或许是迷茫，博客对于我来说，更像是一个偶尔路过的驿站。但在2025年，一切都变了。这一年我小小的征服了下技术，技术也重塑了我。如果非得要给我的2025年一个关键词，那就是："坚持"。回首这一年，我的大部分时间都浸泡在各种新技术和基础理论的学习中。

以“感知计算+认知重塑”开启心智进化新纪元

seaofstar413的博客

01-04

269

海口科技企业其目公司宣布战略转型，从传统培训转向建设"心智进化中心"。依托海南自贸港政策优势，公司打造融合沉浸技术、生物反馈和神经数据的实体训练中心，构建"感知-反馈-优化"的脑力训练闭环。通过跨境协同平台汇聚全球脑科学资源，其目科技致力于推动教育科技向"硬科技+深数据"升级，建立开放共享的认知进化生态。这一转型不仅探索差异化商业路径，更试图重塑智能化时代的教育本质。

AI工具全景：从概念到产业的深度变革

suny8的专栏

01-06

801

人工智能工具正加速融入生产生活，经历了从简单算法到深度学习的演进历程。AI工具具备自适应学习、任务自动化等核心特征，可分为基础层、中间层和应用层，覆盖生成创造、分析决策等功能领域。在内容创作、科研创新、商业决策、教育医疗等场景中展现出变革性价值。工具选择需评估技术能力、用户体验和商业可行性，实施路径应循序渐进。当前面临技术局限和伦理挑战，未来将向多模态融合、人机协作深化方向发展。AI工具作为人类认知的延伸，其关键在于与人类智慧有机结合，共同解决复杂问题。

LLM架构图片

03-08

对于大型语言模型（LLM），其架构设计通常涉及多个复杂层次，包括输入处理、编码器栈、解码机制以及输出层。由于这些模型往往基于深度学习框架构建，因此它们的内部结构可以非常精细和多样化。虽然无法直接提供...