- 博客(80)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 AI学习笔记整理（79）——Python学习8
根据功能定位与架构特性，主要可分为全栈框架、微框架及异步高性能框架三类。DevOps工具链是指支持DevOps实践的一系列集成化工具的集合，覆盖软件开发生命周期（SDLC）的各个阶段，旨在实现自动化、协作和持续交付，从而提升软件交付的速度与质量。基于 Python 的数据库主要分为两类：由 Python 实现的原生数据库 和 可通过 Python 连接操作的外部数据库。是指将 Python 应用及其依赖（如解释器、库、配置文件等）打包到一个轻量级、可移植的容器中，确保在任何环境中都能一致运行。
2026-03-30 20:55:09
441
原创 AI学习笔记整理（78）——Python学习7
在分布式系统中，分布式事务是指事务的参与者、资源（如数据库、消息队列等）以及事务管理器分别位于不同节点或系统上，需要通过跨网络的协调机制，确保所有参与操作要么全部成功，要么全部失败，从而保障数据的一致性。在分布式系统中，云原生（Cloud Native）是一种专为云环境设计的应用架构理念与技术体系，旨在充分利用云计算的弹性、可扩展性和分布式特性，构建松耦合、高容错、易管理的现代应用系统。其核心在于分而治之与冗余容错，以解决单机系统在性能、可靠性与扩展性上的瓶颈。
2026-03-29 18:24:10
526
原创 AI学习笔记整理（77）——Python学习6
CQRS（Command Query Responsibility Segregation，命令查询职责分离） 是一种软件架构模式，其核心思想是将对数据的读操作（查询） 和 写操作（命令） 分离到不同的模型中，分别处理，以提升系统的性能、可扩展性、安全性和可维护性。多智能体系统架构（Multi-Agent Systems, MAS）是一种由多个具备自主决策能力的智能体（Agent）组成的分布式计算系统，通过交互与协作共同完成单一智能体难以处理的复杂任务 。
2026-03-29 16:33:46
746
原创 AI学习笔记整理（76）——Python学习5
Requests 是一个用于发送 HTTP 请求的 Python 库，广泛应用于网络爬虫、API 调用等场景。它支持多种 HTTP 方法（如 GET、POST 等），并能较为友好地处理请求参数、头信息、Cookies 等。相比于 Python 标准库中的 urllib，requests 更加简洁和人性化，使得编写网络请求代码变得更加容易。安装与验证requests 是一个第三方库，需通过 pip 安装。为了确保成功，需正确处理网络代理、镜像源和权限问题。1、创建一个虚拟环境：python -m venv
2026-03-22 19:01:41
434
原创 AI学习笔记整理（75）——Python学习4
Python C扩展允许开发者使用C或C++编写代码，并将其编译为可以被Python直接导入和使用的动态链接库（如.so或.pyd文件）。Pyinstrument以固定间隔对程序调用栈进行采样，开销极低（约1%），特别适合分析Web请求或长时间任务。当cProfile告诉你某个函数是瓶颈时，line_profiler可以深入该函数，显示每一行的耗时。cProfile是Python内置的分析器，能告诉你每个函数被调用了多少次，以及在其中消耗了多少时间。这是最基础的方法，用于快速测试。
2026-03-20 21:35:55
462
原创 AI学习笔记整理（74）——Python学习3
Python 生成器协程 是指利用生成器（generator）的特性（特别是 yield 和 send() 方法）来实现协程（coroutine）功能的一种编程模式。yield from是Python 3.3引入的语法，用于简化在生成器中嵌套另一个生成器（或协程）的循环委派过程，并建立了调用方与子生成器之间的双向通道，允许值直接传递和异常传播。可以看到，任务按创建顺序开始，但结束顺序取决于各自的delay时间，总耗时约等于最长的任务（2秒），而非它们的总和（3.5秒），这体现了异步并发的效率优势。
2026-03-20 20:33:02
538
原创 AI学习笔记整理（73）——Python学习2
Python装饰器是一种特殊的语法结构，它允许在不修改原函数代码的情况下，为函数添加额外的功能。property装饰器：Python内置的@property装饰器是一个典型的类装饰器应用，它将方法转换为属性访问。基于类的装饰器：除了使用函数，还可以通过类来实现装饰器，这种方式更适合需要维护状态的场景。无参装饰器实现：最基本的装饰器形式是不带参数的装饰器，它通过嵌套函数来实现功能的增强。带参数装饰器：当需要根据不同的参数配置装饰器行为时，可以使用带参数的装饰器。带参数的上下文管理器。
2026-03-09 20:04:51
397
原创 AI学习笔记整理（72）——Python学习1
总的来说，Python解释器是Python编程语言的核心组件，它负责将Python代码转换成机器可执行的指令。通过深入了解Python解释器的构成和工作原理，我们可以更好地理解Python的运行机制，从而提高Python程序的性能和可维护性。元类（Metaclass）是Python中一个高级且强大的概念，简单来说元类就是创建类的类。在Python的面向对象体系中，一切皆对象，类本身也是对象，而创建这些类对象的"工厂"就是元类。从上面的代码可以看出，普通的对象是类的实例，而类本身是元类的实例。
2026-03-08 17:46:31
539
原创 AI学习笔记整理（71）——AI+BIM
建筑信息模型 (BIM) 是建筑、工程和施工 (AEC) 行业数字化转型的基础。建筑信息模型 (BIM) 是创建和管理建筑资产信息的整体流程。BIM 基于由远程平台支持的智能模型，将结构化、多领域数据整合在一起，以在其整个生命周期（从规划和设计到施工和运营）内生成资产的数字表示。
2026-03-08 16:13:04
615
原创 AI学习笔记整理（70）——AI+CAE
这种直接生成的方式，效率比人实际去做要快的多，也能模拟很多极端情况，能大大丰富机器人模型训练所需的数据，加速机器人抓取模型的训练过程。李飞飞旗下的World Labs推出的首款商用世界模型Marble，生成的是持久的、可下载的3D环境，可以融入现有3D影视、游戏等工作流，创建视觉上逼真的3D世界，但是模型完全不掌握物理规律。数字孪生本身也是一个有争议的概念，但大体对应2个方向，设备产品层面的数字孪生和工厂产线层面的数字孪生，两者的理念都差不多：孪生系统与实际系统外观层面的相同，以及功能层面的相同。
2026-02-14 16:54:27
869
原创 AI学习笔记整理（69）——物理AI中世界模型
物理AI（Physical AI）”——一种具身、可感知、能推理、会行动的智能体形态，它不再只是数据上的算力堆叠，而是能走入现实世界，与真实物理环境交互的智能生命。2025年，被誉为“智能体元年”。无数新创业项目围绕AI Agent展开：从智能助手、AI外呼系统，到大模型驱动的机器人、自动化工厂、AI仓储系统。但当这些智能体真正被拉入“现实场景”，问题接踵而至。AI要想具身，首先要“看”世界。但现实数据昂贵、采集难度大、质量不一致（尤其在物理交互场景下，如抓握、避障、操作等）。
2026-02-04 23:15:35
787
原创 AI学习笔记整理（68）——AI大模型与物理AI
用户通过语言交互界面与后端交互，无需或者少量通过图形界面与后端交互，最终呈现GUI（图形用户界面）和LUI（语言用户界面）混合的交互形式，以实现用户从有限的输入跃迁到无限的输入，既提供高频、固定的功能，也具备对低频、定制化需求的理解与处理能力。物理仿真引擎则负责实时计算物理交互，这不是简单的预设规则，而是基于偏微分方程求解器的动态计算系统，需要处理刚体动力学、流体力学、软体变形等复杂物理现象，系统需要在毫秒级时间内完成复杂的物理计算，同时保证足够的精度来支持准确的决策。其二，物理认知与因果关系。
2026-02-02 22:46:58
1088
原创 AI学习笔记整理（67）——大模型的Benchmark（基准测试）
以上我们介绍的推理测试，主要还是建立在一类已有的知识学可上的（如数学、物理、生物），要攻克这些题目，模型既要非常博学（掌握大量的学术知识）还得非常聪明（推理能力很强）。那有没有专注于考模型聪不聪明，而不考模型的知识积累的基准呢？就像对于一个人的评价，我们看他聪不聪明，可能从小学能看出来了，不一定要等到他上完大学之后再做评价。对模型的测试也是一样，下面我们讲的对于模型 “抽象推理” 能力的测评，就属于这一类。
2026-02-01 19:36:05
2467
原创 AI学习笔记整理（66）——多模态大模型MOE-LLAVA
1.语言模型LLM· 定义：在超大规模文本数据上训练，以理解和生成自然语言为核心目标的模型。· 本质： “文本专家”。它将世界知识、逻辑和任务抽象为符号（语言）进行处理。· 输入/输出： 文本 ——文本。· 例子： GPT-4（纯文本版）、Llama、Claude。2.视觉语言模型VLM· 定义：在图像-文本对数据上训练，能够同时理解视觉内容和语言，并在两者间建立联系的模型。· 本质： “视觉翻译官”或“视觉理解者”。它能描述图像、回答关于图片的问题、根据文字指令理解图片的特定部分。
2026-02-01 17:38:27
1009
原创 AI学习笔记整理（65）——多模态大模型
1）跨模态模型跨模态指的是在不同模态之间进行信息转换或关联的过程。跨模态处理在人工智能中非常重要，因为它涉及到如何让机器理解和处理不同类型数据的问题。例如我们最常见的语音识别，就是一个听觉模态到文本模态的转换，还有最近很火的AIGC大模型文生图，就是文本模态到视觉模态的转换。跨模态的关键在于如何识别不同模态之间的语义差异，并准确地在它们之间进行信息映射。模态定义。
2026-01-31 22:14:59
1663
原创 AI学习笔记整理（64）——大模型对齐方法
在RLHF中，我们首先训练一个奖励模型（Reward Model, RM）来预测人类的偏好，然后使用这个奖励模型来指导策略的优化。而 RLHF 仍是性能上限的标杆；此外，还需要监控训练过程中的各种指标，如奖励值、KL散度、模型输出质量等，以确保训练的稳定性和有效性。简而言之，RLHF通过“人类评估 -> 训练奖励模型 -> 用奖励模型指导模型优化”的闭环，让模型学会“讨好”人类的偏好。总而言之，DPO通过一个精巧的数学转换，将复杂的偏好对齐问题简化为一个直接优化问题，显著提高了训练的稳定性和效率。
2026-01-29 23:23:38
876
原创 AI学习笔记整理（63）——大模型对齐与强化学习
策略的行动空间(action space)是LM的词表对应的所有词元(一般在50k的数量级)，观察空间(observation space)是可能的输入词元序列(词汇量^输入token的数量)，奖励函数是偏好模型哦那个i和策略转变约束(Policy shift constraint)的结合。与RRHF中所提到的一样，RLHF需要超参数以及四个模型，本文提出新的范式，支持以封闭的形式提取响应的最优策略，只需要简单的分类损失就可以解决标准的RLHF问题。随着时间的推移，模型的表现会趋向于更高质量。
2026-01-28 23:46:05
962
原创 AI学习笔记整理（62）——Megatron-LM 训练框架
Megatron-LM 最初于 2019 年发布，是由 NVIDIA 开发的 Transformer 大模型高效训练框架。是一个基于 PyTorch 的分布式训练框架，用来训练基于Transformer的大型语言模型。它专为数千亿甚至数万亿参数的模型而设计，具有高度可扩展性和灵活的并行策略。Megatron-LM 已经成为许多大语言模型预训练任务的首选框架。软件架构Megatron-LM：研究导向的训练框架和示例。Megatron-Core：模块化的核心库，提供可组合的函数接口。1.多维度并行策略。
2026-01-27 22:42:57
1122
原创 AI学习笔记整理（61）——大模型分布式训练并行策略
假设所有线程都需要访问一个 constant_A 的常量，在存储介质上 constant_A 的数据只保存了一份，而内存的物理读取方式决定了多个线程不能在同一时刻读取到该变量，所以会出现先后访问的问题，这样使得并行计算的线程出现了运算时差。不过，由于每个像素点处理的过程和方式相差无几，这项艰巨的任务可以靠并行计算来化解。它本质上是 AllReduce 算法在梯度聚合场景下的具体应用，其主要目的是确保在多机多卡训练中，所有参与计算的设备（如 GPU）都能获得一致的全局梯度，从而同步更新模型参数。
2026-01-27 22:39:31
1172
原创 AI学习笔记整理（60）——DeepSpeed训练框架
为了提高效率，可以将计算和通信并行起来，GPU在反向传播阶段，可以待梯度值填满bucket后，一遍计算新的梯度一遍将bucket传输给CPU，当反向传播结束，CPU基本上已经有最新的梯度值了，同样的，CPU在参数更新时也同步将已经计算好的参数传给GPU，如下图所示。ZeRO是用于大规模模型训练优化的技术，它的主要目的是减少模型的内存占用，让模型可以在显卡上训练，内存占用主要分为Model States和Activation两个部分，ZeRO主要解决的是Model States的内存占用问题。
2026-01-26 00:25:15
1072
原创 AI学习笔记整理（59）——主流预训练模型介绍
开源大模型（LLM）是人工智能领域发展迅速的重要方向，其开放性允许研究人员、开发者和企业自由使用、修改和部署。根据当前公开资料，开源大模型可以从多个维度进行分类和汇总。开源大模型可根据其架构设计、训练目标、语言能力、参数规模等特征进行划分，通用大语言模型：这是最主流的类别，专注于理解和生成自然语言，适用于问答、文本摘要、内容创作等广泛任务。例如，Qwen-7B、ChatGLM2-6B、Baichuan-7B等均属于此类。。
2026-01-26 00:24:02
1035
原创 AI学习笔记整理（58）——大模型压缩
大模型压缩是指通过一系列技术手段，减小大型语言模型（LLM）的规模、降低其计算与存储开销，从而实现更高效、低成本的部署和推理，同时尽可能保持模型的性能表现。大模型压缩是为了解决超大规模人工智能模型在实际部署和应用中面临的严峻挑战，其核心目标是在尽可能保持模型性能的前提下，显著降低其计算、存储和能耗需求。模型压缩对性能的影响是多方面的，主要体现在提升效率和可能降低精度两个对立统一的方面，其核心是在资源消耗与模型性能之间寻找最佳平衡点。为了充分发挥模型服务的性能，需要搭配合适的服务器：。
2026-01-25 16:04:28
901
原创 AI学习笔记整理（57）——大模型微调相关技术
LORA（Low-Rank Adaptation） 是一种高效的参数高效微调方法，其核心思想是通过在预训练模型的权重矩阵中引入低秩适配矩阵（低秩分解矩阵 A 和 B），仅对这部分新增参数进行训练，从而大幅减少计算和显存开销。QLoRA（Quantized Low-Rank Adaptation）是一种高效的参数微调方法，它结合了4-bit量化和LoRA技术，能够在消费级GPU上微调大型语言模型，同时显著降低显存需求。LoRA 作为一种新兴的模型优化技术，展示了其在大规模预训练模型上的巨大潜力。
2026-01-25 15:06:00
1270
原创 AI学习笔记整理（56）——大模型微调
2. 基于模型的语义评估 (LLM as a Judge)：对于开放式问答等无固定答案的任务，使用一个更强大的模型（如 GPT-5）作为裁判，根据预设的评分细则对微调模型的输出进行打分。其实，我们常用的提示词，也可以算作是微调的一种，只不过他相对简单，并不需要调整模型参数来完成，目的是让模型能够更好的回答我们的问题，所以有一种微调叫做 Prompt Tuning。预训练的成本是巨高的，首先需要有海量数据（TB 级），然后还需要极高的算力，进行长时间的模型训练，基本上只有大厂才能玩得起。
2026-01-25 13:11:32
806
原创 AI学习笔记整理（55）——大模型训练流程
在训练初期，模型的预测几乎是随机的。大语言模型是一种深度学习模型，特别是属于自然语言处理（NLP）的领域，一般是指包含数干亿（或更多）参数的语言模型，这些参数是在大量文本数据上训练的，例如模型GPT-3，PaLM，LLaMA等，大语言模型的目的是理解和生成自然语言，通过学习大量的文本数据来预测下一个词或生成与给定文本相关的内容。大模型是语言模型发展的高级阶段，本节来梳理一下语言模型（Language Models，LM）的四个发展阶段，让大家可以更好地了解大模型是怎么进化出来的。比如：让模型预测下一个词;
2026-01-24 23:59:16
972
原创 AI学习笔记整理（54）——大模型之Agent 智能体开发前沿技术
在人工智能领域，特别是涉及对话代理（Conversational Agents, CAIs）和情感代理（Affective Agents）时，“Agent的Personality”指的是赋予人工智能代理的一组稳定、可预测的心理特征和行为模式，使其表现得更像一个具有独特个性的个体，而非冰冷的程序。在AI Agent的语境中，“Group”（组）通常指的是一种组织多个智能体（Agent）进行协作的机制，它并非一个通用的、标准化的术语，而是特定框架或系统中用于实现多Agent协作的核心概念之一。
2026-01-19 21:03:21
771
原创 AI学习笔记整理（53）——大模型之Agent 智能体开发
在2025年至2026年初的开源AI Agent工具生态中，多个项目因其成熟度、社区活跃度和功能完整性而被广泛认为是经典或标杆性的选择。这些项目主要集中在核心框架层，为构建具备工具调用、工作流编排和知识检索能力的智能体提供了基础。
2026-01-18 19:07:58
1437
原创 AI学习笔记整理（52）——大模型之Agent 智能体
Agent是人工智能领域中的一个概念，指的是具有自主性、反应性、主动性和社交能力等特性的计算实体。这种ai能够使用传感器感知周围环境，做出决策，然后使用执行器采取行动。大模型在AI Agent相关研究中得到了快速发展，它被视为通往AGI（Artificial General Intelligence，通用人工智能，是人工智能领域的终极目标，指具备与人类相当甚至超越人类的综合认知能力，能自主适应复杂动态环境、跨领域解决问题的智能系统，核心是 “通用性” 与 “自主性”，堪称智能领域的 “全才”。
2026-01-18 16:51:54
977
原创 AI学习笔记整理（51）——大模型之RAG优化技术
那么这样的嵌入模型是如何得到的呢，例如Google开发的Word2Vec模型，还有其他高级的嵌入模型如BERT和GPT系列，它们通过更复杂的网络结构捕捉更深层次的语义关系。父chunk检索，也叫自动合并检索，即递归地将document分割成若干较大的父chunk，其中包含较小的子chunk，能搜索更细粒度的信息，将document分割成层次chunk结构，最终索引的是叶子chunk的embedding，将top-k结果中超过n个叶子chunk的父chunk进行替换，以获得更完整的文本语义信息。
2026-01-17 22:24:00
1425
原创 AI学习笔记整理（50）——大模型中的Graph RAG
GraphRAG（Graph-based Retrieval-Augmented Generation）是微软提出的一种结合知识图谱的增强检索生成框架，旨在改进传统 RAG的局限性。其核心思想是通过构建结构化知识图谱，对文档内容进行全局语义建模，从而提升大语言模型（LLM）在复杂问题中的推理能力和回答准确性。一句话来说，GraphRAG 是对检索增强生成（retrieval-augmented generation）的一种增强，它利用了图结构。
2026-01-16 22:45:37
871
原创 AI学习笔记整理（49）——大模型应用开发框架：LangChain
LangChain 是一个开源的编程框架，用于简化使用大语言模型（LLM）构建应用程序的过程，通过模块化组件（如数据连接、代理系统和任务编排）实现与外部数据源和计算工具的集成，简化智能应用的构建过程。目前，它提供了 Python 和 JavaScript（确切地说是 TypeScript）的软件包。本质：基于大型语言模型（如GPT-4）的开发框架，提供标准化接口和工具链，降低构建AI应用的技术门槛。。
2026-01-15 23:44:17
950
原创 AI学习笔记整理（48）——大模型中的向量工程RAG系统
RAG（Retrieval-Augmented Generation)即检索增强生成，为 LLM 提供了从某些数据源检索到的信息，并基于此修正生成的答案。RAG 基本上是 Search + LLM 提示，可以通过大模型回答查询，并将搜索算法所找到的信息作为大模型的上下文。查询和检索到的上下文都会被注入到发送到 LLM 的提示语中。RAG技术是一种结合了检索和生成能力的机器学习架构，它在大型语言模型（LLM）的基础上增加了检索能力，以提高模型在特定任务上的表现和准确性，有效缓解模型幻觉和知识停滞问题。
2026-01-15 22:20:08
1126
原创 AI学习笔记整理（47）——大模型企业应用技术之提示工程
Prompt提示是模型接收以生成响应或完成任务的初始文本输入。我们给AI一组Prompt输入，用于指导模型生成响应以执行任务。这个输入可以是一个问题、一段描述、一组关键词，或任何其他形式的文本，用于引导模型产生特定内容的响应。例如，在chatGPT中，用户通常使用 prompt 来与大语言模型进行交互，请求回答问题、生成文本、完成任务等。模型会根据提供的 prompt 来生成一个与之相关的文本，尽量符合用户的要求。
2026-01-14 22:19:50
1155
原创 AI学习笔记整理（46）——大模型企业应用技术
GPT（Generative Pre-trained Transformer）是一种基于Transformer架构的自回归语言模型，由OpenAI开发，专注于从大量文本数据中学习语言模式，并生成连贯、有意义的自然语言文本。GPT的核心特点在于其架构和训练方式： 它仅使用Transformer的解码器部分，通过掩码自注意力机制实现单向文本生成，即模型在生成每个词时只能关注之前已生成的词；训练过程通常包括自回归语言建模，例如预测给定前文的下一个词，从而在预训练阶段捕捉复杂的语法、语义和上下文关系。。
2026-01-14 22:16:01
747
原创 AI学习笔记整理（45）——大模型数据读取技术与模型部署
预读取技术通过异步数据加载隐藏I/O延迟，其核心是利用程序局部性原理提前加载未来数据，例如在数据流水线中，当GPU处理当前批次时，CPU后台线程预加载下一数据块至缓冲区，实现计算与I/O重叠。在训练阶段，数据读取常与并行计算框架集成以加速处理。当一个大模型完成训练，能在实验室里输出精准结果时，它还只是一个“潜力股”——只有通过部署落地，才能真正走进实际场景，解决生产、生活中的真实问题：可能是智能客服实时响应咨询，可能是代码助手在IDE中辅助编程，也可能是边缘设备上的实时语音交互。
2026-01-13 21:32:20
1274
原创 AI学习笔记整理（44）——大规模预训练模型数据处理管道Pipeline
需求分析与规划： 任何数据管道构建都始于明确的业务需求分析，通过与相关方沟通，定义管道的目标、数据类型、处理速度要求（如实时或批处理）以及质量标准，同时识别数据源（如数据库、API、文件系统）并规划数据流动路径及处理逻辑，为后续设计奠定基础。设计与工具选型： 在规划基础上，设计数据管道架构，包括数据采集、传输、存储和处理组件的布局，此阶段需选择合适的技术栈和工具（如ETL框架或低代码平台），重点考虑工具对多种数据源的支持、可扩展性、易用性以及团队技术能力，以确保方案可行性。
2026-01-13 21:30:00
1214
原创 AI学习笔记整理（43）——NLP之大规模预训练模型BERT
BERT（Bidirectional Encoder Representations from Transformers）是Google在2018年提出的一种预训练语言模型，它在自然语言处理（NLP）领域引起了广泛的关注和应用。BERT的核心思想是通过双向Transformer编码器（双向的编码器部分）来捕捉文本中的上下文信息，从而生成更丰富的语言表示。
2026-01-12 21:35:54
938
原创 AI学习笔记整理（42）——NLP之大规模预训练模型Transformer
多头注意力机制是核心，它允许模型并行关注不同位置的信息，计算过程包括查询（Q）、键（K）、值（V）矩阵的线性变换，然后通过缩放点积计算注意力权重，多头设计通过分组独立计算增强表达能力。Transformer：通常Attention会与传统的模型配合起来使用，但Google的一篇论文《Attention Is All You Need》中提出只需要注意力就可以完成传统模型所能完成的任务，从而摆脱传统模型对于长程依赖无能为力的问题并使得模型可以并行化，并基于此提出Transformer模型。
2026-01-11 15:49:38
1048
原创 AI学习笔记整理（41）——自然语言处理算法之自注意力机制
什么是注意力机制（Attention Mechanism）？注意力机制是一种允许模型在处理信息时专注于关键部分，忽略不相关信息，从而提高处理效率和准确性的机制。它模仿了人类视觉处理信息时选择性关注的特点。在深度学习中，注意力机制模仿了人类在处理信息时的选择性关注能力，允许模型在处理输入数据时动态地调整其注意力权重，从而突出重要信息并忽略不重要的信息。注意力机制通过计算查询向量（Query）、键向量（Key）之间的相似度来确定注意力权重，然后对值向量（Value）进行加权求和，得到最终的输出。注意力分数。
2026-01-11 14:50:19
1041
原创 AI学习笔记整理（40）——自然语言处理算法之Seq2Seq
可以粗略地理解为是一种对于输入的信息，根据重要程度进行不同权重的加权处理(通常加权的权重来源于softmax后的结果)的机制，如下图所示，是一个在解码阶段，简单地对编码器中的hidden states进行不同权重的加权处理的过程。两者关系可概括为演进与替代， Transformer最初可视为Seq2Seq的增强版本，但后续发展使其成为更通用的架构，不仅替代Seq2Seq在多数任务中的主导地位，还扩展至计算机视觉等领域，体现了从循环依赖到纯注意力机制的范式转变。
2025-12-30 00:04:01
1086
复杂函数表达式字符串解析用什么工具好点
2025-11-20
TA创建的收藏夹 TA关注的收藏夹
TA关注的人