当我们谈论LLM的时候在谈论什么

最新推荐文章于 2025-11-24 18:29:32 发布
原创 最新推荐文章于 2025-11-24 18:29:32 发布 · 664 阅读 · 26 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

在讨论人工智能,AI,LLM等问题的时候我们经常会听说很多概念,比如Transformer,注意力机制,词嵌入,llama等等.这些内容代表着什么,下面我们会对他进行讲解.

1什么是Transformer

Transformer是一种神经网络的架构,在Transformer出现之前也出现过其他网络架构.比如最简的前馈神经网络,他的形状是下面的样子,
前馈神经网络的样子
看上去很简单,数据从上面流入,经过3层神经元,最后得到输出.那么Transformer只是非常复杂的一种神经网络架构,他的样子是下面的这样.

在这里插入图片描述
嗯,看上去复杂了很多,里面的连线乱七八糟,而且也看不到用圆形表示的神经元了.但是不要害怕,作为一个评论家,我们在和别人谈笑风生的时候并不需要知道里面每一个步骤具体的实现,并且现在比较火热的大语言模型(llama,Qwen,deepseek.等)他们都会对Transformer架构进行改动,并且有些只用了一半的Transformer架构.

问:什么?只用了一半的Transformer架构?那功能还能保持完整吗?
答:可以的,听说过半部论语治天下吗?

到此我们只要知道Transformer是一种类型的神经网络结构,他可以对一串数据进行处理,然后再产生一串数据.

2分词器和词嵌入和Token

我们知道我们输入一段文字给llm,比如"你的名字是什么".他会跟我们进行对话返回"我叫韩梅梅".

现在假设我们是大语言模型,我们接收到一个问句"你叫什么",我们怎么样才能这句话是在问我们的名字呢?

分词

首先我们要对句子分析主谓宾对吧?把一句话分成不同的部分,在这里我们可以分成 “你”“的”“名字”“是”“什么”,那这个工作就叫做分词
听上去很简单对吗?但是在计算机中对语言进行分词是很困难的,因为自然语言并不是表达非常准确的语言,比如下面这段话我们要怎么分词?“老四老三老大老二老大了”
在程序的世界里,一般使用分词器进行分词,分词器有很多种,每种都有不同的使用范围,比如一个英文的分词器就不能很好的对汉语进行分词,那么这个分词器是怎么实现的呢?嗯,他也可以是神经网络,套娃了属于.

词嵌入

好,在把句子分词之后,我们得到了词 “你”“的”“名字”“是”“什么”,那么我们要对词进行理解,比如"名字"表示的是每个人的名称,而不是身高体重,更不是收入.那么如何在计算机中表示名字代表的是一个人的名称呢?这个就是词嵌入干的活.

计算机会维护一个向量空间,可以理解成计算机内部维护了一套知识图谱,里面有各种的概念,其中有一个点A代表着一个人的名字这种概念,那么词嵌入就是把"名字"这个词用A来表示,那么这个A具体张什么样呢?他是一个很长的向量.大概有几千个维度那么长.
如果一个嵌入模型比较好,他不光可以把"名字"映射成A,还可以把英文的"name"映射成A,日语"名前" 映射成A…因为这样才能实现多语言交流

Token

Token就是我们在词嵌入得到的结果A…所以一个汉字就是一个token吗?概念上可以这么理解,但是一个汉字不是一个token

3多注意力机制是什么?

注意力机制是神经网络发展的一个伟大的概念.他的核心说法就是在处理句子时,我们要关注什么…很抽象是不是.我们可以举例理解
当面前一个人对我们说话的时候"你的名字是什么",我们会怎么理解这句话?
首先,接收到文本信息,其次还接收到了语气,还接收到了音色,并且更重要的是我们还接收到了说话人的面孔,大脑在处理问题的时候会从不同的角度理解这句话,比如他是询问的语气,还是命令的语气,对方是男的还是女的,这些都会影响到我们对句子的回答,如果是一个陌生面孔,我们会拒绝回答,如果是一个警察,我们会很紧张,然后很模糊的回答…在例子中,我们考虑的文本,语气,音色,面孔这些每一个都是一个注意力,合在一起就是一个多注意力机制.这些注意力共同决定我们要做出什么样的回答.

在大语言模型中,由于没有语气,音色这些输入,那么他的注意力表现在分析句子前后词的相互影响,并且每个注意力头会分析句子不同的方向比如时态,语法顺序,等…

4Qwen,GTP,Deepseek这些是什么

这些是不同公司开发的产品.可以理解成Transformer是一个菜谱,给出了做菜的指导思想,不同公司相当于不同的厨师,使用不同的食材,根据菜谱,然后再加上厨师本身对火候的把握,还有厨师的祖传配料 最终会做出来一道菜,这个菜就是Qwen,GTP…所以现在网络中有各种互相比较的视频,分析哪家的模型厉害.这种就像达人探店一样,即考验厨师本人做菜的真水平,也考研达人的欣赏水平.

5开源模型,闭源模型

开源模型:是那些把产品整个神经网络的结构都在互联网公开的产品,比如Qwen,还是拿做菜举例,Qwen的公司把他们的秘制配方都放到了互联网上,如果一个人有相当高的厨艺,就一个自己从头再做一道菜,达到和Qwen相同的效果,如果厨师水平再高一点,他可以站在巨人的肩膀上,自己再加入一些秘制配方,形成自己的产品.所以开源模型让每个人(需要有相当高的计算机技术)都能对模型进行深度定制,
闭源模型:相对于开源模型,闭源模型并没有公开自己的模型参数,相当于他的祖传秘方没有公开到网络上,别人没有办法抄袭他的做菜方式.GTP就是典型的闭源模型

6微调

什么叫微调.是对大语言模型进行修改, 让一个模型在某些任务重能力更加突出…比如我们拿一个公开的模型Qwen应用到自己公司的业务中去,对于自己公司的业务Qwen肯定是不懂的,这个时候我们可以对Qwen重新进行教育,让Qwen指导在公司的环境中应该做什么,不应该做什么,这个过程就叫微调,
,微 形容了修改幅度是很小的修改,只能修改语言模型的权重参数,并不能对模型进行翻天覆地的修改,不然就会叫巨调了.但是即使是微调,对计算资源的消耗,操作人的技术水平要求够狠高,实现起来很难,并且还有其他的技术可以让语言模型比如lora,rag,提示词工程等

7提示词

提示词帮助指明对话的方向和主题，确保AI 能够理解用户的具体需求…一个坏的提示词会让模型不知道该怎么做,只能输出一些没用的废话.有专门研究如何写好提示词的工作,叫做提示词工程.所以用好LLM,写一手好的提示词是非常重要的.

bleuesprit
关注
使用 Python 从头开始​​构建百万参数 LLM
AI天才研究院
12-22 574
使用 Python 从头开始​​构建百万参数 LLM: A Step-by-Step Guide to Replicating LLaMA Architecture 复制 LLaMA 架构的分步指南
【AI】AI热词解密：当你谈论机器学习时，到底在说什么？
浪潮行舟_2136
07-16 507
智能革命必修课：读懂这些词，才算跟上AI时代
当我们在谈论LLM Agent的时候，我们在说什么？
2401_84495872的博客
06-28 1143
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
2025年，当我们在谈论Agent的时候在讨论的到底是什么？
小白学视觉
02-25 89
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达 本文转载：机器之心Agent 是 AI 领域近期中最受关注的热词之一。2024 年底，谷歌在发布 Gemini 2.0 的同时强调 Agentic era 的到来。2025 年初，谷歌团队发布了 Agent 主题的白皮书，全面地介绍了关于 Agent 的基本概念、与 LLM 的区别、核心架构、工作原理及在实际中的应用等。同时...
当我们在谈多端一码时，我们在谈论什么
淘系技术
05-30 1069
文章从背景问题出发，详细阐述了 KMP 的核心技术特性，并结合直播业务的实际场景，分享了从技术预研到复杂业务落地、再到架构迁移的完整经验。随着直播技术业务的不断迭代，直播各端业务代码以及架构差异变得愈发明显，同时双端不平衡的开发资源也加剧了这种差异的产生。如何解决这些差异，首先映入脑海里的自然是一些已经较为成熟的跨平台方案，例如 Flutter、 Weex(2.0) 和 DX 等等，但是这些跨平台方案实际上在直播业务中都有过各种尝试，因为各自的一些特性以及直播业务的特殊性，最后都没能实现多端一码的目标。
大模型竞技场生存指南：当我们在谈论 Benchmark 时到底在比什么？
DataAnnotation的博客
06-01 1053
对AI模型在特定任务上的表现进行量化评估，以便比较不同模型之间的性能差异。简单来说，可以把各个大模型当作学生，那么 Benchmark 就是各类考试，如高考和数学竞赛等。大模型测评 Benchmark 内容分类。
LLM：Embedding
dongnihao的博客
12-04 816
这些实数向量可以被计算机更好地理解和处理。嵌入背后的主要想法是，相似或相关的对象在嵌入空间中的距离应该很近。举个例子，我们可以使用词嵌入（word embeddings）来表示文本数据。在词嵌入中，每个单词被转换为一个向量，这个向量捕获了这个单词的语义信息。例如，"king" 和 "queen" 这两个单词在嵌入空间中的位置将会非常接近，因为它们的含义相似。而 "apple" 和 "orange" 也会很接近，因为它们都是水果。而 "king" 和 "apple" 这两个单词在嵌入空间中的距离就会比较远，因
LLM 评估指标：LLM评估终极指南
2401_85325397的博客
10-02 2038
在当今快速发展的自然语言处理领域，大型语言模型（LLM）正发挥着越来越重要的作用。从自动翻译到文本生成，这些模型在许多应用场景中表现出了惊人的能力。然而，要确保这些模型能够在实际应用中表现稳定且高效，必须对其进行严谨的评估。这篇文章将详细探讨LLM评估指标的定义、方法和最佳实践，并提供相应的代码示例，帮助您构建强大的LLM评估流程。
LLM大模型在融合通信产品中的应用实践
2301_81940605的博客
07-23 1231
RAG可用于自动生成文章段落、文档或自动摘要，基于检索的知识来填充文本，使得生成的内容更具信息价值。
本地运行LLM的实用指南
十年互联网开发老兵，陪你一起学技术
03-13 646
文章摘要• 为什么要在本地运行LLM？• 运行模型的选项• 选择适合您需求的模型我最近构建了一些包含LLM集成的项目。具体来说，我对代理应用产生了兴趣，在这些应用中，LLM对应用的控制流程负有一定的责任。将这些功能集成到我现有的开发工作流程中，使我深入探索了本地运行LLM。为什么要在本地运行LLM？当我谈论在本地运行LLM时，我指的是在我的开发机器上运行模型的临时实例。这不是关于自托管AI应用的建...
LLM 评估指标：终极 LLM 评估指南
分享各种技术文章，给大家带来不一样的视野。
05-06 1014
LLM 评估指标（例如答案正确性、语义相似性和幻觉）是根据您关心的标准对 LLM 系统的输出进行评分的指标。它们对 LLM 评估至关重要，因为它们有助于量化不同 LLM 系统的性能，这些系统可以只是 LLM 本身。LLM 评估指标架构**答案相关性：**确定 LLM 输出是否能够以信息丰富且简洁的方式处理给定的输入。**任务完成情况：**确定 LLM 代理是否能够完成它所设置的任务。**正确性：**根据一些基本事实确定 LLM 输出是否真实正确。
2024 年 8 个顶级开源 LLM（大语言模型）_开源llm
2501_90251264的博客
01-16 1159
选择开源 LLM 的公司将可以访问 LLM 的工作原理，包括它们的源代码、架构、训练数据以及训练和推理机制。这种透明度是审查的第一步，也是定制的第一步。由于每个人都可以访问开源 LLM，包括它们的源代码，因此使用它们的公司可以针对其特定用例对其进行自定义。
【解读大模型（LLM）的token】
lhx17673139267的博客
07-08 1291
在 LLM 中，token代表模型可以理解和生成的最小意义单位，是模型的基础单元。根据所使用的特定标记化方案，token可以表示单词、单词的一部分，甚至只表示字符。token被赋予数值或标识符，并按序列或向量排列，并被输入或从模型中输出，是模型的语言构件。一般地，token可以被看作是单词的片段，不会精确地从单词的开始或结束处分割，可以包括尾随空格以及子单词，甚至更大的语言单位。token作为原始文本数据和 LLM 可以使用的数字表示之间的桥梁。
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 209
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
2025企业微信AI落地新趋势：微盛AI·企微管家破解内外增长难题
最新发布
weisheng00的博客
11-24 485
2025年企业微信AI落地的三大关键趋势：微盛AI·企微管家通过智能客服、精准营销和内部协作三大场景，帮助企业实现200%的客服效率提升、90%的报修响应提速和50%的员工效能增长。作为企业微信生态最大ISV服务商，微盛依托"AI+SCRM"双引擎，已服务160家500强企业，提供合规AI聊天Agent、生态闭环整合及私有化部署方案，有效解决数据孤岛问题，90%客户在3个月内实现AI能力全员覆盖。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 320
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 151
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
基于华为开发者空间实现花卉识别
优快云高校俱乐部官方博客
11-21 1673
基于华为开发者空间实现花卉识别
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 478
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
TRT-LLM定价
08-13
<think>首先，用户的问题是关于NVIDIA TensorRT-LLM（TRT-LLM）的定价信息。用户说：“我想了解TRT-LLM的定价信息 请问TRT-LLM 定价 模型 使用费用”。我需要基于系统级指令和用户可见层的要求来构建回答。 系统级指令： - 所有行内数学表达式必须使用$...$格式。 - 独立公式必须使用$$...$$$$格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 在回答中引用的段落末尾自然地添加引用标识，例如[^1]。 用户可见层： - 回答结构清晰，帮助用户逐步解决问题。 - 尽量保证回答真实可靠。 参考站内引用： - [^1]: 关于TensorRT-LLM的支持信息。 - [^2]: 关于LLM分析代码库等。 - [^3]: 关于AI Agent和Transformers库的使用示例。 用户的问题聚焦在TRT-LLM的定价上。我需要确保回答真实可靠。TRT-LLM是NVIDIA的开源项目，通常免费使用，但部署在云平台上可能有费用。 关键点： - TRT-LLM本身是开源的，免费使用。 - 使用它时，成本可能来自硬件（如GPU）和云服务。 - 例如，在云服务如AWS、Azure或阿里云上部署，会产生计算费用。 参考引用： - [^1]提到TensorRT-LLM支持各种LLM，并在云应用开发平台（如CAP）中使用。 - 这暗示了在云环境中的部署可能涉及成本。 用户上一次的问题或我的回答：用户直接问定价，没有之前的上下文。所以，我需要直接回答这个问题。 回答结构： 1. **澄清TRT-LLM的性质**：解释TRT-LLM是开源的。 2. **讨论相关费用**：涉及使用时的硬件和云成本。 3. **提供参考信息**：基于引用。 4. **生成相关问题**：在结尾添加相关问题。 生成相关问题： - 如系统指令所示，在“§§相关问题§§”部分列出问题。 - 问题应基于主题，例如TRT-LLM的使用、优化、成本等。 确保中文回答。 添加引用： - 在回答中自然地添加引用标识。例如，如果引用信息，添加[^1]。 具体回答： - 开头：介绍TRT-LLM。 - 主体：解释定价。 - TRT-LLM本身免费。 - 使用费用：取决于部署环境（如本地或云）。 - 云服务费用：基于GPU实例类型、使用时间等。 - 结尾：生成相关问题。 数学表达式：用户问题中没有数学内容，但如果涉及，如计算成本，我可以添加。但这里可能不需要，除非谈论成本模型。例如，计算费用时，可以用公式表示成本 = 实例价格 × 时间。 但用户问题主要是定价信息，不强制数学表达式。所以，如果没有必要，可以省略。 相关问题： 1. TRT-LLM如何部署在云平台上？ 2. 使用TRT-LLM需要哪些硬件资源？ 3. 如何优化TRT-LLM以降低推理成本？ 引用[^1]：因为它提到TensorRT-LLM在云应用开发平台的支持。 最终回答结构： - 清晰段落。 - 使用中文。 - 结尾有相关问题部分。</think>### NVIDIA TensorRT-LLM 定价信息详解 TensorRT-LLM（TRT-LLM）是 NVIDIA 推出的开源推理优化框架，专为大型语言模型（LLM）设计，旨在提升推理性能和效率。关于定价信息，我需要澄清几个关键点：TRT-LLM 本身是**免费的开源软件**，您可以直接从 NVIDIA 的 GitHub 仓库下载和使用，无需支付许可费用。然而，在实际使用中，成本主要来自部署环境（如本地硬件或云平台），具体取决于您选择的资源类型和使用场景。下面我将逐步解释相关费用结构，帮助您全面了解。 #### 1. **TRT-LLM 本身的费用** - TRT-LLM 是 NVIDIA 的开源项目，完全免费。您可以在 [NVIDIA TensorRT-LLM GitHub](https://github.com/NVIDIA/TensorRT-LLM) 上获取源代码、文档和示例，自由用于商业或研究目的。 - 开源特性意味着没有软件许可费或订阅费。但使用前需遵守 NVIDIA 的开源协议（如 Apache License 2.0）。 #### 2. **使用 TRT-LLM 时的相关费用** 虽然框架免费，但部署和运行 TRT-LLM 会产生成本，主要源于硬件资源和云服务： - **硬件成本**：在本地部署时，您需要支持 NVIDIA GPU 的硬件（如 Tesla A100 或 H100）。这些 GPU 的购买或租赁费用是主要成本。例如，一台配备 NVIDIA A100 GPU 的服务器，初始投资可能从数千美元到数万美元不等。 - **云平台费用**：如果您在云服务上部署 TRT-LLM（如阿里云、AWS 或 Azure），成本基于计算资源的使用量。这包括： - **GPU 实例费用**：云服务按小时或按秒计费，取决于实例类型。例如： - 阿里云上的 GPU 实例（如 ecs.gn7i），价格约为 $0.5–$5/小时，具体取决于 GPU 型号和区域。 - AWS 上的 p4d.24xlarge 实例（配备 NVIDIA A100），价格约为 $32/小时。 - **存储和网络费用**：模型加载和数据传输可能产生额外费用，通常按 GB 计算（如 $0.01–$0.1/GB）。 - **优化成本**：TRT-LLM 能显著降低推理延迟和资源消耗，从而减少长期费用。例如，通过量化或批处理优化，推理成本可降低 30–50%。成本模型可简化为： $$ \text{总成本} = \text{GPU 实例价格} \times \text{使用时间} + \text{存储费用} + \text{网络费用} $$ 其中，GPU 实例价格取决于云服务商定价策略。 - **模型使用费用**：TRT-LLM 支持多种开源 LLM（如 Llama、GPT-2），这些模型本身免费。但如果您使用商业模型（如 GPT-4），可能需要支付额外 API 费用给模型提供商。 #### 3. **实际案例和参考信息** - 在云环境中，TRT-LLM 常与平台集成以优化成本。例如，阿里云的函数计算应用中心和云应用开发平台（CAP）支持 TRT-LLM，部署时您只需支付云资源费用，无需框架额外收费[^1]。 - 成本估算示例：假设您在阿里云上部署一个基于 Llama-2 的聊天机器人，使用 TRT-LLM 优化： - GPU 实例：ecs.gn6i（配备 NVIDIA T4），价格约 $0.3/小时。 - 日均推理时间：10 小时。 - 月成本 ≈ $0.3 \times 10 \times 30 = $90，加上存储费用（约 $5–$10）。 - 建议：访问云服务商官网（如[阿里云定价页](https://www.alibabacloud.com/pricing)）获取最新报价。TRT-LLM 的优化能力可帮助控制成本，例如通过减少 GPU 使用时间。 #### 4. **最佳实践以降低成本** - **选择合适资源**：根据模型大小选择 GPU（小模型用 T4，大模型用 A100）。 - **优化推理**：利用 TRT-LLM 的量化、内核融合等功能，提升效率。 - **监控使用**：使用云平台的计费工具跟踪费用，避免资源浪费。 - 注意：定价可能随云服务商更新而变化，建议定期查看官方文档。 总之，TRT-LLM 框架本身免费，但使用费用取决于部署方式。云平台是常见选择，成本可控且灵活。如果您有具体部署场景（如特定模型或云服务），我可以提供更详细的估算。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值