LLM的进阶之路

原创

已于 2024-05-18 14:33:50 修改 · 321 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能

于 2024-04-22 21:26:30 首次发布

本文介绍了Transformer模型的三个主要变种：BERT的编码器导向、GPT的自回归解码器导向以及T5的编码器-解码器结合。讨论了大模型如Gopher、Chinchilla和Llama的进展，强调了数据和模型规模对处理复杂任务的影响。

起源

transformer模型，它由级联的encoder和decoder组成。输入一段文本，编码器把它压缩到潜空间，再用解码器翻译成新的文本。

encoder-only ——BERT派

像善于分析的专家，输入一段文本，可以将文本拆解的头头是道

本质是把高维数据压缩到低维空间

本质是完形填空的模式，给定一个句子，随即掩盖掉一些词，然后让模型预测是什么，训练要同时考虑上下文 ，这就体现了BERT的双向性，比单向的搜索空间更大，因为他需要在整个词汇表中找最合适的词来填充每个空

decoder-only ——GPT派

会讲故事的专家，能流畅的自说自话

采用的是自回归序列，给定一个序列，模型预测之后可能出现的不同单词，计算概率，选择最大概率输出，不断迭代能输出完整的句子

本质上他学习的是词与词之间的造句关系，搜索空间相对较小，就像一个人在不断自我学习，锻炼讲故事的能力

encoder+decoder ——T5派

GPT派

相比于gpt-2,谷歌的gopher验证了通过扩大模型的规模有效处理复杂任务的可行性，chinchilla验证了增加数据比增加模型参数更有效，llama则通过不到十分之一的参数便实现了堪比gpt系列的性能

大模型训练流程图

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

wangziling123456

关注关注

4
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

LLM系列(2)：开源LLM Promp调优之道进阶指南

丨汀、的博客

04-30

950

LLM系列(2)：开源LLM Promp调优之道进阶指南

Spring AI 进阶之路02：集成SSE实现AI对话的流式响应

java_beautiful的博客

08-25

996

上一篇文章中，我们虽然用三步快速实现了 Spring Boot 集成 LLM，但这种同步响应的方式会让用户体验大打折扣。尤其当问题过于复杂时，大模型需要更多的时间来处理，这会导致用户不得不长时间面对空白屏幕，这种体验显然无法与逐字浮现的“打字机效果”相媲美。这种实时反馈的交互体验，正是流式响应的独特魅力，也已成为AI应用的标配。在本篇文章中，我们将对项目进行升级改造，通过使用 Spring AI 的流式API与 SSE（Server-Sent Events）技术，让 AI 响应如“打字机”般自然呈现。

参与评论您还未登录，请先登录后发表或查看评论

LangChain进阶之LLM

2301_81940605的博客

05-05

1861

任何语言模型应用程序的核心元素都是...模型（Model）。LangChain 提供了与任何语言模型进行交互的构建块（building blocks）。

LLM进阶岛Lmdeploy

weixin_46828036的博客

12-22

145

启动模型：

LLM进阶——Transformer

ning_xiao_xuan的博客

03-25

1968

LLM进阶——Transformer

LangChain教程：从入门到精通，解锁LLM的进阶技巧

m0_65555479的博客

08-12

1285

LangChain中的LLM是指纯文本完成模型（text completion models.）。这些模型通常都是接收一个字符串输入并返回一个字符串输出。大型语言模型（LLM）是 LangChain 的核心组件。LangChain没有自己的LLM，而是提供了一个标准接口，用于与许多不同的LLM进行交互。一句话解释：使用纯文本作为输入和输出的语言模型的接口。

通往 LLM 算法工程师之路

Aweii__的博客

08-16

1020

大模型发展日新月异，本文仅梳理成为大模型算法工程师一些典型的技术，期望帮助大家在通往 LLM 算法工程师的道路上走的更扎实。

从入门到精通：几本关键书籍助你成为LLM大师

2401_84494441的博客

10-12

1138

以下是几本关于大模型和人工智能领域的经典书籍，它们各自具有独特的特点和适用人群：《深度学习》（Deep Learning）作者：伊恩·古德费洛（Ian Goodfellow）、约书亚·本吉奥（Yoshua Bengio）、亚伦·库维尔（Aaron Courville）简介：《深度学习》是深度学习领域的经典之作，全面介绍了深度学习的基础知识、主要模型及其应用。书中详细讲解了神经网络、卷积神经网络、循环神经网络等大模型的基本原理和实践技巧。适合人群：计算机科学、人工智能领域的学者和研究生。

程序员的AI大模型进阶之旅

2401_85375186的博客

01-03

1103

作为程序员，如果你有兴趣迈向AI大模型的进阶之旅，以下是一些步骤和资源可以帮助你：基础知识：了解机器学习和深度学习的基础概念是重要的第一步。学习线性代数、概率论和统计学等数学基础知识，以及机器学习算法和神经网络的原理。这将帮助你更好地理解AI大模型的工作原理。编程语言和工具：Python是目前广泛用于机器学习和深度学习的编程语言。熟悉Python编程语言，并掌握相关的机器学习和深度学习库（如TensorFlow、PyTorch）将是你进一步学习和实践的基础。

【可能是全网最丝滑的LangChain教程】八、LangChain进阶之LLM

Jeffray1991的博客

04-22

2237

LangChain进阶系列文章第一篇，之前的LangChain“丝滑”系列希望给位也能看看，是这个系列的基础。人工智能时代，我们都不想掉队~

Happy-LLM：大语言模型的快乐进阶之路，大模型入门到精通，收藏这篇就足够了！

2401_82469710的博客

10-24

498

Happy-LLM 是由 Datawhale China 发起的开源教学项目，聚焦中文初学者的大语言模型（LLM）学习痛点，以 “降低门槛、强调实践、注重体验、快乐学习” 为核心理念，通过模块化设计与实战脚本，让零基础者也能系统掌握 LLM 全流程技能。

Free2AI：借 LLM 与 RAG 之力，开启企业智能问答的工程化进阶之路

Free2AI DBMove

04-25

1095

当系统接收到用户的问题后，RAG 会率先在企业内部的知识文档库（涵盖 Excel、Word、Pdf 等多种格式的文档）中展开检索，筛选出与问题相关的文本片段，再将这些片段作为补充信息输送给 LLM，辅助其生成更精准、更贴合事实的答案。面对输入的文本，它能够生成连贯自然的回复，泛化能力超群，能应对多种类型的问题。集成智能问答系统的，能够实时响应用户的咨询和售后问题，自动解答常见疑问，并根据实际情况智能引导用户转接人工服务，确保客户问题得到及时妥善的解决，极大地提升了用户满意度。

TensorRT笔记（5）：研究timingCache

最新发布

ouliten的博客

12-02

490

在里出现了大量的timingCache，但是当时没有取研究这是干啥的，本文就来解析一下。样例都基于上面的文章。

人工智能领域博客

11-28

1857

摘要：本文详细解释了Spark Driver端与Worker端在OSS认证上的核心区别。Driver端通过Spark配置自动认证，而Worker端（独立Python进程）需显式提供认证信息。认证来源优先级为：1)Driver传递参数，2)环境变量，3)IAM角色。文章分析了架构差异导致的不同认证方式，并推荐从Driver传递认证信息的解决方案。当前实现已采用该方案，通过Spark配置或环境变量获取认证后传递给Worker进程，确保PyArrow能正确访问OSS数据。

向量嵌入：RAG系统背后的语义引擎

uncle_ll的博客

11-29

1416

向量嵌入技术将高维语义信息压缩为低维向量，使相似概念在向量空间中聚集。作为RAG系统的核心，嵌入质量直接影响语义检索效果。从静态词嵌入到动态上下文嵌入，技术不断演进，解决了多义词等难题。现代嵌入模型基于Transformer架构，通过对比学习优化检索性能。选型需考虑MTEB排名、语言支持等维度，并结合业务测试。未来趋势包括多模态融合、知识图谱增强和轻量化部署。嵌入技术已成为NLP领域的关键支柱，其优化对提升RAG系统性能至关重要。

07_Spring AI 干货笔记之提示词

在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。在腾飞开源的博客上，你会看到紧跟技术前

11-30

1619

本文详细介绍了Spring AI中的提示词核心概念与API设计。提示词作为引导AI模型生成特定输出的关键输入，其结构从简单字符串演进为包含多角色消息的复杂形式。Spring AI通过Prompt和Message接口提供结构化提示词管理，支持系统、用户、助手等角色分配。PromptTemplate类实现动态内容渲染，并支持自定义模板引擎。文章还涵盖提示词工程的最佳实践与令牌机制，为开发者提供完整的提示词设计解决方案。

【LLM】DeepSeekMath-V2模型

发现问题，并解决问题，批判性思维

11-29

1351

研究问题：这篇文章要解决的问题是如何在大型语言模型（LLMs）中进行自我验证的数学推理。具体来说，现有的基于最终答案奖励的强化学习方法在数学推理中存在根本局限性，因为正确答案并不能保证推理的正确性，特别是在定理证明任务中。研究难点：该问题的研究难点包括：如何在不依赖最终答案的情况下验证推理的正确性；如何在生成和验证之间建立有效的迭代改进循环；如何在没有已知解决方案的开放问题上扩展测试时计算。相关工作：该问题的研究相关工作有：OpenAI的推理模型在定量推理竞赛中取得了显著进展；DeepMind的Deep

【人工智能】【深度学习】 ② GAN核心算法介绍：生成器与判别器的博弈艺术

xiezhiyi007的专栏

11-27

1010

本文为【人工智能】【深度学习】系列第②篇，深入浅出讲解生成对抗网络（GAN）的核心原理。从“造假者 vs 警察”的大白话比喻出发，逐步推导极小极大博弈公式，详解生成器与判别器的对抗机制，并对比 CNN、RNN 的本质差异。附带完整 PyTorch 代码实现（逐行注释），涵盖 DCGAN 架构、训练流程与工程技巧，适合零基础读者入门生成式 AI。结尾预告下一期 Transformer 主题，延续系统化学习路线。

YOLOv8训练过程日志-深度解析

搏博的专栏

11-28

1040

特别值得注意的是不同类别的性能差异：phone类别的召回率达到0.462，明显高于car类别的0.286，这可能源于两个类别在训练数据中的分布差异、目标特征的明显程度等因素。值得注意的是，损失函数的下降过程并非单调的，而是存在一定的波动，这是梯度下降优化的正常现象。值得注意的是，虽然训练提前停止，但模型已经学习到了有意义的特征表示，这为后续的微调或迁移学习奠定了基础。的训练中，这些指标虽然数值较低，但这在小型数据集和有限训练时间的条件下是正常的，重要的是观察这些指标在训练过程中的变化趋势。

langchain进阶

11-04

LangChain的进阶知识和内容涵盖多个方面。在核心概念上，Agent是一个核心概念，代表了一种能够利用语言模型（LLM）和其他工具来执行复杂任务的系统，可处理简单语言模型无法直接解决的问题，尤其是涉及多步骤或需要...