如何从零开始成为 LLM 科学家与工程师？

原创 已于 2025-07-08 20:53:17 修改 · 812 阅读 · 22 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

于 2025-07-08 10:25:58 首次发布

添加作者个人微信：wintersweet0flower（验证消息请注明优快云）

分享LORA微调、QLoRA微调、RLHF以及RAG的代码实例

还可以就技术问题进行咨询。

 大型语言模型(LLM)课程是为入门者准备的知识专题与教育资源合集，包含两条主要学习路径：

  1. 🧑‍🔬 LLM 科学家方向专注于运用最新技术构建最优秀的大型语言模型
  2. 👷 LLM 工程师专注于创建基于 LLM 的应用程序并进行部署。

🧑‍🔬 The LLM Scientist

课程这一部分重点学习如何运用最新技术构建最优秀的 LLM 模型。

1. The

了解本专栏 订阅专栏 解锁全文 超级会员免费看
多模态大模型：技术原理与实战 在LLM时代，对软件研发的更多思考————从软件 1.0 迈向软件 2.0 时代
AI天才研究院
06-29 1992
软件1.0 vs 软件2.0 - **软件1.0**：传统的软件开发方法，通过人工编写明确的**程序逻辑和规则**来实现功能。 - **软件2.0**：利用AI和机器学习技术，通过**训练模型来"学习"如何执行任务，而不是显式编程**。在这种范式下，软件的行为更多地**由数据和学习算法决定，而不是固定的规则。**
2024年学习LLM的7大步骤，让你少走弯路
2401_85325726的博客
11-02 1122
人工智能(AI)已经深刻影响我们的生活和工作，作为一名有抱负的AI工程师，你可能正在考虑如何高效地学习AI知识，并在这个飞速发展的领域占得一席之地。
AI Agents 技术路线图详解
这里汇聚了前沿的技术分享与实用的开发技巧，带你探索从创意到企业的技术创业之路。
05-06 1656
感知环境或接收用户输入。：进行推理和规划。：执行动作或调用工具。：观察结果并进行反思。AI Agents是一个复杂而强大的技术领域，涉及多个学科的知识和技能。通过系统地学习和实践，我们可以逐步掌握构建和应用AI Agents的方法，为未来的智能化应用打下坚实的基础。希望本文提供的技术路线图能为读者提供有益的指导和启示。
怎么成为一个 ai agent 工程师？
HUANGXIN9898的博客
09-18 727
有了项目经验，你还得有“上线”的意识。这部分又是你的强项。1、成本和延迟意识你得知道，LLM API 是按 token 烧钱的。一个设计不好的 Agent 链条，一个请求进来可能要来回调用 LLM 十几次，成本直接爆炸。你怎么设计缓存策略？怎么通过更小的模型（比如 fine-tune 一个本地模型）来处理某些固定任务？怎么优化 Prompt 来减少 token 消耗？这些都是 P7 级别需要考虑的问题。2、可观测性（Observability）一个 Agent 的执行过程是个复杂的黑盒。你需要引入像。
大模型与LLM语言分析：如何利用LLM做多模态任务？
2301_81887304的博客
10-03 1993
大型语言模型LLM（Large Language Model）具有很强的通用知识理解以及较强的逻辑推理能力，但其只能处理文本数据。虽然已经发布的GPT4具备图片理解能力，但目前还未开放多模态输入接口并且不会透露任何模型上技术细节。因此，现阶段，如何利用LLM做一些多模态任务还是有一定的研究价值的。
从零开始构建LLM应用程序的详细步骤，非常详细收藏我这一篇就够了！
2401_85375151的博客
02-07 820
大型语言模型（LLM）正迅速成为现代人工智能的基石。然而，目前尚未有既定的最佳实践，所以研究者们没有明确的路线图可遵循，经常陷入困境需要重新开始。在过去两年里，我帮助多个组织利用LLM构建创新应用。通过这段经历，我开发出了一种久经考验的方法来创建创新解决方案（受LLM.org.il社区的见解影响而形成），我将在本文中分享这个方法。本指南为在复杂的LLM原生开发环境中导航提供了清晰的路线图。您将了解如何从构思转到实验、评估和产品化，释放您创造开创性应用的潜力。
大模型(LLM)到底是什么？和AI有啥关系？
2401_85375186的博客
03-13 1166
大模型很多技术干货，都可以共享给你们，如果你肯花时间沉下心去学习，它们一定能帮到你！
大模型与ai有什么关系？大模型(LLM)到底是什么？
2301_77193447的博客
05-10 1021
如何学习AI大模型？简单科普一下，AI是人工智能，大模型是大语言模型（LLM）的缩写，大模型是AI领域的一个重要领域和分支。ChatGPT爆火之前，提到AI模型一般指的是垂直模型，比如会做翻译的AI，会下围棋的AI，会对话的AI等。传统的AI都是这种只会做特定领域事情的模型，无法像人类一样，什么都会干。如果AI什么都能干了，那叫做通用人工智能（AGI）。
从零开始如何学习人工智能？需要准备些什么？
2501_91695094的博客
04-17 1164
作为一个本科时期安卓开发，研究生转型，三年磕磕绊绊一路走来，到现在已经工作快5年的算法工程师。回首当年的学习之路，常常因为人工智能入门知识繁多，走在半路因看不到终点而焦虑不已，从而怀疑走上这条路的正确性，“要不要转行去做开发”、“要不要转行去做前端” 等半途转行的思想一直萦绕脑海中。这篇文章讲讲入门人工智能的路线和前景，希望能给同样满怀热情想要学习的有志之士，一点点帮助。同时，希望大家认清自己的优劣势，不要用战术上的勤奋，掩盖战略上的懒惰，选择这条路就要全身心all in。
GitHub开源宝典：从零开始掌握大型语言模型（LLMs）
AAI666666的博客
03-03 911
大家好！我在 GitHub 上发现了一个开源的 LLM 学习课程项目——mlabonne/llm-course，提供一份详尽的学习指南和丰富的实践资源，里面包含了大量的LLM 学习资料。从预训练、到数据集处理再是监督微调。
从零构建 AI Agent：LLM 大模型应用开发实践
08-22
然后，作者可能会详细阐述如何从零开始构建一个AI Agent，涉及到的技术点可能包括但不限于模型选择、数据预处理、特征提取、模型训练、评估与优化等。 在模型应用开发方面，本书可能会重点介绍如何将训练好的模型...
AI赋能金融科技，VisualProject引领项目管理新潮流
weixin_46916369的博客
01-06 381
金融科技项目管理迈入AI赋能新阶段，VisualProject引领智能化转型。随着金融科技竞争转向"体系化能力"，传统管理模式面临需求断层、资源失衡等痛点。维普时代推出的VisualProject通过AI深度融入项目全流程，实现智能需求解析、资源协同和风险预警，使招商银行等项目效率提升40%、延期率降至8%。该产品构建"数据驱动决策"体系，提供30余项核心指标分析，助力金融机构实现精准管理。未来，AI与项目管理的深度融合将持续推动金融科技高质量发展。
[20页中英文PDF]生物制药企业新一代知识管理：用知识图谱+大模型构建“第二大脑“
最新发布
01-07 230
药物研发正面临知识爆炸的挑战。本文深入探讨如何利用大语言模型和知识图谱技术构建企业级"第二大脑"，将分散的科研数据、文献和隐性知识整合为可搜索的知识库，实现60%的文档审查效率提升，并可能为制药行业创造600-1100亿美元的年度价值。
【金猿CIO展】上海康展物流有限公司董事长兼CIO王浩：AI驱动数智化转型——医药物流供应链的全链路革新之路
数据猿
01-04 708
未来，我们将继续聚焦技术创新与服务升级，深化人工智能、物联网等技术在全场景的应用，以更高效、更合规、更智能的供应链服务，助力大健康产业发展，致力于成为专业医药物流最佳服务商，与行业伙伴共同构建更具韧性与价值的供应链生态。：建立全链路透明服务体系，客户、委托方、康展物流、承运商派送商四方均可通过WEB端、移动端实时跟踪订单信息、物流状态、车辆位置与温度数据，实现发货通知、时效跟踪、回单状态查询、异常反馈等全流程可视化，变被动查询为主动感知。数智化转型的终极目标，是实现运营模式的升级与服务价值的重塑。
以 JoyAgent-JDGenie 项目为例：如何利用 AI Agent 高效学习开源框架
caicongyang
01-05 971
本文以JoyAgent-JDGenie项目为例，介绍利用AI技术高效学习开源框架的方法。
PBA-PEG-Silane，苯硼酸-聚乙二醇-硅烷在二氧化硅表面修饰中的应用研究
lk13186385584的博客
01-04 403
PBA-PEG-Silane是一种集成了苯硼酸（PBA）、聚乙二醇（PEG）和硅烷偶联剂的三功能分子。
调用embedding生成向量并存储到milvus中，进行查询
java
01-04 266
先按装docker ,milvus,attu。Attu 是 milvus 的可视化界面，第一步：操作milvus 的工具类。第二步：对应操作的实体对象。这里需要jdk21.三个节点都需要起动。
Hard Negative Mining: 面向企业RAG系统的领域特定检索优化框架
狮子座明仔知识集散场
01-06 613
摘要：本研究提出Hard Negative Mining框架，针对企业RAG系统中的领域特定检索问题，通过多模型嵌入集成（6种双编码器模型）和PCA降维（保留95%方差）生成语义表示，创新性地采用双条件筛选策略选择高质量硬负样本。实验表明，该方法在企业内部数据集上MRR@10达到0.64，相比基线提升42%，且跨金融、气候等领域保持33-45%的性能提升。核心贡献包括：1）多模型互补表示解决语义不匹配；2）双条件选择策略提升负样本质量；3）高效PCA降维优化。局限在于长文档处理和跨语言支持，未来将探索分层嵌
【2025年度总结】从4篇到187篇
hbkybkzw的博客
01-02 512
2026 年的第二天，今天的我在深圳图书馆，看着 后台统计的那个数字——187篇，我竟然有一种恍如隔世的感觉。如果把时间轴拉回一年前，我的2024年只留下了4篇文章的记录；再往前看，2023年只有1篇。那时的我，或许是忙碌，或许是迷茫，博客对于我来说，更像是一个偶尔路过的驿站。但在2025年，一切都变了。这一年 我小小的征服了下技术，技术也重塑了我。如果非得要给我的2025年一个关键词，那就是："坚持"。回首这一年，我的大部分时间都浸泡在各种新技术和基础理论的学习中。
Basic LLM Chain的通用说明？
08-02
<think>首先，用户的问题是关于“Basic LLM Chain的基本概念和使用方法”。我需要参考之前的对话历史。在对话历史中，用户提到了几个引用，但系统提示说这些引用仅供参考，不是用户的真正需求，我应该参考用户上一次的问题和我的回答。 回顾对话历史： - 用户的第一条消息是关于设置滚动条轨道的宽度，我给出了详细的CSS方法。 - 用户的第二条消息是引用了一些内容，但系统提示说这些引用不是真正需求，我应该聚焦于用户当前的问题。 用户当前的问题是：“我想了解Basic LLM Chain的基本概念和使用方法 请问Basic LLM Chain 通用说明和基本概念” 所以，我需要解释Basic LLM Chain的基本概念和使用方法。LLM Chain 在LangChain框架中很常见，我应该基于这个来回答。 关键点： - **基本概念**：LLM Chain 是LangChain中的一个核心组件，它将大型语言模型（LLM）与其他组件（如提示模板、输出解析器）链接起来，形成一个链式结构，以处理特定任务。 - **通用说明**：它允许用户定义输入变量、提示模板，然后通过LLM生成输出，并可能进行后处理。 - **使用方法**：通过LangChain的API，创建LLM实例、提示模板，然后构建链并运行。 我需要确保回答结构化： 1. **介绍基本概念**：解释什么是LLM Chain。 2. **关键组件**：描述链中的元素，如提示模板、LLM、输出解析器。 3. **使用方法**：提供代码示例。 4. **示例**：展示一个简单的例子。 系统指令要求： - 使用中文回答。 - 行内数学表达式用$...$，独立公式用$$...$$。 - 生成相关问题。 - 引用的段落末尾添加引用标识（但这里没有实际引用，所以可能不需要）。 - 回答结构清晰，逐步解决问题。 由于用户的问题基于LangChain，我应该假设使用LangChain库。在之前的引用中，有提到LangChain的代码（引用[4]），所以我可以基于那个。 结构化回答： 1. **基本概念**： - LLM Chain 是一个序列化的过程，将输入传递给LLM并获取输出。 - 它通常包括一个提示模板，用于格式化输入。 - 例如，在LangChain中，`LLMChain` 类用于此目的。 2. **通用说明**： - 链的核心是：输入 -> 提示模板 -> LLM -> 输出。 - 它可以集成其他工具或链，形成更复杂的代理。 3. **使用方法**： - 安装LangChain：`pip install langchain` - 导入必要模块。 - 定义提示模板。 - 初始化LLM（如OpenAI）。 - 创建链。 - 运行链。 4. **代码示例**： - 基于引用[4]中的代码，但简化。 - 例如，一个简单的问答链。 5. **相关问题**：生成3-4个相关问题。 代码示例参考引用[4]： ```python from langchain.llms import OpenAI from langchain.prompts import PromptTemplate from langchain.chains import LLMChain # 初始化LLM llm = OpenAI(api_key="your-api-key") # 定义提示模板 prompt = PromptTemplate( input_variables=["product"], template="What is a good name for a company that makes {product}?", ) # 创建链 chain = LLMChain(llm=llm, prompt=prompt) # 运行链 result = chain.run("colorful socks") print(result) # 输出: e.g., "Rainbow Socks Co." ``` 确保使用中文解释。 最后，生成相关问题： 1. 如何集成多个链？ 2. LLM Chain与其他LangChain组件（如代理）有什么区别？ 3. 如何处理链的输出？ 4. 在链中如何使用自定义函数？ 回答结构： - 先介绍概念。 - 然后使用方法。 - 代码示例。 - 相关问题。</think>### Basic LLM Chain 的基本概念和使用方法 Basic LLM Chain（基础语言模型链）是 LangChain 框架中的一个核心组件，用于将大型语言模型（LLM）与任务逻辑链接起来，实现输入到输出的序列化处理。它通过整合提示模板、LLM 调用和输出解析，简化了复杂任务的自动化流程。以下是详细说明： --- #### 基本概念 1. **核心定义**： - Basic LLM Chain 是一个链式结构，将用户输入通过提示模板格式化后传递给 LLM，再处理输出结果[^4]。 - 它抽象了 LLM 调用的细节，允许开发者专注于任务逻辑而非模型交互。 - 数学上可表示为链式函数： $$ \text{Output} = f_{\text{LLM}}(g(\text{Input})) $$ 其中 $g$ 是提示模板函数，$f_{\text{LLM}}$ 是 LLM 的推理过程。 2. **关键组件**： - **提示模板（Prompt Template）**：动态生成输入提示，支持变量插值（如 `{product}`）。 - **LLM 实例**：语言模型（如 OpenAI GPT 系列），执行文本生成任务。 - **输出解析器（可选）**：将 LLM 的原始输出转换为结构化数据（如 JSON）。 3. **适用场景**： - 简单问答、文本生成、数据转换等任务。 - 作为更复杂代理（Agent）的基础模块，例如在工具调用中协调计算器或时间查询[^4]。 --- #### 通用说明 - **优势**： - **简化开发**：减少重复代码，通过链式调用封装 LLM 交互。 - **灵活性**：支持自定义提示模板和输出处理。 - **可扩展性**：可与其他链（如数学链 `llm-math`）或工具（如计算器）组合[^4]。 - **局限性**： - 依赖 LLM 的可靠性，复杂任务需额外验证输出（如算术参数提取错误问题[^2]）。 - 单链结构不适合多步骤决策，此时需使用代理（Agent）。 --- #### 使用方法 以下步骤展示如何在 LangChain 中创建和运行 Basic LLM Chain（以 Python 示例）： 1. **安装依赖**： ```bash pip install langchain openai ``` 2. **基础代码示例**： ```python from langchain.llms import OpenAI from langchain.prompts import PromptTemplate from langchain.chains import LLMChain # 1. 初始化 LLM（需替换为您的 API 密钥） llm = OpenAI(api_key="your-api-key", temperature=0.5) # 2. 定义提示模板：包含变量 {product} prompt_template = PromptTemplate( input_variables=["product"], template="为生产 {product} 的公司起一个创意名称：", ) # 3. 创建 LLM Chain chain = LLMChain(llm=llm, prompt=prompt_template) # 4. 运行链：传入输入变量 result = chain.run(product="环保水瓶") print(result) # 输出示例："绿源净瓶科技" ``` 3. **关键参数说明**： - `temperature`：控制输出随机性（0~1），值越低输出越确定。 - `input_variables`：提示模板中的动态变量。 - `run()` 方法：执行链并返回结果。 4. **高级用法**： - **集成工具**：例如添加时间查询工具（如引用[4]中的 `@tool` 装饰器）： ```python from datetime import date @tool def get_date(text: str) -> str: """返回当前日期""" return str(date.today()) # 将工具加入链 tools = [get_date] agent = initialize_agent(tools, llm, agent_type="zero-shot-react-description") print(agent.run("今天是哪天？")) # 输出：2023-10-05 ``` - **输出解析**：使用 `OutputParser` 转换结果为结构化格式。 --- #### 注意事项 - **依赖管理**：确保 LLM API 密钥有效，网络连接稳定。 - **错误处理**：添加异常捕获以应对 LLM 响应超时或格式错误。 - **性能优化**：对于批量任务，使用 `apply()` 方法并行处理输入列表。 Basic LLM Chain 是构建 LLM 应用的基石，通过模块化设计平衡灵活性与效率[^4]。如需深入，可探索 LangChain 官方文档。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

runner000001

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值