yangwei2048的博客

LangChain是一个用于开发由大型语言模型（LLM）驱动的应用程序的框架。LangChain简化了LLM应用程序生命周期的每个阶段：开发：使用LangChain的开源构建块、组件和第三方集成来构建您的应用程序。使用LangGraph构建支持一流的流处理和人在环中支持的有状态代理。生产化：使用LangSmith检查、监控和评估您的链，以便您可以持续优化并有信心地部署。部署：使用LangGraph Cloud将您的LangGraph应用程序转变为生产就绪的API和助手。LangChain。

Byte-Pair Encoding（BPE）构建步骤。：训练数据量多，模型参数量大，计算量大，单机训练时间久。2、张量并行：因模型结构而异，实现难度大。神经网络的最基础的一个神经元计算单元。流水线并行（inter-layer）张量并行（intra-layer）1、数据并行：计算效率高，实现简单。大语言模型预训练之3D并行实例。：模型参数量太大，显存不够用。大语音模型预训练之流水线并行。3、流水线并行：通信成本最低。数据并行三个提高效率的技巧。大语音模型预训练之张量并行。LLM 大模型分词案例。

PDF文档操作读取文档表格操作github开源代码实现：项目地址：https://github.com/shouwangyw/AIGC/tree/main/Code/005/ai-translator-helper

关系型数据库：MySQL结构化数据精确匹配非关系型数据库：NoSQL非结构化数据精确匹配那么，什么是向量数据库？——非结构化数据模糊匹配向量数据库是一种以向量嵌入（高维向量）方式存储和管理费结构化数据的数据库。数据如何向量化表达？

创建包含JSON对象的列表# 指定保存文件的路径# 将JSON数据写入本地文件file_path = 'result.json' # 创建包含JSON对象的列表 json_data = [ {

高质量的知识语料清晰且语义化的数据结构合理的 Embedding Model 选型以及参数 chunkSize, chunkOverlap 合理设置大小使用工程技术优化上下文问题优化用户输入，提升召回精度。

1、Completion API和Chat Completion API2、Chat Completion API详细参数3、Function Calling 函数调用4、ChatGPT Plugin实践

用向量数据库/知识库改进大模型。构建私人智能助手整体架构设计。

OpenAI账户注册OpenAI GPT费用计算OpenAI Key获取与配置OpenAI 大模型总览WildCard申请虚拟账户

AI大模型应用开发基础Transformer网络架构OpenAI GPT

Code Interpreter 应用场景解析Code Interpreter 技术架构深度剖析基于 LangChain 实现一个 Code Interpreter

GPT技术演进剖析如何训练一个ChatGPTChatGPT在线工程架构设计与实现

LangChain 顶层架构设计以及关键技术剖析基于 LangChain 的 LLM 应用架构揭秘

大模型的局限性向量数据库使用场景以及改建大模型向量数据库应用技术架构剖析利用向量检索构建知识库案例

还可以辅助做哪些工作?

AI大模型全局架构实战剖析Prompt Engineering 整体应用场景剖析提示词工程不能淘汰程序员的7个原因

AI大模型架构体系你了解多少?大模型的典型应用场景有哪些？

从机器语言到人类语言，越来越 简单化、智能化、降本增效、提质

Python 是不是构建 AI Agents 的最好语言？Code Review Bot 无状态设计 & 运行部署。设计 Lightweight AI Agents。当人类询问是否会下雨时?降低 LLM 幻觉的方法。

从机器语言到人类语言，越来越 简单化、智能化、降本增效、提质。

AIGC 新时代，已有的工作机会会不会减少?AIGC新时代，我们到底要学什么？AIGC新时代，我们怎么应对？

Meta联合微软在 2023年7月19日，共同宣布开源了 Llama-2 大模型亚马逊 Azure、Huggingface 等都宣布提供 Llama-2 云服务器阿里云、腾讯云、百度云等也都提供了 Llama-2 云服务Llama-2不但免费，还可以商业化使用有机会打破 ChatGPT 的垄断地位，进一步降低开发者的使用成本。

- Prompt Engineer（提示词工程）- LangChain（一个框架的名字）- Fine-tuning（微调）

思考：自己处于哪种境界？

LLM Agent 可以理解为一个以 LLM 为大脑的智能体(类比人)，集成了规划、记忆、工具使用等能力。当“记忆”非常多时，如何在大量“记忆”力快速找到最相关的那些“记忆”?Auto-GPT 的效果很大程度上归功于它复杂的。工具使用能力-function calling。工具使用能力-HuggingGPT。Auto-GPT 的主要框架设计。CoT任务拆解的缺陷是什么？LLM和传统规划方式结合。Auto-GPT 的输出。LLM + 向量数据库。LLM的记忆是什么？

Diffusion Model(扩散模型)→Image Information Creator。Decode Model(扩散模型)→放大 Diffusion Model 的输出到完整图像。Language Model(语言模型)→Text Encoder(文本编码)训练Encoder模型。

1、Prompt工程之原理2、Prompt工程之原则3、Prompt工程之迭代4、Prompt工程之应用