荣山的博客

原创 开源产品 coze、dify、dbgpt、langchain-chatchat比对

原创 LangChain与LangGraph的区别？

无论是开发交互式代理、复杂决策系统还是迭代处理模型，LangGraph都提供了所需的工具和灵活性，使您能够创造更智能和响应更迅速的应用。LangGraph通过扩展LangChain的功能，引入循环计算和状态执行，显著提升了LLM应用的能力。LangGraph以其循环计算、状态执行和条件逻辑，成为开发者探索LLM应用新可能的关键工具。

原创 面试宝典2：训练过程中用deepspeed进行优化

Zer0-0:不使用所有类型的分片，仅使用DeepSpeed作为DDP，速度最快(显存够时使用)。Zero-1:切分优化器状态，分片到每个数据并行的工作进程(每个GPU)下;Zero-2:切分优化器状态+梯度，分片到每个数据并行的工作进程(每个GPU)下。首先deepspeed是一个pytorch优化库，用来加速分布式训练。Zero-3:切分优化器状态+梯度+模型参数，分片到每个数据并行的工作进程(每个GPU)下。核心便是其Zero策略，ZeRO训练支持了完整的ZeRO Stages1,2和3.

原创 Fine-tuning 和 LoRA 和 QLoRA的区别

Fine-tuning是一种常见的迁移学习方法，它通过在特定任务上继续训练预训练模型来调整模型参数。

原创 知识评估基准（打榜）和Dify平台

知识评估基准（打榜）和Dify平台

原创 LangChain、LangServe、LangSmith 和 LangGraph区分

LangChain 提供了一种模块化的方法来组合不同的组件，如提示工程、文档检索、API 调用等，以创建复杂的自然语言处理应用。LangSmith 是一个用于测试、评估和监控语言模型的平台。LangGraph 是一种技术栈或框架，用于构建和查询基于图的语言处理应用。LangChain、LangServe、LangSmith 和 LangGraph 分别代表了不同的概念和技术，它们在自然语言处理（NLP）和人工智能领域各有侧重。LangServe 可能是指一种服务或框架，用于部署语言模型的API接口。

原创 transformer中的两种架构

transformer中的两种架构

原创 模型的微调考虑

模型的微调考虑

原创 提示词工程

1.需求分析，采用5w2h的法则，what(是什么)，who（谁），why（为什么），when（何时），where（在哪里），how（怎么做），how much（需要多少成本）当前角色按照什么的步骤与用户进行交互，并如何按照顺序完成明确的任务。和用户的开场白，或者强调需要按照上述的哪些元素开始执行提示词。背景信息，与问题相关的事实、情境描述、问题的背景等信息。Description:基本描述。# Profile:基本信息。# Role:角色定义。Language:语言。Version:版本。

原创 知识库、微调、AI Agent

Agent执行工作的过程是需要大模型来配合的，大模型充当一个大脑，给Agent下达指令。Agent当接收到这个指令的时候，然后去执行。大模型参数的数量直接影响大模型的生成能力和推理能力，也直接影响了大模型的使用效果。参数越多，模型的存储和学习能力也就越强。提示词起到清洗和筛选的作用，大模型可以更直接更确定的命中我们需要的内容。

原创 RAG（检索增强生成）

RAG技术结合了大型语言模型的强大生成能力和检索系统的准确性。它允许模型在生成文本时，从外部知识库中检索相关信息，从而提高生成内容的准确性、相关性和时效性。这种方法不仅增强了模型的回答能力，还减少了生成错误信息的风险。

原创 前向传播与反向传播

沿着。

原创 机器学习的两种典型任务

回归任务是对连续值进行预测，根据每个样本的值/特征预测该样本的具体数值，例如房 价预测，股票预测等，相当于学习到了这一组数据背后的分布，能够根据数据的输入预 测该数据的取值。有监督学习：监督学习利用大量的标注数据来训练模型，对模型的预测值和数据的真实 标签计算损失，然后将误差进行反向传播（计算梯度、更新参数），通过不断的学习， 最终可以获得识别新样本的能力。一般假设无标签数据远多于有 标签数据。无监督学习：无监督学习不依赖任何标签值，通过对数据内在特征的挖掘，找到样本间 的关系，比如聚类相关的任务。

原创 yolo系列（之一）

堆叠小的卷积核所需的参数更少一些，并且卷积过程越多，特征提取也会越细，加入的非线性变换也随着增多，还不会增大权重参数个数，这就是VGG网络的基本出发点，用小的卷积核来完成体特征提取操作。（2）IOU ：真实值和预测值之间的关系。two-stage (两阶段) : Faster-rcnn Mask-Rcnn系列 （输入图像---》CNN特征---》预选框---》输出结果）two-stage的特点：（1）速度通常慢（5FPS），但是效果通常是不错的（2）非常实用的通用框架Mask-Rcnn。

原创 LangChain的总结和项目中知识分片的总结

LangChain的总结和项目中知识分片的总结

原创 大模型相关（CPU与GPU和模型的蒸馏）

大模型相关（模型的蒸馏和GPU、CPU）

原创 RAG和Embedding

RAG和Embedding

原创 AI大模型中的Bert

AI大模型中的Bert

原创 AI大模型中的编码和解码

AI大模型中的编码和解码

原创 AI 大模型

AI 大模型

原创 大模型微调产生的原因

大模型微调产生的原因

原创 大模型的4种技术架构

大模型的4种技术架构

原创 Instruction-Tuning 与 Prompt-Tuning

Instruction-Tuning 与 与 Prompt-Tuning

原创 大模型中的Chat Completion模型和参数

大模型中的Chat Completion模型和参数

原创 GPU的并行方式

每个GPU都加载模型参数，被称为“工作节点(workers)”，为每个GPU分配分配不同的 数据子集同时进行处理，分别求解梯度，然后求解所有节点的平均梯度，每个节点各自 进行反向传播。矩阵乘法可以看作是若干对行和列的点积：可以在不同的 GPU 上计算独立的点积，也可 以在不同的 GPU 上计算每个点积的一部分，然后相加得到结果。无论采用哪种策略，都可以将权重矩阵切分为大小均匀的“shards”，不同的GPU负责 不同的部分，要得到完整矩阵的结果，需要进行通信将不同部分的结果进行整合。

原创 大模型开发之CUDA

大模型开发之CUDA

原创 Pytorch项目肺癌检测项目之七 （总结）

Pytorch项目肺癌检测项目之七 （总结）

原创 Pytorch项目（结节分割），肺癌检测项目之六

Pytorch项目（结节分割），肺癌检测项目之六

原创 Pytorch项目（模型训练与优化），肺癌检测项目之六

Pytorch项目（模型训练与优化），肺癌检测项目之六

原创 Pytorch项目（模型训练与优化），肺癌检测项目之五

Pytorch项目（模型训练与优化），肺癌检测项目之五

原创 Pytorch项目，肺癌检测项目之四

Pytorch项目，肺癌检测项目之四

原创 Pytorch项目，肺癌检测项目之三

Pytorch项目，肺癌检测项目之三

原创 Pytorch项目，肺癌检测项目之二

Pytorch项目，肺癌检测项目之二

原创 Pytorch项目，肺癌检测项目之一

Pytorch项目，肺癌检测项目

原创 PyTorch自动梯度计算（注意点）

PyTorch自动梯度计算（注意点）

原创 AI人工智能和大模型之二

AI人工智能和大模型之二

原创 AI人工智能和大模型的总结概述之一

使用ResNet网络给图片分类

原创 项目 登陆校验的业务逻辑

项目 登陆校验的业务逻辑

原创 项目 验证码的实现思路

验证码的实现思路

原创 项目（模块1:用户登陆流程分析）

项目（模块1:用户登陆流程分析）