荣山的博客

知识评估基准（打榜）和Dify平台

LangChain 提供了一种模块化的方法来组合不同的组件，如提示工程、文档检索、API 调用等，以创建复杂的自然语言处理应用。LangSmith 是一个用于测试、评估和监控语言模型的平台。LangGraph 是一种技术栈或框架，用于构建和查询基于图的语言处理应用。LangChain、LangServe、LangSmith 和 LangGraph 分别代表了不同的概念和技术，它们在自然语言处理（NLP）和人工智能领域各有侧重。LangServe 可能是指一种服务或框架，用于部署语言模型的API接口。

transformer中的两种架构

模型的微调考虑

1.需求分析，采用5w2h的法则，what(是什么)，who（谁），why（为什么），when（何时），where（在哪里），how（怎么做），how much（需要多少成本）当前角色按照什么的步骤与用户进行交互，并如何按照顺序完成明确的任务。和用户的开场白，或者强调需要按照上述的哪些元素开始执行提示词。背景信息，与问题相关的事实、情境描述、问题的背景等信息。Description:基本描述。# Profile:基本信息。# Role:角色定义。Language:语言。Version:版本。

Agent执行工作的过程是需要大模型来配合的，大模型充当一个大脑，给Agent下达指令。Agent当接收到这个指令的时候，然后去执行。大模型参数的数量直接影响大模型的生成能力和推理能力，也直接影响了大模型的使用效果。参数越多，模型的存储和学习能力也就越强。提示词起到清洗和筛选的作用，大模型可以更直接更确定的命中我们需要的内容。

RAG技术结合了大型语言模型的强大生成能力和检索系统的准确性。它允许模型在生成文本时，从外部知识库中检索相关信息，从而提高生成内容的准确性、相关性和时效性。这种方法不仅增强了模型的回答能力，还减少了生成错误信息的风险。

堆叠小的卷积核所需的参数更少一些，并且卷积过程越多，特征提取也会越细，加入的非线性变换也随着增多，还不会增大权重参数个数，这就是VGG网络的基本出发点，用小的卷积核来完成体特征提取操作。（2）IOU ：真实值和预测值之间的关系。two-stage (两阶段) : Faster-rcnn Mask-Rcnn系列 （输入图像---》CNN特征---》预选框---》输出结果）two-stage的特点：（1）速度通常慢（5FPS），但是效果通常是不错的（2）非常实用的通用框架Mask-Rcnn。

LangChain的总结和项目中知识分片的总结

大模型相关（模型的蒸馏和GPU、CPU）

RAG和Embedding

AI大模型中的Bert

AI大模型中的编码和解码

AI 大模型

大模型微调产生的原因

大模型的4种技术架构

Instruction-Tuning 与 与 Prompt-Tuning

大模型中的Chat Completion模型和参数

每个GPU都加载模型参数，被称为“工作节点(workers)”，为每个GPU分配分配不同的 数据子集同时进行处理，分别求解梯度，然后求解所有节点的平均梯度，每个节点各自 进行反向传播。矩阵乘法可以看作是若干对行和列的点积：可以在不同的 GPU 上计算独立的点积，也可 以在不同的 GPU 上计算每个点积的一部分，然后相加得到结果。无论采用哪种策略，都可以将权重矩阵切分为大小均匀的“shards”，不同的GPU负责 不同的部分，要得到完整矩阵的结果，需要进行通信将不同部分的结果进行整合。

大模型开发之CUDA

Pytorch项目肺癌检测项目之七 （总结）

Pytorch项目（结节分割），肺癌检测项目之六

Pytorch项目（模型训练与优化），肺癌检测项目之六

Pytorch项目（模型训练与优化），肺癌检测项目之五

Pytorch项目，肺癌检测项目之四

Pytorch项目，肺癌检测项目之三

Pytorch项目，肺癌检测项目之二

Pytorch项目，肺癌检测项目

PyTorch自动梯度计算（注意点）