常用网址整理

1. Python环境

Conda:提供包、依赖项和环境管理
UV中文文档
新一代包管理工具 uv:从入门到进阶

2. OpenAI相关

OpenAI 开发者文档中文版
api-reference

3. LangChain相关

  • LangChain使用指南:里面包含了LangChain各个模块的使用操作说明和引导,比较详细

  • LangChain中文文档:这里面除了LangChain,还有OpenAI,Milvus的中文文档

  • LangChain中文文档1

  • Pydantic: 主要用于数据验证和数据解析处理。它是一个非常流行的工具,用于简化和严谨化数据模型定义和数据验证工作

4. RAG相关

带你了解7种检索增强生成 (RAG) 技术
全网最全RAG评估指南:全面解析RAG评估指标并提供代码示例
RAG 项目最全细节对比
RAG优化技巧 | 7大挑战与解决方式 | 提高你的LLM:上篇
RAG优化技巧 | 7大挑战与解决方式 | 提高你的LLM:下篇
RAG开发的痛点以及解决方案
12 个 RAG 痛点和建议的解决方案-解决检索增强生成的核心挑战

4.1 文档召回 与Rerank

文档召回 是指通过粗略匹配找到候选文档的过程,通常效率优先。
Rerank 是在召回结果的基础上进一步调整排序的过程,其目标是提高结果的相关性和准确性。
Rerank 是文档召回之后的步骤,不是文档召回本身,而是一种改善召回结果质量的技术。
召回率: 

4.2 召回率与准确率

(1) 召回率(Recall):召回率衡量了模型能够从所有正类中正确识别出多少,它关注的是尽量减少漏掉的相关文档

计算公式: 实际检索到相关文档数量TP/(实际检索到相关文档数量TP+漏掉的相关文档数量FN)

(2) 精确率(Precision):检索出的文档中有多少是相关文档;避免错误正类的预测(减少提供不相关的文档)

两者的平衡点公式F1分数

F1分数 = 2 * (精确率 * 召回率) / (精确率 + 召回率)

详细参考:精确率(Precision)和召回率(Recall)和准确率(accuracy)的区别

4.3 查询改写

高级RAG检索中的五种查询重写策略
RAG 查询改写方法:HyDE、LLM4CS、Query2doc、rewrite-retrieve-read、Iter-RetGen、STEP-BACK Prompting
LLM之RAG实战(二十八)| 探索RAG query重写

4.4 Rerank

在高级RAG应用中,检索后处理环节至关重要。Rerank技术通过重新排序检索出的文档块,确保与用户问题更相关的信息排在前面,从而提高语言模型生成答案的质量。在这个环节中,可以做一些诸如相似度过滤、关键词过滤、chunk内容替换等处理。其中,Rerank(重排序)是一种常见的,也是在RAG应用优化中很常见的一种技术处理环节。

Rerank——RAG中百尺竿头更进一步的神器,从原理到解决方案
再次提升RAG性能:两种高效的Rerank模型实践指南:包含Cohere Rerank模型和bge-reranker-large模型
Milvus结合Beg Reranker

RAG Flow相关

深度解读RAGFlow的深度文档理解DeepDoc
RagFlow 源码全流程深度解析
RagFlow-DeepDoc&Raptor相关逻辑详解
爆改RagFlow

Dify相关

dify实现原理分析-上传文件创建知识库总体流程
dify实现分析-rag-文档内容提取
dify实现分析-rag-文档切割的实现
dify实现原理分析-rag-文本嵌入向量的计算和存储第1步
dify实现原理分析-rag-数据检索的实现
dify实现分析-rag-rerank中的关键词提取相似度计算
rag-rerank的query和文档权重相似度综合得分的计算
dify实现原理分析-rag-检索(Retrieval)服务的实现
dify实现分析-rag-内容检索rerank的两种实现

BM25算法基本使用以及在RAG中的应用

微调相关

微调方案选择

GitHub项目收集

基于 ChatGLM 等大语言模型与 LangGraph 等应用框架实现,开源、可离线部署的 RAG 与 Agent 应用项目:里面包含了文本切分ChineseRecursiveTextSplitter,查询以及记忆体功能的实现

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值