RAG 数据集准备篇:用三大 Agents 优化评估流程

RAG评估方法-四种方法、两个自动化评估工具,中文/英文RAG评估数据集 RAG自动评估工具,RAG自动数据生成,RAG公开数据集,RAG中文数据集,RAG英文数据集 阅读详情
AI摘要

本文聚焦 RAG 性能优化与大模型 AI 学习。优化 RAG 需系统方法,从结构化评估性能到用 Agents 完成基准测试,准备高质量评估数据集是基础。同时介绍大模型 AI 学习四阶段,包括初阶应用、高阶应用、模型训练和商业闭环,并提供免费学习资料。

本文是关于如何优化 RAG 技术的一系列文章之一。在之前的文章中,我们已经深入探讨了如何在 Chunking、Embedding 以及评估指标设计等环节优化 RAG 性能。这篇文章将重点关注如何准备评估 RAG 性能所需的数据集,为后续优化打下坚实基础。

1. 优化 RAG 不是“炼丹”,需要系统的方法

当涉及到如何优化 RAG(Retrieval-Augmented Generation)性能时,许多人往往采取“试错”的方法:“我尝试了一个新模块,问了几个问题,答案看起来还行…”。这样的定性评估方式虽然直观,但很难得出可靠的改进结论。

优化 RAG 性能需要采用科学实验的方式。这意味着我们必须设计量化的评估指标,并准备高质量的评估数据集。通过结构化的实验和评估方法,我们才能明确什么样的调整会真正提升性能。

在这里插入图片描述

随机提问题这种太上老君“炼丹”的方法不适用于 RAG 性能评估和优化

2. 结构化评估 RAG 的性能

RAG 系统的性能评估可以从以下两个主要方面进行:

  1. 检索评估(Retrieval Evaluation): 检索的段落是否相关?

  2. 生成评估(Generation Evaluation): 模型生成的答案是否恰当?

对于端到端的评估,我们通常关注以下四类指标:

  • Groundedness(可靠性): 检索评估中的关键指标,评估检索的段落是否为生成的答案提供了可靠支持,避免幻觉(hallucinations)或无关信息。这是生成评估的基础。

  • Completeness(完整性): 生成评估的核心指标,用于评估模型的回答是否全面覆盖了用户问题的所有方面,同时间接反映了检索阶段的信息充分性。

  • Utilization(利用率): 连接检索和生成的桥梁指标,用来评估检索到的信息是否被有效利用。如果利用率低,可能意味着检索到的段落与问题无关,或者模型未充分使用这些段落。

  • Relevance(相关性): 检索评估的直接反映,衡量检索到的段落与用户问题之间的相关性,同时也会影响生成评估的整体表现。

这些指标需要基于高质量的测试样本和严格的评估流程。

3. 使用 Agents 完成 RAG 性能基准测试

在开始具体流程前,我们需要了解三个代理(Agents)的协作关系:

  1. 测试样本代理(Test Sample Agent): 用于生成和准备测试数据,这些数据构成了评估系统的基础。

  2. 样本质量评价代理(Critique Agent): 对测试样本进行质量审核,确保最终用于评估的数据具备高准确性和清晰性。

  3. 评估代理(Evaluation Agent): 负责根据设计的指标对系统性能进行量化评估。这些评估指标覆盖了检索和生成的多个层面。

通过这三种代理的协作,可以建立一个系统化的性能基准测试流程,帮助开发者深入理解和优化 RAG 系统。

在这里插入图片描述

3.1 生成测试样本

为了评估 RAG 系统的性能,首先需要使用测试样本代理(Test Sample Agent) 生成测试样本。这些代理可以自动生成一组高质量的 QA 样本(问题与答案对)。例如,可以先生成 10 个样本用于快速测试,然后从公共资源库加载更多样本,或者生成更大规模的数据集以供全面评估。

但如果针对特定的知识库,建议生成至少 200 个样本,因为后续通过评价代理过滤掉低质量问题后,最终能保留的有效样本约为一半。

以下是生成QA样本的提示词:


QA_generation_prompt = """  
Your task is to write a factoid question and an answer given a context.  
Your factoid question should be answerable with a specific, concise piece of factual information from the context.  
Your factoid question should be formulated in the same style as questions users could ask in a search engine.  
This means that your factoid question MUST NOT mention something like "according to the passage" or "context".  
  
Provide your answer as follows:  
  
Output:::  
Factoid question: (your factoid question)  
Answer: (your answer to the factoid question)  
  
Now here is the context.  
  
Context: {context}\n  
Output:::"""  

3.2 检查样本质量

自动生成的样本可能存在质量问题,因此需要引入样本质量评价代理(Critique Agents) 来对问题进行质量审查。这些代理会根据多种标准对每个问题评分,比如:

  • 问题是否清晰、无二义性?

  • 问题是否适合特定知识领域?

我们通过这些代理对问题进行系统评分。当任意一个代理的评分过低时,直接剔除该问题。

💡提示: 当让代理生成分数时,先要求其输出理由,再给出最终评分。这种方式不仅能帮助我们验证评分结果,还能促使代理在回答过程中进行更深入的思考,从而提高评分的准确性。

以下是评估样本质量的提示词:

question_groundedness_critique_prompt = """  
You will be given a context and a question.  
Your task is to provide a 'total rating' scoring how well one can answer the given question unambiguously with the given context.  
Give your answer on a scale of 1 to 5, where 1 means that the question is not answerable at all given the context, and 5 means that the question is clearly and unambiguously answerable with the context.  
  
Provide your answer as follows:  
  
Answer:::  
Evaluation: (your rationale for the rating, as a text)  
Total rating: (your rating, as a number between 1 and 5)  
  
You MUST provide values for 'Evaluation:' and 'Total rating:' in your answer.  
  
Now here are the question and context.  
  
Question: {question}\n  
Context: {context}\n  
Answer::: """  
  
question_relevance_critique_prompt = """  
You will be given a question.  
Your task is to provide a 'total rating' representing how useful this question can be to machine learning developers building NLP applications with the Hugging Face ecosystem.  
Give your answer on a scale of 1 to 5, where 1 means that the question is not useful at all, and 5 means that the question is extremely useful.  
  
Provide your answer as follows:  
  
Answer:::  
Evaluation: (your rationale for the rating, as a text)  
Total rating: (your rating, as a number between 1 and 5)  
  
You MUST provide values for 'Evaluation:' and 'Total rating:' in your answer.  
  
Now here is the question.  
  
Question: {question}\n  
Answer::: """  
  
question_standalone_critique_prompt = """  
You will be given a question.  
Your task is to provide a 'total rating' representing how context-independant this question is.  
Give your answer on a scale of 1 to 5, where 1 means that the question depends on additional information to be understood, and 5 means that the question makes sense by itself.  
For instance, if the question refers to a particular setting, like 'in the context' or 'in the document', the rating must be 1.  
The questions can contain obscure technical nouns or acronyms like Gradio, Hub, Hugging Face or Space and still be a 5: it must simply be clear to an operator with access to documentation what the question is about.  
  
For instance, "What is the name of the checkpoint from which the ViT model is imported?" should receive a 1, since there is an implicit mention of a context, thus the question is not independant from the context.  
  
Provide your answer as follows:  
  
Answer:::  
Evaluation: (your rationale for the rating, as a text)  
Total rating: (your rating, as a number between 1 and 5)  
  
You MUST provide values for 'Evaluation:' and 'Total rating:' in your answer.  
  
Now here is the question.  
  
Question: {question}\n  
Answer::: """  

3.3 设置评估代理

最后,我们需要评估 RAG 系统在测试数据集上的表现。可以通过以下步骤完成:

  1. 选择评估指标:
  • 我们重点关注faithfulness(可靠性) 作为主要指标,因为它能全面反映系统的端到端性能。
  1. 选择评估模型:
  • 使用 GPT-4 作为评估代理,或者尝试其他性能良好的模型,如 kaist-ai/prometheus-13b-v1.0 或 BAAI/JudgeLM-33B-v1.0。
  1. 设计评估提示词:
  • 提示词需要详细描述每个指标的评分标准(例如 1-5 分),并要求模型在评分前先输出评分依据。

💡提示: 提供详细的评分标准有助于评估代理保持一致性,避免因模糊标准导致评分结果的波动。

以下是 RAG 评估模型的提示词:

EVALUATION_PROMPT = """###Task Description:  
An instruction (might include an Input inside it), a response to evaluate, a reference answer that gets a score of 5, and a score rubric representing a evaluation criteria are given.  
1. Write a detailed feedback that assess the quality of the response strictly based on the given score rubric, not evaluating in general.  
2. After writing a feedback, write a score that is an integer between 1 and 5. You should refer to the score rubric.  
3. The output format should look as follows: \"Feedback: {{write a feedback for criteria}} [RESULT] {{an integer number between 1 and 5}}\"  
4. Please do not generate any other opening, closing, and explanations. Be sure to include [RESULT] in your output.  
  
###The instruction to evaluate:  
{instruction}  
  
###Response to evaluate:  
{response}  
  
###Reference Answer (Score 5):  
{reference_answer}  
  
###Score Rubrics:  
[Is the response correct, accurate, and factual based on the reference answer?]  
Score 1: The response is completely incorrect, inaccurate, and/or not factual.  
Score 2: The response is mostly incorrect, inaccurate, and/or not factual.  
Score 3: The response is somewhat correct, accurate, and/or factual.  
Score 4: The response is mostly correct, accurate, and factual.  
Score 5: The response is completely correct, accurate, and factual.  
  
###Feedback:"""  
  
from langchain.prompts.chat import (  
    ChatPromptTemplate,  
    HumanMessagePromptTemplate,  
)  
from langchain.schema import SystemMessage  
  
  
evaluation_prompt_template = ChatPromptTemplate.from_messages(  
    [  
        SystemMessage(content="You are a fair evaluator language model."),  
        HumanMessagePromptTemplate.from_template(EVALUATION_PROMPT),  
    ]  
)  

3.4 生成报告与分析

通过评价代理完成评分后,可以生成一份包含所有指标数据的报告。报告不仅能帮助我们量化 RAG 系统的当前性能,还能为后续优化提供明确的方向。

在这里插入图片描述

使用3个Agents的评估体系可以稳步优化 RAG性能

4. 结论

准备高质量的评估数据集是优化 RAG 性能的基础。通过引入生成代理和评价代理,我们可以建立一个系统化的评估流程,确保每个调整都有量化依据。这种基于数据驱动的方法不仅能帮助开发者快速迭代 RAG 系统,还能避免无效尝试导致的时间浪费。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

【AI大模型应用开发】【项目实战】22.RAG智慧问答项目-(十)RAG系统评估 RAG系统的评估方法与工具,重点关注RAGAS框架的应用和评估数据集的构建。主要内容包括: RAGAS评估框架 通过自动化指标评估RAG系统的检索和生成效果 核心指标:上下文相关性、上下文召回率、忠实度、答案相关性 评估过程依赖大语言模型和嵌入模型 评估实现 展示了使用Python代码加载数据集、配置评估环境、执行评估的完整流程 结果包含各指标得分(0-1范围)并输出为CSV文件 评估数据集构建 强调需要高质量评估数据集 提出使用代理生成测试样本、检查质量、执行评估的系统化流程 提供了各类提示词模板 阅读详情

相关推荐

LLM应用开发实战:RAG与AI Agents工程化落地指南

大语言模型(LLM)应用开发的核心挑战,早已从‘能否运行’转向‘如何稳定交付’。RAG(检索增强生成)作为缓解幻觉、实现知识实时更新的关键技术,与AI Agents共同构成现代智能应用的两大支柱。其原理在于将静态模型能力解耦为可独立优化的数据管道(RAG)与可编程业务逻辑(Agents),从而提升系统可靠性、可维护性与业务适配性。技术价值体现在降低微调成本、加速知识迭代、支撑复杂任务编排;典型场景覆盖智能客服、IT支持、法律咨询与投研助手等需高准确率与强可控性的领域。本文聚焦RAG知识库构建的七道实操关卡与

weixin_34335458的博客 191

RAG——评测

1、生成问题和基准答案(实践中可能会出现偏差)要生成(问题、答案)元组,我们首先需要准备RAG数据,将其拆分为块,并将其嵌入向量数据库中。完成这些步骤后,我们会指示LLM从指定主题中生成num_questions个问题,从而得到问题和答案元组。为了从给定的上下文中生成问题和答案,我们需要按照以下步骤操作:a、选择一个随机块并将其作为根上下文b、从向量数据库中检索k个相似的上下文c、将根上下文和其k个相邻上下文的文本连接起来构建一个更大的上下文。

cancer_s的博客 1826

LLM应用开发实战地图:RAG、Agents与开源生态协同落地指南

大语言模型(LLM)应用已超越单纯调用API的阶段,进入以RAG增强知识准确性、Agents保障流程可控性、开源生态支撑工程落地的深度协同时代。其核心原理在于通过RAG校准模型幻觉、借助Agents构建目标导向的状态机、依托高质量开源项目实现模式萃取而非代码搬运。这一技术组合显著提升专业领域问答准确率、多步任务完成率与系统可维护性,广泛应用于金融合规、工业知识中枢、跨境电商客服等强业务约束场景。本文聚焦LLM应用从选型到上线的七道关键关卡,深入解析RAG文档切块、Embedding中文适配、Agent状态管

weixin_34318326的博客 232

RAG 基准测试(法律领域)测试数据集分享

最近的一部分工作,有在做RAG的benchmark。年初三四月份(2024)的时候,调研已有的测试方案的时候,相关工作很少,只有一篇论文。 最近再看相关的测试数据集又多了一些。我们虽然也有构建数据集,但是还是相对少一些。今天分享一篇论文,RAG关于法律领域的测试数据集。通常这种数据集需要一些领域知识,才能更好的更充分的构建出来这个数据集。 实际上,评估RAG的能力,使用通用数据集是远远不够的。专门的领域测试数据集更权威和合理一些,更能够真实的反应RAG在实际使用场景中的能力。

Angus 5107

Hugging Face Agents课程GAIA基准实战:构建与评估AI智能体

AI智能体(Agent)作为当前人工智能领域的前沿方向,其核心在于让大型语言模型(LLM)具备使用工具、执行多步骤任务以解决复杂问题的能力。其工作原理通常基于规划-执行框架,通过理解用户指令,自主调用视觉识别、网络搜索、代码执行等外部工具,并进行多步推理,最终生成精确答案。这一技术价值在于突破了传统模型仅依赖内部知识的局限,使AI能够处理动态、实时的现实世界任务,迈向通用人工智能助手。应用场景广泛,从自动化数据分析、智能客服到复杂的研究辅助均是其用武之地。本文聚焦于**Hugging Face Agents

weixin_34377919的博客 338

AI数据技术02:RAG数据检索

​ 在人工智能的动态环境中,检索增强生成(RAG)已成为游戏规则的改变者,彻底改变了我们生成文本和与文本交互的方式。RAG 使用大型语言模型(LLM) 等工具将信息检索的强大功能与自然语言生成无缝结合,为内容创建提供了一种变革性的方法。 ​

gongdiwudu的专栏 7811

【AI大模型】RAG 数据集准备篇:用三大 Agents 优化评估流程

当涉及到如何优化 RAG(Retrieval-Augmented Generation)性能时,许多人往往采取“试错”的方法:“我尝试了一个新模块,问了几个问题,答案看起来还行…”。这样的定性评估方式虽然直观,但很难得出可靠的改进结论。

2401_85325557的博客 1164

【UE5】三步搞定Pixel Streaming:从零搭建Windows像素流服务

本文详细介绍了如何在Windows平台上快速搭建UE5 Pixel Streaming像素流服务,从插件安装、项目打包到服务启动的全流程操作。通过实战案例和优化配置,帮助开发者实现零客户端配置、跨设备兼容的高性能3D应用流式传输,特别适合建筑可视化和实时协作场景。

weixin_29000991的博客 320

使用 Ragas 评估简单 RAG 系统:从测试集构建到实验驱动的迭代优化实战

本教程以 Ragas 0.3 的示例工程(`examples/ragas_examples/rag_eval/`)为蓝本,带你完整走一遍"搭建一个最小 RAG 系统 → 构造带参考答案的测试数据集 → 用 LLM 评判指标打分 → 用实验(Experiment)机制驱动迭代优化"的全流程。读完本文,你将掌握 Ragas 中 `Dataset`、`DiscreteMetric`、`@experime

gitblog_00546的博客 832

UG NX 12.0零基础实战:从草图绘制到三维建模全流程解析

本文详细解析UG NX 12.0从草图绘制到三维建模的全流程,适合零基础用户快速掌握这款工业设计软件。内容涵盖界面设置、基础操作、草图技巧、拉伸旋转建模、布尔运算等核心功能,并通过机械零件实战案例演示完整设计流程,帮助读者系统学习UG NX 12.0的工业设计应用。

weixin_29261711的博客 1185

基于FPGA的DDS信号发生器

之前的博客讲到了DDS的基本原理,现在用Verilog代码实现DDS,能够产生四种波形,方波,三角波,正弦波,锯齿波,用按键来控制频率和选择波形。其中按键消抖模块来自小梅哥的FPGA自学笔记设计与验证这本书。 module DDS_Module( Clk, Rst_n, EN, Fword, Key1, Pword, DA_Clk, DA_Data ); input Clk...

qq_43534451的博客 9951

【值得收藏】全面解析AI Agents、Agentic、RAG、MCP及2025技术栈图解

大模型#大模型#Agent#大模型学习#大模型应用#大模型入门#LLM#大语言模型#AI大模型#人工智能#AI人工智能这篇文章提供全面的AI技术图解指南,涵盖AI Agents的核心概念、能力、工具框架及应用场景,解释Agentic AI作为范式转变的重要性,详细说明RAG、MCP/A2A/FC等技术区别,解读6种重要AI模型,并展望2025年AI技术栈的10个关键领域路线图。内容适合从入门到进阶的开发者学习参考,是掌握AI技术发展的重要资源。

EnjoyEDU的博客 1153

数字通信:信源编码、信道编码、调制、物理信道、解调、信道解码、信源解码

在通信系统中,信息的传输通常需要经过一系列的处理步骤,确保数据可以在信道中高效且可靠地传输。以下是信源编码、信道编码、调制、物理信道、解调、信道解码、信源解码的具体含义及其常见技术的解释。

weixin_44012667的博客 4815

如何从零开始构建智能体系统:Hello-Agents完整学习指南

你是否曾经想过,如何从一个AI模型的使用者,转变为能够自主设计和构建智能体系统的开发者?在AI技术飞速发展的今天,智能体(Agent)正在成为连接大语言模型与现实应用的关键桥梁。Hello-Agents项目为你提供了从理论到实践的完整学习路径,让你掌握智能体系统构建的核心技能。 ## 为什么选择Hello-Agents学习智能体开发? Hello-Agents是Datawhale社区推出的系统

gitblog_00446的博客 891

聚宽策略实盘新路径:不开通QMT , 小资金自动化交易解决方案

聚宽策略实盘新路径:不开通QMT , 小资金自动化交易解决方案

u011111246的博客 1472

RK3568平台开发系列讲解(音频篇)配置声卡

📢本篇文章介绍如何配置声卡。

内核笔记 2452

RAG 架构地基工程-Retrieval 模块的系统设计分享

Retrieval-Augmented Generation(RAG)架构在大模型时代大放异彩,而其中的 Retrieval 模块往往被低估。本文系统梳理了 Retrieval 模块的关键设计点,包括数据源类型、文档切分策略、向量化与存储结构、语义检索方式,以及多文档融合机制。通过图示与表格对比,揭示不同设计选择对生成效果的深远影响,强调 Retrieval 不仅是召回,更是影响最终答案质量的“地基工程”。本文旨在为研发者构建可控、可调、可解释的 RAG 系统提供结构化参考。

曾经“等你生日那天”都遥远得像未来,如今却可欢愉的挥手说“下个十年见” 16万+

AE 与 ISP 参数联动机制解析:自动曝光系统与图像信号处理模块协同设计实践

AE(自动曝光)并不是一个独立的图像控制模块,而是与 ISP(Image Signal Processor)深度耦合运作的系统协同体。其输出的曝光参数直接决定了图像处理链路中 Gamma 曲线选择、黑电平补偿、去噪级别、边缘增强等一系列关键参数的取值。本文基于主流平台(如高通、MTK、海思)的工程实战经验,详细剖析 AE 与 ISP 在曝光驱动、调节优先级、图像还原逻辑等环节的联动机制,并结合拍照与视频等不同场景,给出可落地的联调方法。

努力分享一些人工智能、计算机视觉、影像等相关的知识干货! 1528

5步搞定AI模型评估:DeepEval框架的完整实践指南

你是否曾为AI模型输出的质量而烦恼?当你的聊天机器人给出不相关回答,或者RAG系统返回错误信息时,该如何系统化地评估和改进?DeepEval正是为解决这一核心痛点而生的开源AI模型评估框架。作为专业的LLM评估工具,它让开发者能够像测试传统软件一样,对AI应用进行系统化、可量化的质量评估。 ## 为什么传统AI评估方法不够用? 想象一下,你的客服AI在处理退货政策查询时,有时会给出正确的30天

gitblog_01076的博客 441

YOLO26涨点改进| TGRS 2026 | 独家创新首发、注意力改进篇| 引入CSSCA频谱-空间交叉注意力,含多种创新改进,小目标检测、图像分割、高光谱图像分类、语义分割任务任务涨点

🔥本文提出CSSCA(频谱-空间交叉注意力)模块,通过中心像素引导的光谱与空间交叉注意力机制,有效提升YOLO26模型的特征表达能力。该模块实现了光谱与空间信息的协同优化,能够自适应强化关键通道与重要空间区域,增强模型对小目标和复杂场景的感知能力。文章详细介绍了CSSCA的网络结构、工作原理及四大优势,包括精准特征表达、协同信息优化、小样本适应性和轻量化设计。同时提供了完整的代码实现和四种改进方案的YAML配置文件,包括基础版、增强版、C3k2融合版和C2PSA融合版,为YOLO26模型的性能提升

Ai缝合怪、助力小伙伴高效发论文 269

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

鹅厂实习生血泪贴:Agent/RAG黑科技,真相竟是这样!

OPENAI在AGI五级分类中对agent的定义*

m0_70486148的博客 1025

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

上一篇: 企业级AI厂商的护城河在哪里?详细解读顶级VC的思路
下一篇: Fox-1:3T token训练出1.6B的高性能小模型 | AIOLI: 让AI训练更高效,新型数据混合算法击败所有传统方法
Python_金钱豹
博客等级 码龄5年 1万+粉丝 2841原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值