无基准真相(Ground Truth)的RAG评测

无Ground Truth下LLM推荐的可信评估:从认识论依据到工程实践 在机器学习评估中,ground truth是衡量模型准确性的基准,但面对大语言模型(LLM)生成的个性化推荐,往往不存在唯一正确答案。Epistemic Warrant(认识论依据)提供了一种新视角:与其纠结“答案对不对”,不如评估“推荐依据是否可辩护”。通过来源溯源、内部一致性、不确定性显化和用户可证伪四个维度,可构建可信的评估框架。结合RAG技术限定事实边界、自我一致性检测和用户反馈回流,能够有效缓解幻觉问题,让推荐理由经得起核查。该评估体系适用于图书推荐、活动规划、报告生成等无法用单一标签校验的开放场 阅读详情

第一部分:无基准真相(Ground-Truth-Less)RAG评估的范式

1.1. 解构开放式系统中的评估挑战

检索增强生成(Retrieval-Augmented Generation, RAG)系统作为一种先进的人工智能架构,通过在生成答案前从外部知识库中检索相关信息,极大地提升了大型语言模型(LLM)的准确性和时效性。然而,这种复杂的混合结构也给评估带来了前所未有的挑战,尤其是在缺乏预先标注的“基准真相”(Ground Truth)或“黄金”数据集的现实场景中。

传统的自然语言处理(NLP)评估,如摘要或翻译任务,通常依赖于与一个或多个参考答案进行比较的指标,例如BLEU、ROUGE或METEOR。这些指标通过计算生成文本与参考文本之间的词汇或n-gram重叠度来衡量质量。然而,对于RAG系统处理的开放式问答(Open-Ended QA)等任务,这种方法存在根本性的局限。在许多真实世界的应用中,一个问题可能没有唯一的正确答案,或者“正确”答案的表述方式多种多样。因此,过度依赖这些传统的生成指标会导致对系统性能的误判,可能会因为生成文本在表面上与(不存在的)参考答案不匹配而惩罚一个实际上高质量的回答,或者因为词汇重叠而奖励一个事实错误的回答。

更深层次的挑战源于RAG系统的多组件架构,其通常包括索引、检索和生成三个核心阶段。错误可以在这个链条的任何环节产生并逐级传递、放大,形成“复合错误”(Compounding Errors)。例如,一个微小的文档分块(Chunking)策略失误,可能导致关键信息被分割;随后,嵌入模型(Embedding Model)可能无法准确捕捉这个不完整信息块的语义;接着,检索器(Retriever)可能会因此获取到不相关或不完整的上下文;最终,生成器(Generator)即使能力再强,也无法基于错误的上下文生成准确的答案。

这种诊断上的不透明性是RAG评估的核心难题。当系统给出一个不理想的答案时,我们很难直接判断问题是出在检索失败(例如,未能找到相关文档,即低召回率)还是生成失误(例如,模型忽略了提供的上下文并产生幻觉)。若没有对中间环节的清晰洞察,任何端到端的评估分数都只能成为一个难以指导优化的滞后指标。此外,行业内目前尚未形成广泛接受的、能够全面评估RAG系统各项能力的标准化基准测试,这使得在不同技术、模型和参数配置之间进行公平比较变得异常困难。

1.2. 组件级评估与端到端评估的二分法

鉴于RAG系统的复合性,评估策略自然地分化为两个层面:组件级评估和端到端评估。理想的评估体系必须在这两者之间取得平衡,因为孤立地评估任一环节都可能导致对系统整体性能的误解。

组件级评估分别考察检索器和生成器的性能。

  • 检索评估(Retrieval Evaluation):关注检索器能否高效、准确地从知识库中找到与用户查询最相关的信息块(Context Chunks)。其核心是评估上下文的质量,如果检索出的上下文质量低下——充满了噪声或遗漏了关键信息——那么整个RAG流程的基础就已动摇。

  • 生成评估(Generation Evaluation):在假定已获得理想上下文的前提下,评估生成器能否忠实地、相关地、连贯地利用这些信息来构建答案。

然而,将这两个组件完全割裂开来进行评估是一个常见的陷阱。一个看似高质量的生成答案可能掩盖了检索阶段的严重缺陷。例如,如果LLM凭借其强大的参数化知识(即训练期间学到的内部知识)直接回答了问题,而完全忽略了提供给它的、质量很差的上下文,那么单独评估生成质量可能会得出“性能优异”的结论,但这完全违背了RAG通过外部知识增强事实性的初衷。反之,一个完美的检索器找到了所有相关的上下文,但如果生成器倾向于产生幻觉或未能正确理解上下文,那么检索的努力也将付诸东流。

因此,一个健全的评估框架必须能够同时审视这两个组件以及它们之间的协同作用。它不仅要评估每个部分,还要评估它们“和谐共处”的能力。这意味着评估指标需要能够反映端到端的性能,并提供足够的可追溯性,以便在出现问题时,能够准确地将错误归因于具体的组件。例如,当一个最终答案被判定为不准确时,评估系统应能帮助开发者判断:这是因为检索器未能提供包含正确事实的上下文(检索问题),还是因为生成器未能忠实于已提供的正确上下文(生成问题)。

1.3. 应对无基准真相场景的基础策略

在没有现成“黄金”数据集的普遍情况下,业界已经发展出两种核心策略来启动和执行有效的RAG评估。

策略一:合成基准真相数据集(Synthetic Ground Truth Generation)

这是一种务实且有效的第一步,旨在通过“自给自足”的方式创建评估所需的参考数据。其核心思想是利用一个强大的LLM(通常被称为“教师模型”,如GPT-4o或Gemini 2.5 Pro)来代替人类专家,从原始知识库文档中生成高质量的评估样本。

具体流程如下:

  1. 从知识库中随机或有策略地抽取一个信息完整的文本块(Chunk)。

  2. 构建一个精心设计的提示(Prompt),指示教师模型仅根据这一个文本块来生成一个或多个相关的问题。

  3. 接着,指示教师模型为每个生成的问题提供一个精确、详尽的“基准真相答案”(Ground Truth Answer),并同样要求答案必须完全基于所提供的文本块。

通过这个过程,可以自动化地构建一个包含(问题, 上下文, 基准真相答案)三元组的测试集。这个合成的数据集虽然可能不如人类专家标注的完美,但为后续使用更多依赖参考的指标(如上下文召回率、答案正确性等)提供了可能,极大地降低了评估的启动门槛。

策略二:使用“以大模型为评判者”(LLM-as-a-Judge)的无参考评估

这是当前RAG评估领域最主流和最具前瞻性的范式。它彻底摆脱了对静态“黄金”答案的依赖,转而利用另一个强大的LLM(被称为“评判模型”或“Judge LLM”)在运行时动态地评估RAG系统的输出。

在这种模式下,评判模型接收RAG系统的完整交互记录,包括原始用户查询(question)、检索到的上下文(contexts)和最终生成的答案(answer)。然后,通过一个特定的评估提示(Evaluation Prompt),指示评判模型根据预设的标准(如忠实度、相关性等)对RAG系统的表现进行打分或判断。

例如,在评估“忠实度”(Faithfulness)时,评判模型会被要求判断生成答案中的每一项声明是否都能在检索到的上下文中找到依据。这种方法的核心优势在于其灵活性和可扩展性,它评估的是生成答案与动态检索到的上下文之间的一致性,而非与某个固定参考答案的相似性。这使得在没有预先标注答案的情况下,对RAG系统的核心能力进行量化评估成为可能。诸如RAGAS这样的现代评估框架,其大部分核心指标都构建在LLM-as-a-Judge这一理念之上。

这两种策略并非相互排斥,而是可以相辅相成。开发者可以先用策略一生成一个初步的“黄金”测试集,用于基线测试和需要参考的指标评估。然后,在持续的开发和监控中,更多地依赖策略二进行无参考的、实时的质量评估。

第二部分:核心评估指标分类法

为了系统性地诊断和优化RAG系统,必须采用一套能够分别衡量检索和生成质量的精细化指标。这些现代指标大多超越了传统的词汇匹配,转而利用LLM的语义理解能力进行评估。

2.1. 检索性能指标:评估RAG中的“R”

检索阶段是RAG系统的基石,其目标是从海量知识库中精准、全面地找出与用户查询相关的上下文。评估检索性能的核心在于衡量所检索上下文的质量。

2.1.1. 上下文精度(Contextual Precision)

上下文精度衡量的是检索到的上下文中“信噪比”。它回答了一个关键问题:“在所有被检索回来的信息块中,有多少是真正与回答问题相关的?”。这个指标关注的是检索结果的纯净度。

一个低的上下文精度分数意味着检索器返回了大量无关或冗余的信息块。这些“噪声”不仅会增加生成模型的处理负担和推理成本,更严重的是,它们可能会干扰生成器,诱使其产生偏离主题或事实错误的答案。例如,当用户询问“A公司的季度财报”时,如果检索器返回了A公司的财报、B公司的财报以及一篇关于宏观经济的新闻,那么上下文精度就会很低。

在像RAGAS这样的框架中,上下文精度的计算通常需要一个基准真相答案(ground_truth)作为参照。其计算逻辑大致如下:评判LLM会分析用户问题(question)和基准真相答案,然后逐句检查检索到的上下文(contexts),判断每一句是否与基准真相答案相关。最终得分是相关句子数量与上下文总句子数量的比值。高分表示检索系统能够有效地将最相关的信息排在前面,减少了无关信息的干扰。

2.1.2. 上下文召回率(Contextual Recall)

与上下文精度相对应,上下文召回率评估的是检索信息的“完整性”。它回答的问题是:“检索器是否找到了回答问题所需的全部相关信息?”。

上下文召回率是一个至关重要的指标,因为即使检索到的信息块100%相关(即高精度),但如果遗漏了回答问题的某个关键方面,生成器也无法给出一个完整、准确的答案。例如,对于问题“治疗糖尿病有哪些方法?”,一个理想的答案应涵盖药物、饮食和运动三个方面。如果检索器只找到了关于药物和运动的文档,而遗漏了饮食相关的信息,那么其上下文召回率就很低。

评估召回率在没有完整标注整个知识库的情况下是一个巨大的挑战。传统信息检索(IR)中的召回率定义为“被检索到的相关文档数”除以“知识库中所有相关文档的总数”。计算分母需要对整个知识库进行标注,这在实践中几乎是不可能的。

为了解决这个问题,RAG评估框架采用了一种巧妙的代理方法。它们将评估的参照物从“整个知识库中的相关文档”转变为“一个理想的基准真相答案”。具体而言,RAGAS中的context_recall指标是这样工作的:它将用户提供的基准真相答案(ground_truth)分解成一系列独立的陈述或事实。然后,评判LLM会逐一检查这些陈述,判断每一个是否能从检索到的上下文(contexts)中推断出来。最终的上下文召回率分数是“被上下文支持的陈述数量”与“基准真相答案中的总陈述数量”的比值。

这种定义上的转换意义重大。它将一个无法完成的任务(在整个知识库中计算召回率)转化为了一个更易于管理和扩展的任务(提供或生成一个理想答案作为评估基准)。因此,当在无基准真相的场景下讨论“评估召回率”时,实际上指的是评估这种以答案为中心的“上下文召回率”,而非传统的IR召回率。

2.1.3. 上下文相关性(Contextual Relevance)

上下文相关性是一个更为宏观的指标,它通常由LLM作为评判者来评估检索到的上下文集合与用户原始查询之间的整体对齐程度。与上下文精度侧重于剔除噪声不同,上下文相关性更关注于检索内容是否切题。

评判LLM会被要求对每个检索到的信息块(chunk)相对于用户查询(question)的相关性打分(例如,0到1之间)。最终的上下文相关性分数通常是所有信息块得分的平均值。一个低的上下文相关性分数直接指向了检索系统的核心问题:它可能未能正确理解用户查询的意图,或者嵌入模型的表征能力不足,导致了检索结果的偏离。

2.2. 生成性能指标:评估RAG中的“G”

生成阶段的评估关注的是LLM在接收到检索的上下文后,能否生成一个高质量的

CAG与RAG不是替代关系,而是错位竞争:技术选型的物理约束与工程真相 缓存增强生成(CAG)和检索增强生成(RAG)同属大模型知识扩展技术,但底层原理迥异:CAG依赖本地模型对静态文档预计算KV缓存,受限于显存容量、context窗口与API封闭性;RAG则基于动态检索+上下文精炼,具备线性可扩展性与实时更新能力。其技术价值不在于谁更‘先进’,而在于适配不同工程现实——小规模离线场景下CAG可降延迟,大规模动态知识库中RAG才是工业级首选。本文结合HotpotQA实测、token精确统计、A100显存监控及OpenRouter API限制分析,揭示二者在真实业务中的适用边界与 阅读详情

相关推荐

RAG嵌入模型选型:语义粒度、数据分布与业务指标的实战决策

向量嵌入是RAG系统的语义地基,其质量直接决定检索召回率与生成准确性。理解嵌入模型的本质——将文本映射到稠密向量空间以表征语义相似性——是技术选型的前提;其核心原理在于通过对比学习或监督微调,使语义相近的文本在向量空间中距离更近。技术价值不仅体现在MTEB等通用榜单分数,更在于对业务场景的精准适配能力,包括细粒度语义对齐、领域文本分布兼容性及低延迟高吞吐的工程落地性。典型应用场景涵盖法律合同比对、医疗报告解读、政务知识问答等强专业性、高噪声、中英混杂的真实业务系统。本文聚焦嵌入模型选型中的语义粒度匹配与数据

dienangpiao2051的博客 427

长文档多模态智能基准:突破跨页推理与模态对齐瓶颈

长文档理解是企业级AI落地的核心挑战,其本质远超单页OCR精度,而在于跨页面、跨模态、跨语义层的连续认知流稳定性。多模态文档智能需同时处理文本、表格、公式、手写批注与嵌入图像,并在空间、逻辑、时序和符号四重张力下保持语义一致性。关键技术价值体现在长程一致性维持、模态间语义对齐鲁棒性及像素级可执行输出能力,广泛应用于法律合同审查、医疗报告结构化、科研文献综述等真实场景。本文聚焦新发布的长文档多模态基准,深入解析其对跨页指代消解、图文联合因果推理等硬性能力的压力测试设计,揭示当前SOTA模型在长距依赖与符号张力

weixin_34166472的博客 397

EUREKA大模型评估框架:可复现、可归因、可演化的工业级AI评测体系

大模型评估正从学术榜单走向工程化诊断——当MMLU等传统基准陷入高分饱和与语义失焦,真实场景亟需能定位能力缺陷、量化输出稳定性、支持多模态任务拆解的评估范式。EUREKA应运而生,以可复现性保障实验一致性,以可归因性实现子任务级缺陷溯源,深度融合GeoMeter几何推理、MMM-U多模态细粒度分析等挑战性基准,覆盖建筑图纸理解、医疗报告解析、工业合规审查等高价值落地场景。它不是打分工具,而是面向AI工程化部署的‘显微镜’与‘听诊器’。

aome1470的博客 489

RAGAs评估框架:量化检索增强生成系统质量的三层诊断法

RAG(检索增强生成)是当前大模型落地企业知识服务的核心架构,其性能瓶颈往往不在大语言模型本身,而在于检索与生成之间的协同可靠性。RAGAs(Retrieval-Augmented Generation Assessment)作为一种面向工程实践的评估范式,将端到端黑箱拆解为可测量的三大维度:上下文相关性(Context Relevance)、生成忠实度(Faithfulness)和答案相关性(Answer Relevancy),分别对应检索准不准、回答是否忠于依据、结果是否切中用户意图。该方法规避了传统人

weixin_30367169的博客 528

LangSmith评估实战:构建可归因、可回溯、可迭代的LLM质量闭环

大语言模型(LLM)评估不能仅依赖准确率或F1值,而需面向真实业务场景建立可量化、可诊断的质量保障体系。其核心原理在于将抽象的‘效果’拆解为语义相关性、事实一致性、指令遵循度等可编程的原子指标,并通过全量trace捕获与结构化元数据实现问题归因。这种技术价值体现在显著降低幻觉率、定位RAG召回失效、拦截SLA违规等关键运维场景。在金融投研、医疗问诊、合同审查等高风险应用中,LangSmith的Evaluation功能已验证可支撑千万级用户服务的稳定性与合规性,成为LLM工程化落地不可或缺的质量基础设施。

weixin_30376509的博客 416

RAG 系统效果评测与检索优化

摘要:本文系统介绍了RAG(检索增强生成)系统的评估方法与优化策略。RAG通过检索组件获取外部知识,再由生成组件合成答案,有效缓解大模型幻觉问题。评估框架涵盖检索和生成全链路,核心指标包括召回率、上下文相关性(检索组件)以及忠诚度、答案相关性(生成组件)。重点探讨了提升检索效果的四大策略:查询重写(扩写/子问题/多步骤查询)、检索优化(节点组构造/表征方式/相似度计算)、重排序(两阶段精筛)和多路召回(多查询多策略融合)。通过理论推导和实例分析,为构建"检索准、生成稳"的高效RAG系统提

qq_52053775的博客 184

保姆级教程:在RK3588开发板上用MPP库实现H.264硬编码(附完整代码)

本文详细介绍了在RK3588开发板上使用MPP库实现H.264硬编码的全流程,包括环境准备、MPP库编译、编码器初始化与配置、数据输入与编码流程以及高级性能优化技巧。通过实战案例和完整代码,帮助开发者充分利用RK3588的VPU硬件加速能力,提升视频编码效率和质量。

weixin_28716769的博客 414

3D Slicer:从入门到精通(二)——入门指南

本篇文章包含开始使用3D Slicer所需的信息,包括如何安装和快速开始使用基本功能,以及在哪里找到更多信息。

walt3433的博客 2万+

CANoe基础讲解01:从零开始使用CANoe轻松搭建你的第一个CAN网络

本文是一篇CANoe软件入门实操指南,逐步演示了如何从零创建并运行一个CAN FD仿真工程。内容包括:启动软件、配置硬件通道与网络、加载DBC数据库、使用CAPL编写仿真节点发送CAN报文,最终启动测量并在Trace窗口中查看通信结果。通过七个清晰步骤,帮助初学者快速掌握CANoe基本操作,完成首个可运行的仿真网络搭建

车载网络小D的博客 1575

开关电源环路补偿--开关电源进阶知识补充1

笔记 一 . 做开关电源环路补偿时候为了使得环路更加稳定。 1 .-- > 希望开关电源的相位裕量在45° 以上, 2. – > 希望开关电源的增益裕量在10db 以上 3. – > 希望开关电源增益曲线在过0db 时候以20db /dec 斜率下降(体现1个极点) 4. – > 希望开关电源补偿之后的带宽达到开关频率的是1/5 ~1/10,用以原理开关电源的开关噪音。 左边图示电源瞬态拉载和释放负载的时候输出电压存在明显的振铃,说明这个目前的环路相位裕量(phase m

qq_29776365的博客 1万+

语音测试(二)音频标注(praat)

通过点击红线下方的圆点进行区域划分,在区域中标注所属的类别。按住Alt+Backspace 键取消蓝色线条。

beishida123的博客 3742

scp 出现Permission denied错误 解决方法

第一种说辞(来源于网络),说是scp涉及root远程登录,默认是没有打开的,只需要把配置文件中的permit打开即可。最后scp的时候发现还不行,只需要将其scp的服务器用户名 修改为root即可。第二种解决方案,将scp 传输的服务器用户名改为root即可。(这是最基本的,一开始我忽视了这个问题,导致一直scp不了)window系统下,向ubuntu操作系统 scp传输文件。

码农研究僧的博客 6733

pandas教程:2012 Federal Election Commission Database 2012联邦选举委员会数据库

里面包含了支持者的名字,职业和雇主,地址,赞助金额。我们可以已经能想到如何切割、整理数据,来提取赞助者的统计数据,或提取宣传活动的模式,这里我们展示一些不同的分析方法。可以看到有些职业是同一种工作类型,指代的是同一个东西。这两个连续操作是分别独立执行的,一个结束后,另一个才开始。上,这里我是把数据集压缩成了ZIP格式,解压后能正常导入)。我觉得也有必要好好了解一下,这个网站做了很好的讲解,),所以我们最好添加这样的信息。这样的情况,即把两个索引操作连在一起。,发现映射关系被正常执行了,所以这里的。

Cachel Wood的博客 351

sphincs+ Nist Round3文档中文译版(SPHINCS+ Submission to the NIST post-quantum project, v.3)

1. 引言 哈希基础签名方案最初是由Lamport [14]在1970年代后期作为一次性签名方案开发的,并由Merkle [16]扩展为多次签名方案。这些方案的安全性易于分析,并仅依赖于所使用的哈希函数的属性。然而,Merkle基于树的签名方案需要在密钥生成时就确定要进行签名的数量,且为了保持性能这个数字要小。最重要的是,该系统需要用户记住一个状态:这个状态包含一些信息以记住密钥已经进行了多少次签名。 在Lamport方案诞生后的40年里,产生了许多想法改进了哈希基础签名的性能、实用性和理论基础,最终XMS

dedanddwb的博客 395

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

上一篇: MLflow GenAI 功能深度解析:构建企业级 LLMOps 的统一框架
下一篇: 开源元数据平台深度比较分析:Apache Gravitino、DataHub 与 Unity Catalog OSS
piekill
博客等级 码龄6年 56粉丝 12原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

piekill

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值