、水水水水水-优快云博客

原创 p-value与e-value

P-value和E-value是两种衡量统计证据的指标。P-value表示在原假设为真时观测到当前数据或更极端结果的概率，常用于假设检验；较小的P值支持拒绝原假设。E-value则通过似然比衡量数据支持备择假设的程度，E>1时反对原假设。文中通过硬币实验示例演示了E-value的计算方法，并指出E-variable是随机变量，其期望值在原假设下不超过1。最后利用马尔可夫不等式建立了E值与P值的关系，说明E值超过1/α的概率不超过α。

2025-09-20 19:19:52 931

原创应用随机过程(三)

本文介绍了随机过程中的条件数学期望和鞅理论。条件期望分为连续型和离散型两种情况定义，并指出其结果是关于条件的随机变量。鞅定义为满足适应性、可积性和鞅性质的随机过程，描述了公平博弈中的"未来期望等于当前值"特性。文章还讨论了上鞅、下鞅的概念，以及连续时间鞅的推广。最后总结了鞅的五个重要性质，包括公平性、期望守恒、线性组合、停时特性和与马尔可夫过程的区别。这些概念为研究随机过程的预测和演化提供了重要工具。

2025-09-20 19:17:06 1037

原创应用随机过程(二)

本文摘要：本文系统介绍了两种重要的随机过程：泊松过程和布朗运动。泊松过程部分详细阐述了其定义、基本性质（期望、方差、间隔时间分布等）及应用实例，强调了其独立增量性和平稳性。布朗运动部分则从定义出发，分析了其关键特性包括正态分布增量、协方差结构、自相似性和Markov性质。两种过程均具有独立增量特征，但泊松过程是离散计数过程，而布朗运动是连续路径过程。文中通过具体实例（如呼叫中心电话到达）展示了泊松过程的应用，并提供了完整的数学推导框架。

2025-09-20 19:16:37 810

原创应用随机过程(一)

本文介绍了应用随机过程的基本概念与性质。首先定义了概率空间三要素（样本空间、事件集合、概率测度）和随机变量（离散型、连续型、混合型）。接着讨论了数字特征（均值、方差、矩、协方差等）和矩母函数/特征函数的性质与用途。然后阐述了随机过程的定义、分类（按时间/状态空间离散性）和基本性质。最后详细讲解了平稳过程的两种类型：严平稳（有限维分布时不变）和宽平稳（均值恒定、协方差仅依赖时间差），并分析了宽平稳的自协方差函数性质。这些内容是学习统计机器学习的基础概率论知识。

2025-09-20 19:14:55 806

原创 RAG学习（七）——RAG评估策略

RAG系统评估的三个关键维度 RAG（检索增强生成）系统的评估可分为三个层次：1）检索层关注文档召回率和排序质量（包括Recall@k、Precision@k、MRR、nDCG@k和MAP等指标）；2）生成层评估语言质量和答案准确性（使用EM、F1、ROUGE等文本相似度指标）；3）端到端层重点考察答案的可信度和可验证性（通过LLM判断或人工标注验证答案是否基于检索内容）。此外还需考虑延迟、吞吐量等工程指标。这种多维评估体系能全面衡量RAG系统的检索能力、生成质量和可信性。

2025-08-24 00:30:40 745

原创 RAG学习（六）——检索优化技术进阶

检索优化技术综述本文系统介绍了提升RAG（检索增强生成）系统性能的三大关键技术：重排序、压缩和校正。重排序部分详细讲解了RRF融合排序、RankLLM大模型排序、Cross-Encoder联合编码和ColBERT后期交互等方法；压缩技术包括提取式和改写式两种思路，提出标准化处理流程；校正技术则通过评估检索结果质量实现自我修正。这些方法共同解决了传统向量检索在相关性排序、信息冗余和质量控制方面的不足，为构建高效可靠的RAG系统提供了完整技术方案。

2025-08-23 13:30:25 802

原创 RAG学习（五）——查询构建、Text2SQL、查询重构与分发

本文介绍了检索优化中的查询构建技术，主要分为三个关键阶段：1）多表示索引，将文档转换为适合检索的形式；2）查询转换，优化用户查询使其更易匹配；3）查询构建，将自然语言转化为结构化检索指令。重点讲解了自查询检索器的实现流程，包括定义元数据结构、解析查询、执行语义搜索和元数据过滤。通过B站视频检索的代码示例，展示了如何利用LangChain的SelfQueryRetriever实现复杂查询的处理，包括提取视频元数据、配置过滤条件以及执行混合检索。该技术能有效提升信息检索的精准度和灵活性。

2025-08-22 14:16:54 891

原创 RAG学习（四）——使用混合检索进行检索优化

本文介绍了混合检索(Hybrid Search)技术，它结合了稀疏向量和密集向量的优势，通过关键词精确匹配和语义理解提供更准确的搜索结果。稀疏向量基于词表的高维表示，特点是高维稀疏且可解释；密集向量则是低维稠密的神经网络嵌入向量。文章详细讲解了BM25打分公式和两种融合策略：倒数排序融合(RRF)和加权线性组合。最后通过代码示例展示了如何在Milvus中实现混合检索。这种技术能有效克服单一检索方式的局限性，适用于各种搜索场景。

2025-08-21 13:43:15 1099

原创 RAG学习（三）—— 优化索引构建

本文介绍了RAG（检索增强生成）系统中的索引构建技术。主要内容包括：索引的基本概念、常见向量索引类型、索引构建流程以及索引的优化技术

2025-08-21 01:45:59 1309

原创 RAG学习（二）—— 构建基础索引与Milvus多模态实战

向量嵌入技术将复杂数据转换为低维向量，通过语义编码实现相似性检索。Milvus作为高性能向量数据库，支持多模态数据处理，通过Collection、Partition、Schema等结构组织数据，并利用索引加速查询。其架构分离存储与计算，支持横向扩展，适用于推荐系统、金融分析等实时场景。Alias功能实现数据无缝更新，而索引机制则显著提升检索效率，平衡存储与性能需求。

2025-08-17 17:14:17 1009

原创 RAG学习（一）——RAG简介与环境配置

本文介绍了检索增强生成（RAG）的技术框架与应用实践。RAG通过结合LLM的生成能力与外部知识检索，突破传统模型的静态知识限制，具备动态更新、可验证性及抗幻觉等优势。技术原理涵盖索引、检索、生成三阶段，并演进为模块化架构（Naive/Advanced/Modular RAG）。实践部分详细说明环境配置步骤，包括API申请、虚拟环境搭建及代码运行测试，提供基于LangChain的示例代码，展示从文档加载、分块到向量检索与生成的完整流程。项目开源地址与完整代码已附于文中。

2025-08-17 17:09:16 1171

原创大模型微调——PEFT

PEFT（参数高效微调）是用于高效微调大模型的技术，针对全量微调成本高问题。其方法分 Additive、Selective、Reparametrization-based 三类，本文将简要分析其中几个方法的内容

2025-05-17 13:05:01 1092

原创 huggingface(三)

本文设计了一个使用hugging face调用大模型，来完成下游任务的实验。旨在通过学习该流程的代码，巩固新手对大模型机理的理解，加强新手对大模型使用的代码能力。

2025-04-10 15:49:00 1106

原创大模型知识积累(二)——大模型核心参数作用及作用顺序

在大语言模型中，num_beams通过束搜索保留多路径优化全局概率，temperature调整logits缩放比例以控制分布的平滑性，top_k和top_p分别按固定数量或动态概率截断候选词。作用顺序通常为：temperature缩放→top_k筛选→top_p动态过滤→softmax归一化。若启用束搜索（num_beams>1），则在每一步扩展候选序列时，综合各路径的累积联合概率（对数求和）进行筛选。参数组合可平衡生成结果的多样性与可控性。

2025-04-04 16:06:08 989

原创大模型知识积累(一)——大模型简单显存计算

本文系统分析了大模型训练中的显存占用问题，梳理了FP64至FP4等浮点格式的存储结构，并以Llama13B为例，详细计算了模型参数（26GB）、优化器（Adam约156GB）、激活值（14.5GB）及梯度（26GB）的显存消耗，总需求约222.5GB。通过量化公式与案例，揭示了混合精度训练、优化器选择及中间结果存储对显存的影响，为大模型部署与优化提供理论参考。

2025-04-02 13:08:10 2208

原创基于共形回归的深度生成模型的共形预测集(三)

本文主要对Conformal Prediction Sets for Deep Generative Models via Reduction to Conformal Regression这篇论文的理论部分（原论文第三章）进行较为详细的讲解

2025-03-30 16:32:02 912

原创基于共形回归的深度生成模型的共形预测集(二)

本文对Conformal Prediction Sets for Deep Generative Models via Reduction to Conformal Regression这篇文章经行进一步的介绍

2025-03-26 15:53:04 882

原创基于共形回归的深度生成模型的共形预测集(一)

本文对论文Conformal Prediction Sets for Deep Generative Modelsvia Reduction to Conformal Regression经行解读，摘要：我们研究如何通过采样黑盒深度生成模型（如生成软件代码、自然语言文本的模型）的输出，为给定输入（如文本提示）生成有效且紧凑的预测集。

2025-03-26 00:59:18 1142

原创 huggingface(二)

在上一章中，我们使用api在本地调用了大模型，并让大模型生成续写的内容。但是，些许写的内容有点让人不忍直视，效果非常的差。所以我们可以在本地部署一个大模型，并且在本地部署大模型后，也为我们后续对大模型的微调或者RAG应用等相关操作打下基础。这里介绍两种比较简单的下载模型的方法，第一种时使用transformers库中的AutoModelForCausalLM和AutoTokenizer分别下载分词工具以及模型。代码示例如下：注意，如果你没有设置模型下载的路径，那么hf会默认将模型下载到你的中，届时调用就有

2025-03-20 13:42:15 830

m0_73944777的博客