风信子的博客

RAGAs (Retrieval-Augmented Generation Assessment) 它是一个框架，它可以帮助我们来快速评估RAG系统的性能

防止过拟合是机器学习模型优化的核心目标之一。以下是防止过拟合的一些关键方法（早停、剪枝、正则化、增加样本、批量归一化、控制模型复杂度）的系统性解决方案，包含原理、实现细节与最佳实践

摘要： 检索增强生成（RAG）技术通过优化检索、增强和生成三阶段提升查询准确率。检索阶段采用查询扩展、混合检索（语义+关键词）及重排过滤；增强阶段注重数据预处理、动态分块和嵌入模型优化；生成阶段通过提示工程、注意力机制改进和后处理确保答案质量。案例显示，结构化查询和索引优化可将准确率从50%提升至95%。建议多阶段协同，平衡计算成本与精度需求，在关键领域优先实施高精度方案。（150字）

魔搭社区（modelscope）和huggingface下载模型到本地的方法

RagFlow 本地安装详细步骤（Windows + Linux）

如何本地化部署Dify

LlamaIndex（GPT Index)是一个用于您的LLM应用程序的数据框架

（1）、RAGFlow支持分布式索引构建，采用分片技术，能够处理TB级数据。（2）、这些案例展示了RAGFlow在解析复杂文档和提高检索效率方面的优势。（1）、RAGFlow被用于历史辅导助手、机加工行业设备维保等场景。（1）RAGFlow能够处理多种格式的文件，并提供模板化分块处理。（3）、通过智能文档分块和混合检索机制，优化大规模数据处理。（2）提前完成数据清洗和向量化，存储于高效搜索引擎。（2）支持动态优化决策和混合检索模式，提高处理效率。（2）、它结合向量搜索和关键词搜索，提高检索效率。

user_proxy，这个代理的角色是initiator，它的功能是接收用户的任务，把任务交给Receiver进行分析、拆解travel_groupchat，这个代理的角色是Receiver，它的功能是把Initiator代理分配过来的任务进行理解、拆解前面不是说涉及多个代理吗？① 填写模型名称，deepseek有两个模型，一个是deepseek-coder，一个是deepseek-chat，这里选择。如下图，点击①Agents菜单，切换到代理列表界面，需要给如图所示2~6一共五个代理配置大脑。

LlamaIndex（原名GPT Index，或曾被称为LangChain Index等类似名称的早期探索性版本）是一个用于构建和查询大规模语言模型（LLM）应用的开源框架和工具集，它专注于提升语言模型与外部数据源的交互能力，帮助开发者更高效地构建知识驱动的应用程序。

模态是指一些表达或感知事物的方式，每一种信息的来源或者形式，都可以称为一种模态。例如，人有触觉，听觉，视觉，嗅觉；信息的媒介，有语音、视频、文字等；多种多样的传感器，如雷达、红外、加速度计等。以上的每一种都可以称为一种模态。相较于图像、语音、文本等多媒体(Multi-media)数据划分形式，“模态”是一个更为细粒度的概念，同一媒介下可存在不同的模态。 比如我们可以把两种不同的语言当做是两种模态，甚至在两种不同情况下采集到的数据集，亦可认为是两种模态。

对于一个7B（70亿）参数的模型，每个参数使用16位浮点数（等于 2个 Byte）表示，则模型的权重大致为：70亿个参数×每个参数占用2个字节=14G所以我们需要大于14GB的显存。所以我们需要大于14GB的显存。** 创建环境，安装依赖**在量化工作正式开始前，我们还需要验证一下获取的模型文件能否正常工作。进入创建好的环境并启动InternLM2_5-7b-chat。--tp 1启动完成后，访问 http://127.0.0.1:23333/ ，可以看到API 信息。

1、深度学习（Deep Learning）因其计算复杂度或参数冗余，在一些场景和设备上限制了相应的模型部署，需要借助模型压缩、优化加速、异构计算等方法突破瓶颈。2、模型压缩算法能够有效降低参数冗余，从而减少存储占用、通信带宽和计算复杂度，有助于深度学习的应用部署，具体可划分为如下几种方法（后续重点介绍剪枝与量化）：①线性或非线性量化：1/2bits, int8 和 fp16等；

新闻分类是一种经典的自然语言处理任务。通常需要对新闻文本进行分类，将其归入不同的类别。2.1 加载Hugging Face的新闻分类数据集我们可以使用Hugging Face的datasets库来加载新闻分类数据集，如THUCNews。这是一个中文新闻分类数据集，适合用于文本分类任务。# 加载Hugging Face上的THUCNews数据集# 遍历数据集查看样本print(i)2.2 加载自定义CSV数据集如果你有自定义的新闻分类数据集，可以将其保存为CSV文件，并通过datasets库加载。

模型设计完成后，进入训练阶段。通过数据加载器（DataLoader）高效地批量处理数据，并使用优化器更新模型参数。# 实例化 DataLoader# 初始化模型和优化器# 训练循环for epoch in range(3): # 假设训练 3 个 epoch8.1 数据加载使用DataLoader实现批量数据加载。DataLoader自动处理数据的批处理和随机打乱，确保训练的高效性和数据的多样性。8.2 优化器。

TensorBoard 是 TensorFlow 官方提供的可视化工具，而 TensorBoardX 是其社区驱动的替代品，支持 PyTorch 等其他框架。通过 TensorBoard 或 TensorBoardX，你可以直观地监控模型训练过程，分析实验结果，从而更有效地优化模型。TensorBoard 通常与 TensorFlow 一起安装，但也可以单独安装。：可以通过 SSH 隧道将远程服务器的 TensorBoard 端口映射到本地。API 记录日志，然后使用 TensorBoard 可视化。