<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[ngadminq的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/ngadminq</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; ngadminq]]></copyright><item><title><![CDATA[【元宝搜索开发者征文大赛】AI写的代码过时了？让元宝帮它改对]]></title><link>https://blog.youkuaiyun.com/ngadminq/article/details/169560352</link><guid>https://blog.youkuaiyun.com/ngadminq/article/details/169560352</guid><author>ngadminq</author><pubDate>Fri, 30 Oct 2026 16:59:24 +0800</pubDate><description><![CDATA[AI 写的代码常用已过时的 API。实测：训练前就公布的变更，提醒模型自查就能改对；训练后才发布的（如 Python 3.14），只提醒 0/3，附上元宝搜索查到的官方原文后 3/3。附接入步骤、速查表和四步检查。]]></description><category></category></item><item><title><![CDATA[昇腾atlas 300I duo部署Qwen3-8B完整实战：从选型到成功运行]]></title><link>https://blog.youkuaiyun.com/ngadminq/article/details/157732643</link><guid>https://blog.youkuaiyun.com/ngadminq/article/details/157732643</guid><author>ngadminq</author><pubDate>Wed, 04 Feb 2026 21:30:00 +0800</pubDate><description><![CDATA[如果出现没有的新的模型怎么部署，这个时候可以通过修改模型的config.json中model_type等操作，，但是一般都是不行的，本来就很难用还搞创新；为了排除是模型太大影响，我也尝试了切换到qwen3-0.5b,为了排除是显卡只支持FP16或只支持BFP16，我两种都尝试了。qwen3搜索后发现只有mindie2版本的支持，如果下成mindie1.X肯定是部署不上的;一直跟着执行，在安装驱动时候，上面的创建驱动文件不知道是过时了，一直没成功，在开始部署前，我们测试了三种主流框架，以下是详细的对比结果。]]></description><category></category></item><item><title><![CDATA[实践篇：利用ragas在自己RAG上实现LLM评估②]]></title><link>https://blog.youkuaiyun.com/ngadminq/article/details/148410802</link><guid>https://blog.youkuaiyun.com/ngadminq/article/details/148410802</guid><author>ngadminq</author><pubDate>Wed, 04 Jun 2025 18:12:57 +0800</pubDate><description><![CDATA[但是它的教程文档确实写得不太好，可能是jupyter格式，直接在py中运行，总是会报少变量之类。ragas（Retrieval Augmented Generation Assessment）是社区最著名的评估方案，内置了我们常见的评估指标。利用了LLM评估，因此不需要人工打标。完整可运行的代码见本文的完整代码小节，代码可运行。而1~3我们会拆开完整代码讲解，代码主要用于讲解完整代码，可能不能运行。首先我们可以共识LLM的评估最好/最高效的方式就是再利用LLM的强大能力，而不是用传统指标。]]></description><category></category></item><item><title><![CDATA[大语言模型的推理能力]]></title><link>https://blog.youkuaiyun.com/ngadminq/article/details/148364548</link><guid>https://blog.youkuaiyun.com/ngadminq/article/details/148364548</guid><author>ngadminq</author><pubDate>Sun, 01 Jun 2025 19:48:00 +0800</pubDate><description><![CDATA[简单说，就是模型在回答问题时会先输出一大段推理过程，然后才给出最终答案。下图我们分别在deepseek的官网使用不带深度思考的与带深度思考（DeepSeek-R1）的模型对北京是中国的首都吗？可以看到当我们使用深度思考模型AI不会直接回答，而是会先来一段内心独白再去回答，这中间的内心独白就叫做推理。推理能力类似早先年间计算机视觉领域的可视化模型输出的过程。推理能力是某些大模型本身就存在的能力，我们能达到的推理效果是因为我们通过训练或提示词解码了这一过程。]]></description><category></category></item><item><title><![CDATA[使用langchain实现五种分块策略：语义分块、父文档分块、递归分块、特殊格式、固定长度分块]]></title><link>https://blog.youkuaiyun.com/ngadminq/article/details/148369580</link><guid>https://blog.youkuaiyun.com/ngadminq/article/details/148369580</guid><author>ngadminq</author><pubDate>Sun, 01 Jun 2025 19:47:06 +0800</pubDate><description><![CDATA[这篇干货满满的指南会告诉你，五种常见分块的原理和实现：
固定长度分块 - 最简单粗暴，但经常把句子切得面目全非
递归智能分割 - 像削苹果一样，先按段落切，再按句子切，最后才按字符切
语义分块 - 这才是真正的黑科技！通过AI理解文本含义，在语义发生转折的地方精准分割

特别是语义分块，它能分析句子之间的相似度，自动找到最佳的分割点。就像有个超级聪明的助手，知道在哪里"换话题"最合适。
掌握了这些技巧，你的RAG系统检索准确率能提升30%以上！再也不用担心AI答不对问题了。]]></description><category></category></item><item><title><![CDATA[Flash Attention：让Transformer飞起来的硬件优化技术]]></title><link>https://blog.youkuaiyun.com/ngadminq/article/details/148237506</link><guid>https://blog.youkuaiyun.com/ngadminq/article/details/148237506</guid><author>ngadminq</author><pubDate>Tue, 27 May 2025 16:37:04 +0800</pubDate><description><![CDATA[最近在研究大模型优化的时候，深入了解了Flash Attention这个技术。说实话，刚开始听到这个名字的时候，我还以为是某种新的注意力机制，后来才发现这其实是一个非常巧妙的硬件优化方案。今天想和大家分享一下我对Flash Attention的理解。]]></description><category></category></item><item><title><![CDATA[KV Cache：大模型推理加速的核心机制]]></title><link>https://blog.youkuaiyun.com/ngadminq/article/details/148242269</link><guid>https://blog.youkuaiyun.com/ngadminq/article/details/148242269</guid><author>ngadminq</author><pubDate>Tue, 27 May 2025 16:35:41 +0800</pubDate><description><![CDATA[当 AI 模型生成文本时，它们经常会重复许多相同的计算，这会降低速度。KV Cache 是一种技术，它可以通过记住之前步骤中的重要信息来加快此过程。模型无需从头开始重新计算所有内容，而是重复使用已经计算过的内容，从而使文本生成更快、更高效。]]></description><category></category></item><item><title><![CDATA[MCP模型上下文协议：基于FastMCP 2.0的实践（2）]]></title><link>https://blog.youkuaiyun.com/ngadminq/article/details/148088268</link><guid>https://blog.youkuaiyun.com/ngadminq/article/details/148088268</guid><author>ngadminq</author><pubDate>Tue, 20 May 2025 18:48:43 +0800</pubDate><description><![CDATA[现在我们定义一个server.py代码，使用了fastmcp对我们的函数进行包装，即一个MCP服务。Win64;}):"""抓取指定 URL 的 HTML 文本内容参数:url (str): 要抓取的网页 URL返回:dict: 包含状态码、HTML 文本和提取的纯文本"""try:# 发送 HTTP 请求# 检查状态码# 获取 HTML 内容# 使用 BeautifulSoup 解析 HTML# 提取纯文本 (去除 HTML 标签)return '抓取失败']]></description><category></category></item><item><title><![CDATA[理论篇：RAG评估指标，检索指标与生成指标①]]></title><link>https://blog.youkuaiyun.com/ngadminq/article/details/147857146</link><guid>https://blog.youkuaiyun.com/ngadminq/article/details/147857146</guid><author>ngadminq</author><pubDate>Tue, 20 May 2025 15:05:55 +0800</pubDate><description><![CDATA[实际操作中，我们不会人工做上面判断步骤，而是用另一个LLM来自动评估忠实度，我给它检索到的文档和生成的答案，然后让它评估每个声明是否有支持证据。这个指标确保模型在使用检索信息的同时，不会偏离用户的原始问题。在我们的技术支持知识库项目中，通过使用这个指标不断调整检索和生成策略，我们最终将答案正确性从0.69提高到0.88，这让支持团队更加信任系统的输出。在我们的客户服务机器人项目中，通过优化提示词中强调"直接回答用户问题"的部分，我们将相关性从0.65提高到0.83，用户反馈明显改善。]]></description><category></category></item><item><title><![CDATA[autoDL算力云装Xinference[坑与步骤]]]></title><link>https://blog.youkuaiyun.com/ngadminq/article/details/148060763</link><guid>https://blog.youkuaiyun.com/ngadminq/article/details/148060763</guid><author>ngadminq</author><pubDate>Mon, 19 May 2025 14:22:05 +0800</pubDate><description><![CDATA[在页面直接点击下载会出现下着下载进度条消失，试了几次才出现这个报错，现在我们就继续安装缺少的包吧。这一步成功绕开了系统盘空间限制。先租用一个合适的服务器，建议不要选最新版本，跟我选的一样即可，不然后面会出现。最近在 AutoDL 上尝试部署。🚫 不要直接使用以下命令。点击下面链接即可打开。]]></description><category></category></item><item><title><![CDATA[RAG文本分块]]></title><link>https://blog.youkuaiyun.com/ngadminq/article/details/147856811</link><guid>https://blog.youkuaiyun.com/ngadminq/article/details/147856811</guid><author>ngadminq</author><pubDate>Sat, 17 May 2025 18:16:18 +0800</pubDate><description><![CDATA[不论是向量化模型还是大语言模型，都存在输入长度的限制。对于超过限制的文本，模型会进行截断，造成语义缺失。分块可以确保每个文本片段都在模型的处理范围内，避免重要信息的丢失。]]></description><category></category></item><item><title><![CDATA[RAG流程介绍]]></title><link>https://blog.youkuaiyun.com/ngadminq/article/details/148027984</link><guid>https://blog.youkuaiyun.com/ngadminq/article/details/148027984</guid><author>ngadminq</author><pubDate>Sat, 17 May 2025 14:15:57 +0800</pubDate><description><![CDATA[RAG(检索增强生成)是一种将语言模型与可搜索知识库结合的方法，主要包含以下关键步骤：数据预处理检索系统构建查询处理流程生成输出]]></description><category></category></item><item><title><![CDATA[RAG数据处理：PDF/HTML]]></title><link>https://blog.youkuaiyun.com/ngadminq/article/details/147856392</link><guid>https://blog.youkuaiyun.com/ngadminq/article/details/147856392</guid><author>ngadminq</author><pubDate>Fri, 16 May 2025 11:36:52 +0800</pubDate><description><![CDATA[RAG而言用户输入的数据通常是各种各样文档，本文主要采用langchain实现PDF/HTML文档的处理方法。]]></description><category></category></item><item><title><![CDATA[大模型实践：vLLM部署llm]]></title><link>https://blog.youkuaiyun.com/ngadminq/article/details/147705149</link><guid>https://blog.youkuaiyun.com/ngadminq/article/details/147705149</guid><author>ngadminq</author><pubDate>Fri, 16 May 2025 11:35:26 +0800</pubDate><description><![CDATA[在大模型部署这个领域，其实已经形成了相对清晰的生态分工。主要面向资源受限的环境，比如个人电脑、边缘设备等。它的优势在于对硬件要求低，能够在CPU上运行大模型，对于个人开发者和小型应用来说非常友好。可以理解为LlamaCPP的用户友好版本，提供了更简洁的API和更便捷的模型管理，但本质上还是基于LlamaCPP的核心。。当面临数百个用户同时访问，或者需要在多GPU环境下发挥最大性能时，它们就显得力不从心了。正是为了填补这个空白。它从设计之初就瞄准了多GPU、高并发的应用场景。]]></description><category></category></item><item><title><![CDATA[ChromaDB 向量库优化技巧实战]]></title><link>https://blog.youkuaiyun.com/ngadminq/article/details/147979736</link><guid>https://blog.youkuaiyun.com/ngadminq/article/details/147979736</guid><author>ngadminq</author><pubDate>Thu, 15 May 2025 17:52:27 +0800</pubDate><description><![CDATA[chroma连接若直接创建集合(“Collection”（集合）是存储向量的基本单位，类似于关系型数据库中的表)，会使用内置的嵌入模型。Chroma默认使用HNSW（分层可导航小世界图）作为向量索引算法，无需手动创建索引。因此为了在中文上又更好效果，我们通常会导入适配中文的词嵌入。但是该模型只针对英文文本进行训练，在中文上表现不佳。默认使用欧氏距离计算向量相似度。以下示例实现的代码核心片段。]]></description><category></category></item><item><title><![CDATA[主流向量数据库使用]]></title><link>https://blog.youkuaiyun.com/ngadminq/article/details/147853810</link><guid>https://blog.youkuaiyun.com/ngadminq/article/details/147853810</guid><author>ngadminq</author><pubDate>Mon, 12 May 2025 13:23:27 +0800</pubDate><description><![CDATA[LLM的向量通常是在数据经过Embedding模型后所得到的。由此产生大量的向量数据，而存储向量数据的数据库就是向量数据库。]]></description><category></category></item><item><title><![CDATA[大模型Embedding模型选择]]></title><link>https://blog.youkuaiyun.com/ngadminq/article/details/147740393</link><guid>https://blog.youkuaiyun.com/ngadminq/article/details/147740393</guid><author>ngadminq</author><pubDate>Sat, 10 May 2025 14:05:33 +0800</pubDate><description><![CDATA[该指标体现Embedding模型在分类(Classification)、聚类(Clustering)、对分类(Pair Classification)、重排序(Reranking)、检索(Retrieval)等任务的表现。嵌入模型不仅能够编码词汇本身的含义，还能捕捉词与词之间、句子与句子之间的关联关系。这种语义相似性搜索是基于向量空间中的距离计算，而非简单的关键词匹配，能够更好地理解自然语言的语义关系。选开源的模型，如果没开源的我们没法使用。text-embedding-3-small：更小更快的模型。]]></description><category></category></item><item><title><![CDATA[BERT模型讲解]]></title><link>https://blog.youkuaiyun.com/ngadminq/article/details/147775599</link><guid>https://blog.youkuaiyun.com/ngadminq/article/details/147775599</guid><author>ngadminq</author><pubDate>Fri, 09 May 2025 16:32:56 +0800</pubDate><description><![CDATA[与原始Transformer使用三角函数计算的Position Encoding不同，BERT的Position Embedding是需要学习的参数。BERT这个名称直接反映了：它是一个基于Transformer编码器的双向表示模型。BERT通过堆叠多层编码器来构建深度模型。NSP任务要求模型判断两个给定句子是否为原文中的相邻句子。这可以让模型理解句子间的关系。是与不是，这也就是转为了二分类任务。即完形填空从而让大模型可以学到上下文。接下来我们展开讲解两种任务。举例：我爱大语言模型。举例：我爱大语言模型。]]></description><category></category></item><item><title><![CDATA[低秩适应（LoRA）与量化LoRA（QLoRA）技术解析]]></title><link>https://blog.youkuaiyun.com/ngadminq/article/details/147795363</link><guid>https://blog.youkuaiyun.com/ngadminq/article/details/147795363</guid><author>ngadminq</author><pubDate>Thu, 08 May 2025 18:31:07 +0800</pubDate><description><![CDATA[通过这种技术，我们可以巧妙地绕过直接修改原始模型的庞大参数，而是添加训练一组规模小得多的参数矩阵。QLoRA（Quantized LoRA）是LoRA的进阶版本，它将量化技术与低秩适应相结合。通过将原模型量化到较低精度（如4位整数），同时使用LoRA进行微调，可以实现更高效的内存使用。值得注意的是，LoRA通常不应用于偏置项(bias)和层归一化(layer normalization)参数，这些参数量相对较小，可以直接训练。这样做可以更好地控制微调的程度，α与r的比值影响着学习率的选择。]]></description><category></category></item><item><title><![CDATA[大模型工具与案例：云服务器部署dify与使用]]></title><link>https://blog.youkuaiyun.com/ngadminq/article/details/147772554</link><guid>https://blog.youkuaiyun.com/ngadminq/article/details/147772554</guid><author>ngadminq</author><pubDate>Wed, 07 May 2025 22:11:43 +0800</pubDate><description><![CDATA[如果您可以装wsl，可以在本机部署因为笔者的windows电脑不可以安装wsl，所以本文会带大家在linux云服务器上部署。目前很多厂家都推出了一键部署，但是价格也有差阿里云 通用型服务器 70rmb/月华为云比较便宜，我这边选的服务器是西南贵州，成功部署大约。]]></description><category></category></item></channel></rss>