- 博客(338)
- 资源 (50)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 面向教育领域的实时更新RAG系统：核心模块设计与技术选型实践指南
但与通用RAG系统相比，教育RAG系统需能实时更新教材和试题库，以确保知识库始终保持最新状态。本文将详细描述一个支持实时教材与试题更新的教育RAG系统设计，包括核心模块与关键技术选型。面向教育领域的实时更新RAG系统的建设，要着重关注实时教材与试题更新能力，这需要高效的实时数据流水线和灵活的向量数据库。Kafka + Flink + Sentence-Transformers微服务，实现实时、高效的流式更新。希望本文能够帮助你更清晰地落地一个实时更新、面向教育领域的RAG系统，实现更佳的教育与学习效果。
2025-04-04 00:15:00
436
原创 部署大模型实战：如何巧妙权衡效果、成本与延迟？
在部署大模型时，效果、成本与延迟总是相互制约、需要权衡的。通过清晰的场景定位、模型的合理选择、推理优化技术（如量化、缓存、多模型协同），能够在实际项目中达到理想的平衡状态。一家语音助手公司部署Phi-3 mini模型，在TensorRT优化下实现百毫秒级响应，用户体验流畅，模型能力虽不及GPT-4，但因实时响应，用户满意度仍较高。一家中型企业部署Llama-3 8B模型用于内部FAQ和文档检索，通过量化部署在单个GPU上，月度成本降至几百元以内，延迟控制在500毫秒左右，性价比极高。
2025-04-04 00:00:00
757
原创 多模态RAG实践：如何高效对齐不同模态的Embedding空间？
在构建多模态RAG（Retrieval-Augmented Generation）系统时，一个核心问题便是如何有效地对齐图像、文本等不同模态的Embedding空间（嵌入空间）。只有实现精准的空间对齐，系统才能实现跨模态检索与生成，准确理解并融合不同类型的信息。本文将介绍对齐不同模态Embedding空间的关键技术、具体方法与实践建议。
2025-04-03 00:15:00
599
原创 当生成结果与检索内容矛盾时，如何调试RAG系统？
在构建基于检索增强生成（RAG）系统时，偶尔会出现生成结果与检索内容相矛盾的情况。通过以上清晰的步骤和实践方法，可以高效地定位并解决RAG系统生成结果与检索内容不一致的问题，进一步提升系统的可靠性与用户体验。记录每次查询及检索返回的文档，验证是否与生成模块实际接收的数据相符。测试模型仅根据检索文档进行回答，排查其是否引入了不相关的知识或推理。引入人工反馈或标注机制，及时发现问题，收集更多负样本进行针对性优化。搭建可视化调试平台，便于查看检索内容与生成结果之间的差异。检索排名错误，导致相关文档未被优先检索。
2025-04-03 00:00:00
276
原创 如何跨越RAG中的语义鸿沟，实现高效精准的信息检索？
语义鸿沟指的是用户输入的查询意图与存储在数据库或知识库中内容之间语义上的差异。具体表现为：用户查询用词模糊或多义。用户语言与文档内容表述方式差异较大。查询内容与文档之间存在隐式关联，而非显式匹配。这种差异导致传统关键词检索方法失效，使系统难以有效匹配到真正有用的文档。跨越语义鸿沟是优化RAG系统性能的重要环节。未来随着AI技术进一步发展，RAG系统将更高效地理解用户意图，更精准地检索与生成内容，真正实现智能化、语义化的信息服务。
2025-04-02 00:15:00
390
原创 RAG系统实战：当检索为空时，如何实现生成模块的优雅降级（Fallback）？
然而在实际应用中，常常出现检索模块返回空结果的情形。如何在此时让生成模块“优雅降级”，为用户提供高质量的响应，而非无意义的空回复或错误提示，便成为至关重要的设计问题。无论是简单的预设提示，通用型回答模板，还是动态查询泛化和主动用户反馈，都能在不同场景下实现高质量的降级处理。未来，随着大语言模型的不断进步，RAG系统的Fallback机制也将更智能、更灵活，真正实现“有备而无患”，提供稳定、可靠的用户服务。希望本文能帮助您更好地设计和实施 RAG 系统的降级策略，真正实现“Fallback”时的“优雅”。
2025-04-02 00:00:00
587
原创 如何设计 RAG 系统的缓存机制以降低延迟
RAG 系统通过将检索模块与生成模块相结合，使得模型能够在生成答案前查询外部知识库，从而大幅提高回答的准确性和信息丰富度。然而，由于检索操作可能涉及大量数据查询，若每次请求都实时计算，将导致较高的响应延迟。为此，设计一个高效的缓存机制便成为降低延迟的重要手段。减少重复计算与查询：对于频繁访问的查询结果进行缓存，避免重复的数据库或远程 API 调用。降低系统负载：通过缓存热点数据，分摊后端服务的压力。提高响应速度：缓存命中后，能够迅速返回数据，极大地降低延迟。
2025-04-01 09:01:57
976
原创 Faster-Whisper —— 为语音识别加速的利器
Whisper 是 OpenAI 发布的一款开源自动语音识别 (ASR) 模型，支持多种语言的语音转文本任务。凭借其庞大的训练数据和先进的神经网络架构，Whisper 在噪声环境下仍能保持较高的识别率，广泛应用于字幕生成、实时转录以及多语言语音处理等领域。faster_whisper 作为对 OpenAI Whisper 模型的高效优化实现，不仅大幅提升了推理速度，同时在多语言支持和识别准确率上保持了优秀的表现。无论是实时转录、批量处理还是嵌入式应用，faster_whisper 都展现出极高的实用价值。
2025-04-01 00:15:00
905
原创 openEuler 24.03 (LTS) 平替 Centos 之 nodejs 安装教程
用上 openEuler 24.03 版本, 再也不用centos的落后版本安装发愁了。它就是这样简单, 目前安装的版本是 nodejs v20.18.2。
2025-03-31 16:41:14
306
原创 TTS（Text-to-Speech）和 STT（Speech-to-Text）
TTS（Text-to-Speech）和 STT（Speech-to-Text）是两种互补的语音技术，主要区别在于。
2025-03-31 14:15:22
383
原创 openEuler 24.03 (LTS) 安装 docker 记录
是你自己的docker镜像加速器, 相关链接如何获取, 找华为云里搜一下。修改存储目录以及docker hub加速器。查看docker info。
2025-03-31 00:15:00
543
原创 解决长文本检索中的上下文长度限制问题
长文本检索中的上下文长度限制问题是当前信息检索领域的一个重要挑战。通过分块与滑动窗口、层次化检索、长上下文模型、动态上下文聚合等多种策略，可以有效缓解这一问题，提升检索系统在处理长文本时的表现。随着技术的不断发展，我们相信未来在长文本处理和检索方面将会有更多突破，带来更加智能和高效的信息检索体验。
2025-03-30 00:30:00
1301
原创 设计支持实时更新知识库的RAG系统数据同步机制
RAG系统将预训练生成模型与外部检索模块相结合，先检索相关文档，再将检索结果动态融入生成过程，从而生成更具知识性和时效性的答案。对于涉及实时更新内容（如新闻）的应用场景，系统需要依赖最新数据来保持输出的准确性和及时性。
2025-03-30 00:15:00
911
原创 检索内容与生成模型的知识库冲突 设计优先级策略
随着生成模型与实时检索技术的不断进步，如何在新旧知识冲突中做出智能选择仍是一个具有挑战性的问题。多模态信息融合：结合文本、图像、视频等多种信息，构建更为全面的知识体系；实时验证机制：引入区块链等技术确保检索数据的权威性和不可篡改性；自适应优先级调整：利用强化学习和在线反馈，实现更加智能、个性化的优先级决策。总的来说，设计合理的优先级策略是确保生成系统在面对新旧知识冲突时既能保持时效性，又能确保信息准确性的关键。
2025-03-29 00:45:00
1277
原创 RAG生成中的多文档动态融合及去重加权策略探讨
检索阶段：根据输入查询，从大规模知识库中检索出多个相关文档。这一步骤依赖于高效的检索算法（如BM25、向量检索等）确保召回尽可能全面的候选文档。生成阶段：将检索到的多篇文档作为上下文输入到生成模型（如Transformer或Seq2Seq模型）中，通过注意力机制动态融合多文档信息，生成符合查询意图的回答或文本内容。这种机制既弥补了纯生成模型“知识有限”的短板，又能在实时性和准确性上获得显著提升。RAG生成技术通过引入检索机制为生成模型提供丰富的背景信息，显著提升了生成结果的知识性和准确性。
2025-03-29 00:15:00
1013
原创 优化检索召回与排序：应对数据噪声与冗余的策略
数据噪声与冗余问题是信息检索系统面临的普遍挑战，直接影响着检索结果的召回与排序质量。通过全面的数据预处理、精细的特征工程、多策略召回和深度排序模型优化，可以有效提升检索系统的整体性能。同时，建立完善的评估与迭代机制，将不断推动检索技术向更加精准、个性化和智能化的方向发展。未来，随着深度学习和自然语言处理技术的进一步成熟，我们有理由相信，检索系统将能够更好地理解用户需求，提供更加优质的搜索体验。
2025-03-28 10:57:19
1019
原创 FastBlock是一个专为全闪存场景设计的高性能分布式块存储系统
FastBlock是一个专为全闪存场景设计的高性能分布式块存储系统，旨在满足对低延迟和高吞吐量有严格要求的应用需求。。
2025-03-28 10:25:30
870
原创 如何设计检索模块的 Embedding 模型：选择通用模型还是领域微调？
通用模型指的是在大量、通用数据上预训练得到的模型，如：OpenAI 的 text-embedding-ada-002Hugging Face 上开源的通用模型（如 all-MiniLM、m3e 等）优点部署简单，开箱即用；泛化能力强，适用于广泛的话题与场景；成本较低，无需额外标注数据。缺点领域特异性不强，对专业领域表现一般；无法很好地捕捉行业特定术语、语义差异。Embedding 模型的选择需结合场景、资源、业务准确性要求综合评估：通用模型：低成本、泛化强，适合快速部署和广泛领域；
2025-03-27 14:14:50
913
原创 对比 Embedding 检索与关键词检索（如 BM25）：RAG 场景下的适用性分析
BM25 是一种基于词频和逆文档频率的打分机制，是信息检索中经典的排序方法。查询词在文档中出现得越多，且该词越稀有，该文档越相关。优点：快速、成熟、可解释性强；不依赖训练，零资源也能用；对于结构化、术语明确的文本检索效果好。缺点：完全基于字面匹配，无法处理语义；同义词、上下文理解能力弱；查询与文档词汇差异大时效果差。在 RAG 系统中，选择何种检索方式，需权衡应用场景、数据类型、用户习惯、响应速度与资源成本关键词检索（如 BM25）依旧适用于结构化、术语明确、低成本需求的场景；
2025-03-27 14:07:17
1030
原创 提升RAG检索力的秘密武器：Query Expansion 查询扩展技巧详解
在检索之前，对原始用户问题进行加工、扩写或改写，使其更容易与知识库中的内容匹配，从而提高召回率。“用户问得少，系统帮他问得多。RAG系统的强大不仅仅靠大模型的“生成”能力，检索质量同样关键。而查询扩展，正是提升检索效果的利器。它就像AI在帮用户“补充提问”，让系统更懂你想问的背后含义。想让你的RAG系统更聪明、更准确？从“提问”本身优化起，或许才是第一步。如果你需要我把上面内容转成 Markdown、PDF 或带插图的版本，也可以随时告诉我！
2025-03-26 10:52:22
1083
原创 RAG：让生成式AI更聪明的“检索+生成”双引擎
RAG 是一种将“信息检索”与“文本生成”结合的架构。它的目标是：在生成内容之前，先从一个知识库（如文档数据库、网页内容、FAQ问答库等）中检索相关资料，再由语言模型（如GPT）基于这些资料生成最终的回答。检索（Retrieval）模块：负责从海量文本中找出与用户问题最相关的片段。生成（Generation）模块：基于检索结果，生成语言自然、内容准确的答案。RAG的优势是显而易见的：📚 知识外延强：大模型不知道的，知识库知道；🎯 回答更准：不是闭门造车，而是引用真实内容；
2025-03-26 10:49:40
601
原创 生成对抗网络（GAN）模型的详细介绍
GAN由两个神经网络构成：生成器（Generator）和判别器（Discriminator），两者通过对抗博弈进行训练。目标函数基于“极小极大博弈”：生成器试图最小化判别器的判断准确性，而判别器试图最大化其判断能力。生成器（G）：接收随机噪声作为输入，生成与真实数据分布相似的合成数据（如图像、文本）。在生成器和判别器中加入条件信息（如类别标签），实现可控生成（如指定生成某类图像）。判别器（D）：接收真实数据或生成数据，判断其来源（真实或生成），输出概率值。
2025-03-25 15:44:04
493
原创 nltk_data简介
nltk_data是 NLTK 实现自然语言处理的核心资源库，其内容直接影响分词、标注、语义分析等功能的可用性。用户需根据任务需求选择下载资源，并通过合理配置路径确保NLTK能正确加载数据。对于复杂场景（如中文NLP），可结合第三方工具扩展其能力。
2025-03-25 14:32:00
481
原创 知识库外挂 vs 大脑全开：RAG与纯生成式模型（如GPT）的终极Battle
RAG与纯生成式模型的竞争，本质是“外部知识”与“内部智能”的协作方式之争。与其纠结技术路线，不如回归业务本质：你的用户需要的是严谨的答案，还是惊艳的创意？理解这一点，答案自在你心中。
2025-03-24 13:54:00
1031
原创 使用 docker compse 启动 Milvus 修改 MINIO_ACCESS_KEY 导致启动失败
使用 docker compse 启动 Milvus 修改 MINIO_ACCESS_KEY 导致启动失败
2025-03-24 00:00:00
403
原创 模型蒸馏（Distillation）能否用于解决大模型的伦理风险？
大语言模型（LLM）在提供强大能力的同时，也带来了伦理风险，如生成偏见内容、虚假信息或有害言论。模型蒸馏（Distillation） 作为一种知识压缩技术，能否用于降低这些风险？本文将探讨其可行性，并提供具体的示例代码。
2025-03-23 06:00:00
800
原创 如何防止大语言模型生成有害内容？技术与非技术手段解析
大语言模型（LLM）在生成内容时可能出现暴力、偏见、仇恨言论或虚假信息等有害内容。为了提高 AI 的安全性和可信度，我们可以采用技术手段和非技术手段进行管控。本文将介绍几种关键方法，并提供示例代码。
2025-03-23 00:00:00
1675
原创 如何在大模型参数量增大时平衡推理速度与效果
随着大语言模型（LLM）参数量的增大，推理速度和计算资源需求也显著上升。如何在保证生成效果的同时优化推理速度，成为高效部署的关键问题。本文介绍几种优化方法，并提供具体的示例代码。合理选择优化策略，可以在保证生成质量的同时，大幅提升推理效率！：推理时减少显存带宽开销，提升长序列生成性能。：减少重复计算，推理速度提升 3-5 倍。：支持超大模型推理（如 176B 级别）。：减少 50% 显存占用，提升推理速度。：提高吞吐量，减少 GPU 空闲时间。：需要多个 GPU，代码部署复杂。：对实时响应时间有一定影响。
2025-03-22 06:00:00
574
原创 如何缓解大语言模型推理中的“幻觉”（Hallucination）？
大语言模型（LLM）在推理时可能生成不真实、不准确或与事实不符的内容，这种现象被称为**“幻觉”**（Hallucination）。
2025-03-22 00:00:00
920
原创 IDea 报错 Error: Could not create the Java Virtual Machine. Unrecognized option: --add-opens
File->Project Structure 我把多余的sdks全部删除掉, 换成命令行一致的环境变量, 然后重新设置一下sdk, 另外记得全部删除掉, 重新添加, 然后就比较爽快啦。网上搜了一圈, 都说这是jdk 9的参数, 我用 jdk 8就要报错, 实际上解决方法很简单。将project , modules重新设置成当前的sdk。不用怀疑idea的问题, 要检查你的jdk是否一致。
2025-03-21 10:35:02
524
原创 如何通过模型量化（Quantization）提升推理速度？精度损失如何补偿
模型量化是一种优化技术，将深度学习模型的权重和激活从高精度（如 FP32）转换为低精度（如 INT8、FP16），以降低计算成本、减少存储占用，并提升推理速度。
2025-03-21 06:30:00
375
原创 KV Cache 在自回归生成中的作用及显存优化
在大语言模型（LLM）进行自回归（autoregressive）文本生成时，每次生成新 token，都需要基于过去的上下文重新计算 self-attention 机制中的Key（K）和值（V）。KV Cache（键值缓存）是一种优化策略，它缓存先前计算的 K/V 张量，避免重复计算，从而提高生成速度并降低计算成本。
2025-03-21 00:15:00
562
原创 深度拆解DeepSeek人才战略：如何成为AGI赛道需要的“T型人才“？
当模型规模突破百万亿参数，当训练成本成为战略资源，你是否准备好成为那个既懂矩阵乘法优化、又能设计新型注意力机制的跨维度人才？答案，就在你此刻的选择中。与其焦虑岗位竞争，不如现在就开始构建自己的"T型能力矩阵"——这或许就是打开AGI殿堂之门的终极密钥。必须项：Linux内核级优化经验，至少精通CUDA编程/分布式训练框架/RDMA网络中的一项。核心系统岗要求"榨干硬件性能"，强调高性能计算/RDMA/编译器等底层优化能力。：从单点突破（算子优化）到全局架构（训练/推理全链路）的认知跃迁。
2025-03-20 09:44:03
1313
原创 如何评估大语言模型生成文本的质量？
BLEU 和 ROUGE 适用于标准任务，而 BERTScore 和 GPT-Score 更适合复杂文本。人工评估则能进一步验证生成文本的流畅性、连贯性和事实准确性。大语言模型（LLM）生成的文本质量是其实用性和可靠性的核心指标。ROUGE 适用于文本摘要，衡量参考文本和生成文本的匹配度。希望本文能帮助你在实际项目中评估 LLM 生成文本的质量！BERTScore 通过深度学习模型计算文本语义相似度。本文将介绍常见的评估指标，并提供示例代码。评估大语言模型生成文本的质量，需要结合。
2025-03-20 06:30:00
895
原创 如何为预训练模型进行领域适配：全参数微调、LoRA 还是 Prompt Tuning？
不同的方法在算力需求、数据量、适配效果等方面各有优劣。本文将对比这三种方法，并提供具体的示例代码。
2025-03-20 00:00:00
1094
原创 结合模型并行与数据并行加速大模型训练
当模型过大，单张 GPU 无法容纳整个神经网络时，可以拆分模型的不同部分到多个 GPU 上进行计算。例如，一个 100 亿参数的模型可能需要拆分到 4 张 GPU，每张 GPU 处理一部分层。
2025-03-19 08:23:22
541
原创 大语言模型的训练数据清洗策略
数据清洗是训练大语言模型的重要环节，直接影响模型的性能、公正性和安全性。通过去重、过滤有害内容、平衡数据、识别偏见、去除低质量数据以及处理时效性数据，我们可以更好地确保模型训练数据的质量。希望本文的示例代码能帮助你在大语言模型训练中更好地进行数据清洗，提高模型的公平性和可靠性！
2025-03-19 08:19:20
690
原创 pip 安装 pynini 报错 cl: 命令行 error D8021 :无效的数值参数“/Wno-register”
某些包尚未适配 Python 3.10 的编译工具链。在编译时传递了 MSVC 编译器不支持的参数。如果输出版本号，说明安装成功。直接通过 Conda 安装。如果必须从源码安装，需删除。
2025-03-18 00:30:00
298
原创 解决 ModuleNotFoundError: No module named ‘Cython‘ 的问题
【代码】解决 ModuleNotFoundError: No module named 'Cython' 的问题。
2025-03-18 00:15:00
132
原创 解决报错 nmake failed with no such file or directory 问题
nmake是微软Visual Studio套件中的命令行构建工具，用于编译C/C++项目。许多Python包的底层依赖（如科学计算库、音频处理库等）需要通过CMake调用nmake来编译。
2025-03-17 00:45:00
487
jeopardy-tiny.json
2025-03-13
办公软件-开源软件-LibreOffice-25.2.0-Win-x86-64-安装包.msi
2025-02-19
离线镜像 registry.k8s.io/nfd/node-feature-discovery:v0.16.6
2024-12-18
离线安装 KubeSphere实操记录
2024-12-03
libstdc++.so.6.0.29
2024-09-13
kafka-schema-registry-client-6.2.2.jar
2023-04-25
helm-v3.10.1-linux-amd64.tar.gz
2022-11-01
sysstat-12.3.1.tar.gz
2020-04-07
lrzsz-0.12.20-6-x86_64.pkg.tar.xz
2019-12-17
Star NX-500 针式打印机驱动
2019-10-09
MemoryAnalyzer-1.9.1.20190826-win32.win32.x86_64.zip
2019-10-03
jmxremote_optional.jara
2014-11-14
jmxtools jmxri-1.2.1.jar
2014-03-19
weibo-phpsdk-v2-2013-02-20.zip
2013-05-07
jmx-1_2_1-bin,jmxremote-1_0_1-bin,com.sun.jdmk.comm.HtmlAdaptorServer
2013-04-24
屏幕录像专家
2013-04-18
flex4.5.1.chm flex4API文档
2012-02-22
HTML+JS自动抽奖系统 适合每人手上有一个号连续的号
2011-12-08
ajaxguide Ajax 实用技巧完全指南
2011-03-24
fds.swc airfds.swc fds_rb.swc playerfds.swc
2010-06-12
blazeds.war
2010-06-12
mysql-connector-java-5.1.6
2010-04-13
javamail-1.4.3.zip
2010-02-05
birt 项目 配置
2010-01-22
我遇到一个奇怪的问题,php代码里面凡是含有//这样的注释,include 失败
2015-07-20
TA创建的收藏夹 TA关注的收藏夹
TA关注的人