端侧RAG

原创 已于 2025-09-28 16:13:28 修改 · 136 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java

于 2025-09-28 15:09:31 首次发布

1.下载语音模型

https://huggingface.co/litert-community/Gemma3-1B-IT

2.下载嵌入模型

https://huggingface.co/litert-community/Gecko-110m-en

3.推送模型配置模型路径：

4.预设知识：

用户提供的数据

应用中用户提供的数据是一个名为 sample_context.txt 的文本文件，存储在 assets 目录中。该应用会获取文本文件的各个块，创建这些块的嵌入，并在生成输出文本时参考这些嵌入。

5.编译应用并安装

https://github.com/google-ai-edge/ai-edge-apis/tree/main/examples/rag

6.提问:

7. 增加记忆

iffy1
关注
一文搞定离线环境下的RAG引擎部署
木鱼时刻的专栏
06-12 1076
在人工智能浪潮下，技术已成为构建智能问答、文档分析和代码助手等应用的核心。然而，在许多企业场景中，出于数据安全和性能的考虑，服务器往往部署在中，并要求极致的推理效率。这给依赖外部资源的应用部署带来了巨大挑战。如何在这种严苛的环境下，完整、可靠地部署一套包含向量数据库、**高性能推理服务（vLLM）**和Python后台的复杂RAG系统呢？本文将为你提供一个，手把手教你如何使用 Docker 技术，将一套基于 Weaviate 和的 Python RAG 应用完整打包，并在离线环境中一键部署。
终端侧生成式AI时代已经来临｜中国AIGC产业峰会
2401_84587944的博客
04-24 1221
2015年及更早之前，AI主要用于一些比较简单的图像识别、图像分类用例，所以我们给NPU配置了标量和向量加速器。2016—2022年间，计算摄影概念开始流行，我们把研究方向从图像分类转移到了AI计算摄影及视频等等，包括对自然语言理解和处理的支持，以及对Transformer模型的支持，我们给NPU硬件在标量和向量加速器的基础之上，增加了张量加速器。2023年，大模型热度很高，我们在业内率先完成了端侧的大模型支持，给NPU配置了专门的Transformer加速模块。
构建前端侧轻量 RAG 问答系统实战
zimin的专栏
06-27 1394
随着人工智能（AI）技术的快速发展，前端开发正在从传统的用户界面（UI）设计转向智能化应用的构建。检索增强生成（RAG）是一种结合向量检索和大型语言模型（LLM）的技术，通过从知识库中检索相关信息并生成准确的回答，为智能问答系统提供了强大支持。例如，用户可以上传一个 PDF 文档并提问“文档的主要内容是什么？”，RAG 系统会检索文档的相关部分并生成简洁的回答。这种能力在教育、法律、医疗等领域具有广泛应用，如 Notion AI 的知识库搜索或 ChatPDF 的文档问答功能。
使用Android Studio部署手机端离线RAG，手把手教你手机也能实现RAG+Deepseek
ffflesleo的博客
04-03 1374
1.准备可以用于手机端侧部署的deepseek模型文件，一般是gguf格式或者tflite格式的；2.准备嵌入模型和分词模型，一般是gguf格式或者tflite格式的；3.编写模型加载和模型推理的代码，用Java或者kotlin语言，简单写个聊天框即可，重点在于写怎么跟模型交互的代码；4.编写文本嵌入的代码，怎么进行文本分块，怎么进行嵌入模型的加载，怎么进行存储；5.用Android Studio 运行编译成可以在手段端侧运行的apk。
RAG 2.0架构详解：构建端到端检索增强生成系统
2401_82469710的博客
07-03 637
关于检索增强生成（RAG）的文章已经有很多了，如果我们能创建出可训练的检索器，或者说整个RAG可以像微调大型语言模型（LLM）那样定制化的话，那肯定能够获得更好的结果。但是当前RAG的问题在于各个子模块之间并没有完全协调，就像一个缝合怪一样，虽然能够工作但各部分并不和谐，所以我们这里介绍RAG 2.0的概念来解决这个问题。
安卓板RAG智能体构建系列：1.adb使用
brain1234的博客
11-19 599
打开cmd说明连接成功。
面壁小钢炮3.0发布：端侧ChatGPT时代的技术飞跃
imok1234567的博客
09-05 2403
面壁小钢炮3.0的发布标志着端侧AI技术的显著进步。新一代模型不仅在参数规模和处理能力上全面超越了前两代，还引入了超长上下文长度和Function Calling等先进功能。这些改进使得小钢炮3.0在处理复杂任务和智能交互方面表现卓越。
Google AI Edge RAG：高大上的 RAG Android 端上也能实现！
张拭心的博客 shixinzhang
06-21 1196
谷歌推出的AI Edge RAG SDK为Android开发者带来了检索增强生成(RAG)技术，通过将知识库文本向量化存储并动态检索，解决了大语言模型在特定领域知识不足的问题。该SDK提供四大核心API：文本嵌入转换(Embedder)、向量存储(VectorStore)、语义检索(SemanticMemory)和语言模型接口(LanguageModel)，支持端上实现企业知识库、智能客服等场景。官方demo展示了如何让模型读取本地文本文件中的个人信息并准确回答相关问题，开发者只需下载Gemma和Gecko
端侧大模型系列 | 斯坦福手机端侧Agent大模型，为Android API而生！
ljp1919的专栏
09-16 3095
语言模型在自动工作流中的有效性得到了验证，尤其是在函数调用方面。尽管大规模语言模型在云环境中表现优异，但隐私和成本问题仍令人担忧。当前端侧模型在延迟和准确性上面临挑战，研究人员提出了名为Octopus的模型，其2B参数版本在准确性和延迟上超越了GPT-4，并将上下文长度减少了95%。与Llama-7B相比，Octopus的延迟提高了35倍，适合在各种边缘设备上部署。论文地址：模型下载地址：大型语言模型在函数调用方面的能力显著促进了AI Agent的发展，如MultiOn、Adept AI等已进入市场。
On-Device Mini-RAG：基于 NLEmbedding 的 Swift 端侧语义检索示例
09-30
结合了当前热门方向——RAG（检索增强生成）/ 语义检索、端侧隐私计算、轻量向量索引——用苹果自带的 NaturalLanguage.NLEmbedding 在设备上做语义检索（可看作一个迷你 RAG 的“R”与“索引”部分），无需联网、...
Java 泛型详解：类型参数的力量
ZHE|张恒的博客
11-28 1186
本文系统讲解了Java泛型的概念与使用方式。泛型通过在类或方法中引入类型参数，提高了代码的类型安全性和复用性。主要内容包括：1）泛型的基本语法，如定义泛型类和接口；2）泛型方法及其类型推断；3）三种通配符（?、? extends T、? super T）的使用场景；4）边界限制和多重限制；5）泛型的优缺点，如类型安全与类型擦除的影响；6）常见陷阱，如静态上下文和instanceof的限制。泛型是现代Java编程的重要特性，能显著减少类型转换和运行时错误。
TensorRT笔记（5）：研究timingCache
ouliten的博客
12-02 817
在里出现了大量的timingCache，但是当时没有取研究这是干啥的，本文就来解析一下。样例都基于上面的文章。
基于Springboot2+Vue2的旅游景点购票系统
自学网站s.jf3q.com,菜鸟的成长之路
12-02 600
本系统是一个集旅游景点信息展示、在线购票、用户游记分享与互动交流于一体的综合性平台。核心价值在于提供便捷的景点门票预订服务，同时构建活跃的旅游社区，促进用户间的经验分享。
Plugin ‘org.springframework.bootspring-boot-maven-plugin‘ not found的解决方法
2509_94105214的博客
11-30 228
尝试使用 VPN 或更换网络环境，然后再次执行 Maven 构建命令。出现这个报错通常是因为 Maven 无法找到相应的 Spring Boot Maven 插件。如果仍然有问题，请提供更多详细信息，例如完整的错误堆栈跟踪和你的 Maven 配置，以便我更好地帮助你解决问题。如果没有，可以将相应的配置添加到父项目的。执行 Maven 的清理命令，然后重新构建项目。这将清除所有已编译的类文件和错误的依赖缓存，并重新下载正确的依赖。如果你的项目是基于父项目的，检查父项目的。
Java 缓冲区优化
qq_43427354的博客
12-02 463
在 Java 中，缓冲区（Buffer） 是一块用于临时存储数据的内存区域，核心作用是协调数据生产者和消费者的速度差异，减少频繁 I/O 操作或数据拷贝的开销，提升程序性能。它本质是 “数据中转站”，避免了直接对原始数据源（如文件、网络流、数组）的频繁读写，通过 “批量处理” 优化效率。
蓝桥杯20534爆破 java
最新发布
2302_80219214的博客
12-02 775
我们可以用Prim 算法，该算法的核心是从一个起点开始，逐步将距离当前连通集合最近的节点加入集合，最终形成最小生成树。
07_Spring AI 干货笔记之提示词
在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。 在腾飞开源的博客上，你会看到紧跟技术前
11-30 1742
本文详细介绍了Spring AI中的提示词核心概念与API设计。提示词作为引导AI模型生成特定输出的关键输入，其结构从简单字符串演进为包含多角色消息的复杂形式。Spring AI通过Prompt和Message接口提供结构化提示词管理，支持系统、用户、助手等角色分配。PromptTemplate类实现动态内容渲染，并支持自定义模板引擎。文章还涵盖提示词工程的最佳实践与令牌机制，为开发者提供完整的提示词设计解决方案。
医院随访管理系统源码 患者随访管理系统源码 智能随访系统源码 出院随访系统源码，基于Java+Vue前后端分离架构
爱笑的源码博客
11-29 413
摘要：医院随访管理系统是一款基于Java+Vue前后端分离架构开发的智能平台，集成了患者信息管理、随访计划设定、自动提醒等功能。系统支持个性化随访计划制定（按病种/药品/患者分类）、内置丰富的随访知识库和问卷模板，提供本地电话接入和录音功能。通过自动推送提醒、多形式随访记录、审核管理和数据分析等功能，有效提升诊后随访效率和质量，为临床治疗优化和药品疗效评估提供数据支持。系统采用Springboot+MySQL技术栈，实现医院随访工作的规范化、智能化管理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值