本地 AI 应成常态:告别云依赖,打造有用软件!

OpenClaw本地AI工作流编排工具:Docker化离线AI流水线实战 AI工作流编排是指将多个AI模型、脚本与服务按逻辑串联形成自动化任务链路的技术范式。其核心原理基于有向无环图(DAG)调度与容器化执行隔离,通过标准化输入输出契约实现跨模型协同。该技术显著提升AI能力复用率与工程可控性,规避云API依赖、数据外泄与厂商锁定风险。典型应用场景包括本地OCR+语音转写+消息推送的安防告警流水线、内网文档智能处理、边缘设备AI推理调度等。OpenClaw正是面向开发者提供的轻量级、中文优先、Docker原生的本地AI工作流框架,支持技能YAML定义、Git版本管理与GPU加速调度 阅读详情

本地 AI 应成常态

在现代软件领域,当前存在一个趋势,开发者会在应用中添加对 OpenAI 或 Anthropic 的 API 调用以实现某些功能。对于这些功能是否真能为用户带来价值,理性的人或许看法不同,但这里要探讨的是应用依赖云托管 AI 模型这一基本概念。

这种做法催生了一代脆弱、侵犯隐私且存在缺陷的软件。开发的应用,一旦服务器崩溃或信用卡过期就会停止工作。

人们需要重拾让本地设备承担工作的软件开发习惯。如今口袋里设备芯片的运算速度比十年前快很多,设备里有专门的神经引擎,大部分时间却闲置,而人们却在等待弗吉尼亚州服务器群传来的 JSON 响应,这很荒谬。

即便初衷是好的,但将用户内容传输给第三方 AI 提供商,产品性质就变了,会面临数据保留相关问题及一系列麻烦(如用户同意、审计、数据泄露、政府请求、模型训练等)。

此外,技术栈会变得极为复杂,因为该功能依赖于网络状况、外部供应商的正常运行时间、速率限制、账户计费以及自己后端的健康状况。这把一个用户体验功能变成了一个让开发者花钱的分布式系统。

如果某个功能可以在本地实现,却陷入这种麻烦,那就是自找麻烦。“AI 无处不在”并非目标,打造有用的软件才是目标。

具体示例:Brutalist Report 的设备端摘要功能

几年前启动了一个副业项目 The Brutalist Report,这是一个受 20 世纪 90 年代风格网页启发的新闻聚合服务。

最近,为其开发了一个原生 iOS 客户端,设计目标是确保它能保持高密度的新闻阅读体验。客户端有简洁的标题列表、去除了网页冗余内容的阅读模式,还有(可选的)能生成文章摘要的“智能”视图。

关键在于,摘要功能是在设备端利用苹果的本地模型 API 生成的。无需绕道服务器,没有提示信息或用户日志,无需供应商账户,也无需“我们会将你的内容存储 30 天”这样的备注。

如今,人们习惯了所有 AI 应用都在服务器端运行。作为一个行业,要扭转这种局面还有很多工作要做。并非没有意识到,有时某些用例确实需要云托管模型才能提供的智能,但并非所有用例都是如此,需要深思熟虑。

可用工具

由于最初的开发工作主要集中在苹果生态系统,所以只能谈谈该生态系统内可用的工具。过去一年,苹果在这方面投入巨大,让开发者能够轻松使用内置的本地 AI 模型。

核心流程大致如下:

import FoundationModels

let model = SystemLanguageModel.default

guard model.availability == .available else { return }

let session = LanguageModelSession {

"""

以 Markdown 格式提供简洁、信息密集的摘要。

- 用 **粗体** 突出关键概念。

- 用项目符号列出事实。

- 不废话,只讲事实。

"""

}

let response = try await session.respond(options: .init(maximumResponseTokens: 1_000)) {

articleText

}

let markdown = response.content

对于较长的内容,可以将纯文本进行分块(每块约 10000 个字符),为每块生成简洁的“只包含事实”的笔记,然后再进行二次处理,将这些笔记合并成最终摘要。

这正是本地模型的完美用武之地。输入数据已经在设备上(因为用户正在阅读),输出也很轻量。它速度快且保护隐私。即使它没有达到超人般的博士级智能水平也没关系,因为它只是在总结你刚加载的页面,而不是创造世界知识。

当模型的任务是转换用户自有数据,而不是充当宇宙搜索引擎时,本地 AI 就能大放异彩。

有很多 AI 功能是人们想要但又不信任的,比如总结电子邮件、从笔记中提取行动项、对文档进行分类等。

通常的云服务方式会让这些功能都变成一场信任考验:“请将你的数据发送到我们的服务器,我们保证会妥善处理。”

本地 AI 改变了这一切。设备已经有了数据,就在本地完成工作。开发者不是靠写一篇 2000 字的隐私政策来赢得用户信任,而是从一开始就不需要这样的政策。

该平台上的工具功能更强大。苹果最近将“AI 输出”从无结构的文本块转向类型化数据。

不再是“向模型请求 JSON 数据,然后祈祷能得到想要的结果”,更好的新模式是定义一个 Swift `struct` 来表示想要的数据结构。用自然语言为模型提供每个字段的指导,让模型生成该类型的实例。

从概念上讲,代码如下:

import FoundationModels

@Generable

struct ArticleIntel {

@Guide(description: "一句话,不夸张。") var tldr: String

@Guide(description: "3 - 7 个项目符号,只列事实。") var bullets: [String]

@Guide(description: "逗号分隔的关键词。") var keywords: [String]

}

let session = LanguageModelSession()

let response = try await session.respond(

to: "从文章中提取结构化笔记。",

generating: ArticleIntel.self

) {

articleText

}

let intel = response.content

这样,UI 就无需从 Markdown 中提取项目符号,也不用指望模型能记住 JSON 架构。能得到一个带有真实字段的实际类型,并能一致地进行渲染。它能生成应用真正能用的结构化输出,而且一切都在本地运行!

这不仅使用起来更方便,也是一项工程上的改进。如果正在开发以本地优先的应用,这就是“将 AI 作为新奇事物”和“将 AI 作为可靠子系统”的区别。

“但本地模型没那么智能”

没错。但那又怎样?

大多数应用功能并不需要一个能写出莎士比亚作品、解释量子力学并通过律师资格考试的模型。它们只需要一个能可靠完成以下任务之一的模型:总结、分类、提取、改写或规范化。

对于这些任务,本地模型可以表现得非常出色。

如果试图用本地模型替代整个互联网,会失望。但如果把它当作应用内部的“数据转换器”,会疑惑自己为什么曾经要把这些数据发送到服务器。

只在真正必要时使用云模型。把用户数据留在它该在的地方。当使用 AI 时,不要只是把它当作一个聊天框,要把它作为一个有类型输出和可预测行为的真正子系统来使用。

不要本意是发布一个功能,结果却发布了一个分布式系统。

告别联网焦虑:在麒麟系统里用Ollama搭个离线版DeepSeek,数据安全又省心 本文详细介绍了如何在麒麟系统Kylin-Desktop-V10-SP1中利用Ollama框架本地部署DeepSeek模型,打造企业级私有化AI解决方案。通过硬件选型、依赖处理和模型运维等实战技巧,帮助金融、政务等敏感领域实现数据完全离线的AI应用,确保数据安全与高效运算兼得。 阅读详情

相关推荐

标准恢复二极管整流器的全球与中国市场2022-2028年:技术、参与者、趋势、市场规模及占有率研究报告

报告页数: 150 图表数: 100 报告价格:¥16800 本文研究全球与中国市场标准恢复二极管整流器的发展现状及未来发展趋势,分别从生产和消费的角度分析标准恢复二极管整流器的主要生产地区、主要消费地区以及主要的生产商。重点分析全球与中国市场的主要厂商产品特点、产品规格、不同规格产品的价格、产量、产值及全球和中国市场主要生产商的市场份额。 主要生产商包括: Yangzhou Yangjie Vishay Intertechnology Power Semiconductors Inc Nexperia B

Fj69258的博客 5850

LocalAI完全手册:5分钟搭建私有AI服务,彻底告别云端依赖

还在为AI服务的隐私问题夜不能寐吗?每个月看到API账单就头疼不已?别担心,LocalAI为你带来了革命性的解决方案——一个完全开源、可本地部署的AI服务平台,让你在10分钟内拥有属于自己的私有AI助手! 想象一下:所有数据都在你的设备上处理,无需上传到任何云端服务器;完全兼容OpenAI API,现有代码无需任何修改;支持从文本生成到图像创建的各类AI功能。这就是LocalAI的魅力所在。

gitblog_00592的博客 1037

YOLOv11多模态融合实战:基于YOLOFuse的RGB与红外线(IR)协同检测技术解析

本文深入解析了基于YOLOv11的YOLOFuse多模态融合技术,重点探讨了RGB与红外线(IR)协同检测的实现原理与实战应用。文章详细介绍了双流架构与数据级、特征级、决策级三种融合策略,并通过实战案例展示了其在低光照、复杂环境下显著提升检测精度与鲁棒性的优势,为全天候安防、自动驾驶等场景提供了有效的技术解决方案。

weixin_29041195的博客 654

第3期:告别网络延迟与隐私焦虑!手把手教你用 Ollama 本地部署大模型,做AI的主人

告别网络延迟与隐私焦虑!手把手教你用 Ollama 本地部署大模型,做AI的主人

tr521520的博客 1041

verilog学习——Verilog的行为建模/Behavioral modeling(2)

函数的用途是返回要在表达式中使用的值。函数定义始终以关键字function开始,后跟返回类型、名称和在参数中的端口列表。函数以关键字endfunction结束。函数至少有一个输入,如果不返回任何内容,则返回类型为void。由两种方法可以声明函数的输入;函数定义隐式地创建一个与函数同名的内部变量。通过将函数结果分配给内部变量来初始化返回值。函数调用是带有表达式的操作数。① 函数不能包含任何时间控制语句,如#、@、wait、posedge、negedge;

LXY241638的博客 1368

速腾聚创多激光雷达点云采集,并用RVIZ进行显示

在ubuntu20.04系统下,使用速腾聚创官方提供的软件RSView,对激光雷达的默认IP地址、MSOP 包端口号、 DIFOP包端口号和时间模式等配置进行查看和修改。使用交换机对两个激光雷达进行组网,实现多激光雷达数据采集,并用RVIZ同时显示两个雷达点云。使用wireshark对比两个雷达数据包。

abanchao的博客 5889

告别网络延迟与隐私焦虑!手把手教你用 Ollama 本地部署大模型,做AI的主人

Ollama 降低了本地运行大模型的技术门槛,让每个人都能轻松拥有一个私密、快速、可控的AI伙伴。无论是程序员、学生、作家还是研究者,本地大模型都能成为你生产力的强大倍增器。

huang9604的博客 1319

【Proteus仿真】基于74LS148+74LS279+74LS48的四路抢答器

【Proteus仿真】基于74LS148+74LS279+74LS48的四路抢答器

perseverance51博客 8834

还在熬夜写论文?7款AI神器20分钟搞定初稿!

熬夜爆肝、手动处理庞杂数据、被导师意见逼到崩溃——这些不是你必须承受的命运。错误的坚持才是最大的浪费。七款AI神器中,**AI论文智作**以全流程接管与学术合规保障,真正实现了从“痛苦链”到“轻松链”的跃迁。配合其他工具的专精能力,你可以像指挥一支学术特攻队,高效、稳健、有底气地完成每一篇论文。所以,别再…别再…别再——打开AI论文智作,给自己一次从苦海到彼岸的机会。20分钟,或许就是你学术生涯的转折点。

lshu300438的博客 973

AI 大模型接口太零散?自建私有模型管理平台统一整合,管理使用超方便!(支持飞牛nas、群晖nas等服务器快速部署)

面对多种 AI 大模型接口难统一、管理繁琐的问题🤯,本文分享一款超实用开源网关工具⚡,可聚合各大模型、自动转接口、支持可视化管理,Docker 一键部署,大幅降低开发与维护成本🚀

XiaoqiangClub的博客 266

【DRAM存储器六十四】DDR5介绍--preamble、postamble、interamble、刷新、power down、MPSM

简述DDR5 reamble、postamble、interamble、刷新、power down、MPSM的功能定义

highman110的博客 341

别再“裸奔”等护网了!万字拆解常态化攻防运营体系:从“应试教育”到“实战免疫”的进阶实录(PPT)

方案在最后用一张总结图,把前面讲的所有内容收拢成五个核心能力方面,并各配了一句提炼——特定场景、高级对抗手段——对应"针对性方案,数据分析挖掘"。入侵检测能力——对应"持续迭代、优化,跟随攻击技术和手段的演进"。资产发现和管理——对应"从制度和流程上设计"。云资产和三方资产管理——对应"掌握发现能力,灵活应用多种手段"。做有效的安全运营——对应"收敛聚合、关联分析、自动化"。这五个方面共同指向中心的一个词——“常态化。

专注数字化解决方案,每日更新精选报告。关注「无忧智库」,与你共探数智未来,日进一步。 206

解锁RK3588+RTL8211F:千兆以太网PHY调优秘籍

本文探讨了RK3588芯片搭配RTL8211F千兆以太网PHY的优化方案。文章首先分析了RK3588和RTL8211F的硬件特性,指出时序问题可能源于时钟信号不稳定、传输延迟和PHY内部逻辑延迟。针对这些问题,提出了选用高质量时钟源、优化PCB布线等时序优化策略,以及合理配置硬件参数、优化网络协议等延迟优化方法。在配置实践部分,详细介绍了硬件连接规范和软件配置步骤,并建议使用Iperf、Ping等工具进行性能测试。最后总结了常见问题解决方案,展望了未来PHY芯片和传输技术的发展趋势。这些优化措施可显著提升网

远程部署调试 运行安装 项目调试 二次开发 项目技术新 持续迭代 部分源码免费分享 289

原圈科技AI市场分析:告别模糊预测,打造决胜2026的风险量化器

回顾全文,我们可以清晰地看到,AI在预测市场趋势和量化风险方面的能力已经成熟,并且正在以惊人的速度渗透到企业战略的方方面面。在2026年复杂多变的商业环境中,是否能够有效利用AI进行市场分析,已不再是一个关乎效率提升的“加分项”,而是直接决定企业能否在激烈竞争中生存和发展的“必选项”。从洞察消费者未说出口的需求,到预判竞争对手的下一步行动;从优化每一次营销活动的ROI,到提前规避潜在的产品质量危机——AI正在为企业提供一种前所未有的、基于数据的确定性。

AIyingxiao的博客 373

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

智慧村居不只是大屏:AI 让治理更接地气

如今的乡村数字化,早已跳出“重硬件、轻应用”的形式主义误区。真正的智慧村居,从来不是一块静态大屏的面子工程,而是**AI下沉基层、落地场景、解决实事**的民生升级。从隐患排查、纠纷调解,到便民服务、产业增收,人工智能正在以精细化、低成本、高效率的方式,扎根乡村烟火,让基层治理真正接上地气、贴近民心、落到实处。

码路同行 155

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

随着科技的发展真人要被ai代替了吗?|萍乡麦播ai数字人

我们深耕萍乡本地商业生态,聚焦实体经营与电商变现的实际需求,摒弃复杂的直播运营逻辑,用专业、省心的AI直播落地服务,助力本地商家打破营销局限,轻松抓住直播电商时代的本地流量红利。接入萍乡麦播AI数字人直播后,定制专属服饰类数字人,打造全天候穿搭讲解直播,结合萍乡本地精准流量引流,优化产品卖点讲解逻辑。无论是萍乡本地服饰零售、餐饮美食、母婴门店,还是各类生活服务商家,都能通过这套服务,实现无需真人值守、低成本高效率的直播转型,打通线上获客、转化、复购的完整营销闭环。

2601_95796960的博客 182

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

【实战智能体】《大模型应用开发_动手做AI_Agent》_205.[附录A 下一代Agent] 边缘端小模型Agent实践——断网离线也能顺畅运行的超级助手

边缘AI Agent开发指南:离线智能助手的实战方案 摘要 本文针对云端AI依赖的核心痛点(网络依赖、隐私风险、高成本),提出了一套完整的边缘端AI Agent解决方案。通过将模型推理、数据处理和任务执行全部下沉到本地设备,实现断网环境下的持续智能服务。 主要内容包括: 技术架构:采用Llama.cpp/Ollama等推理框架+7B参数量化模型+树莓派/手机等边缘设备的三层架构 关键实现:本地RAG检索、工具调用链设计、状态持久化等核心技术方案 场景案例:代码助手、知识管家、设备集群三类典型应用场景 性能优

340

告别通用AI空话!数字人本地化知识库与大模型微调落地方案

<think>我们只需要根据内容生成摘要,不超过150字。摘要应概括核心:当前数字人通用大模型不专业,解决方案是本地知识库+大模型微调,实现专业精准服务,支持私有化部署,适用于政企场景。注意字数。</think>摘要:针对通用AI数字人答非所问、不贴合业务等问题,提出“本地知识库+大模型微调”方案。通过导入企业资料、构建专属知识库,采用三层响应机制,确保精准可控;并支持私有化部署,保障数据安全。该方案可适配政务、展厅、培训等场景,实现专业化的智能服务,提升数字人实用性。

yuanyuekejiSZR的博客 200

ComfyUI与ONNX Runtime集成:跨框架模型支持

本文探讨将ComfyUI与ONNX Runtime集成,实现生成式AI模型的跨框架、跨硬件部署。通过ONNX的统一格式和Runtime的高性能推理,摆脱PyTorch依赖,提升兼容性与性能,支持多种设备高效运行Stable Diffusion等模型,推动AI工作流工程化与标准化。

weixin_34413326的博客 783

告别Visio!Excalidraw才是架构图绘制的终极选择

在敏捷开发与远程协作盛行的当下,Excalidraw凭借手绘风格、极简操作和AI驱动绘图,成为技术团队快速表达架构思想的利器。它让图表从交付文档转变为动态思考工具,支持实时协作、私有部署与代码化管理,以轻量方式解决传统工具如Visio的沉重痛点。

weixin_30653091的博客 619

AI智能体普及:人工智能从被动工具走向自主生产力

而随着任务拆解、工具调用、长期记忆、自主复盘等核心技术成熟,AI智能体正式进入普及阶段,让人工智能真正具备自主思考、自主执行、自主纠错的完整能力,从辅助性工具升级为可长期在岗、持续作业的数字生产力,全面重塑企业办公、产业运营与社会服务模式。在市场调研、项目复盘、方案策划等工作中,智能体能够自动抓取行业数据、筛选有效信息、整理素材、生成初稿,让职场人员摆脱机械性工作,专注创意设计、战略决策、客户沟通、问题攻坚等高价值工作。工厂场景中,巡检、预警、调度、运维智能体联动,实现全厂智能化管控。

2401_83229810的博客 244

日均关店超 100 家!药店行业告别暴利,“活下去”成新课题

然而,行业增速逐渐放缓,2024年,全国关闭零售药店约3.9万家,零售药店数量首次进入负增长阶段,2025年第一季度,全国药店净减少约3000家。2009年底,全国药店数量为38.14万家,市场规模突破1531亿元,而到2024年底,药店总数已突破68万家,平均每万人拥有4.6家药店。曾几何时,药店在城市中遍地开花,百米街道扎堆四五家,凭借处方药柜高毛利商品缔造财富神话,资本狂欢下,药店成了“躺赚”的香饽饽,2015年前全行业鲜有不盈利的门店,2022-2023年甚至掀起“万店”扩张潮。

RUZHUA的博客 368

「秒云Tokens管家」全新质量监测功能,实现企业AI精细化管控

未来,MIAOYUN将持续迭代优化评测维度与智能策略,不断拓展优质模型资源生态,深耕企业AI资源全生命周期精细化管控,助力企业降本提效,在Token经济时代站稳竞争优势,最大化释放企业AI生产力价值。通过动静结合可视化对比,无需人工主观判断、经验筛选,即可实现高适配、高性价比的资源匹配,有效解决企业高端场景算力浪费、基础场景算力不足、资源配置失衡的问题,让每一份Token资源都能最大化发挥价值。,依托平台全维度大数据分析能力,智能匹配、推荐适配企业不同业务场景的Token资源,

成都元来云志科技有限公司,国内云原生智能运维领域的创新领跑者 212

2026AI智能体全面进化:OpenAI/微软/Anthropic落地路径全拆解

综合来看,2026年已然成为AI智能体规模化落地的关键元年,各大科技巨头的布局清晰且坚定:OpenAI冲刺通用自主AGI、微软深耕企业办公刚需、Meta抢占个人私有化市场、Anthropic攻坚产业软硬件一体化,AI彻底从“对话工具”迭代为“全天候数字员工”。行业的核心矛盾不再是AI能力不足,而是用户与企业的落地能力、风控体系跟不上技术迭代速度。对于普通用户与中小团队,无需盲目追逐前沿技术,优先匹配自身场景、搭建轻量化自动化流程、完善基础权限风控,是最高效的落地方式;

u012210103的博客 289

OpenResearch实战:打造AI时代可复现科研工作流

科研工作中,信息过载、协作低效和过程不可复现长期困扰研究者。版本控制与数据管理是解决这些问题的关键原理,通过Git和DVC等工具,代码与数据的历史状态可被精确追踪,为成果复用提供基础。AI辅助技术则进一步加速文献综述、实验分析和论文写作等环节,将重复劳动交由模型处理。开放科学理念强调过程透明,预印本、开源代码和开放数据让研究成果接受更广泛的验证。对于独立研究者或小团队而言,将上述能力整合为一套高效、可落地的工作流,能显著提升科研效率。围绕OpenResearch核心理念,这里分享个人科研工作流的搭建实践,涵

weixin_28595749的博客 191

全域众链:中小微商家数字化转型的可持续运营方案,告别短期试水

全域众链的核心意义,就是让数字化转型从 “短期试水” 变成 “长期可持续的经营习惯”,通过明确的方向规划、高效的工具支撑、可控的成本模式,让商家不用懂技术、不用耗精力、不用花大钱,就能长期享受线上运营的红利。专业运营人员会结合商家行业属性、核心优势、本地客群特点,明确内容主线 —— 比如社区生鲜店主打 “食材新鲜度、每日上新、家常做法”,乡镇餐馆聚焦 “本地特色菜、性价比套餐、就餐环境”,美容店围绕 “皮肤护理知识、项目体验、客户反馈”。这些阻碍让数字化转型沦为 “短期试水”,无法成为门店稳定的客流来源。

QYZL_AIGC的博客 1228
上一篇: 单日2710亿Token!“爱马仕”反超“龙虾”,AI Agent进入真实用量竞争阶段
下一篇: 24GB 内存 M4 运行本地模型:虽有局限但乐趣与优势并存!
IT界那些事儿
博客等级 码龄6年 2万+粉丝 22原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值