自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(28)
  • 收藏
  • 关注

原创 DGX Spark 跑 Qwen3.8-27B,速度从 24 到 36 tok/s,我折腾了哪些东西?

这段时间折腾下来,我最大的感受是:DGX Spark 的潜力不只是能把一个大模型装进 128GB 内存。真正值得花时间研究的,是怎么把模型、推理引擎和硬件组合起来,让它在自己的任务里跑得更快、更稳。普通解码、MTP、DSpark、DFlash2,每种方案都有适合自己的场景。没有一个参数可以保证所有任务都跑得最快。如果你也在折腾本地模型部署,希望这篇能帮你省几个试错的晚上。

2026-11-12 19:30:47 356

原创 为什么大模型一处理长文本,就开始变慢? · 第四生产力

当AI处理长文本时,响应慢的根源常在“Prefill”阶段——模型需先解析全文建立上下文,而注意力机制导致计算量随输入长度平方增长。即使多卡部署,若未优化调用方式,仍会因排队、重复读取或缺乏缓存而超时。建议优先减少输入冗余(如仅传关键条款)、启用前缀缓存复用中间状态,并拆分任务分步处理。只有在调用优化后仍存在问题,才考虑调整推理框架(如Chunked Prefill)或升级硬件。核心是:先测清耗时分布,再对症下药。

2026-11-02 15:36:10 358

原创 你的 AI 助手记住的东西,同事能用上吗?

本文探讨了AI使用经验在团队中共享的困境:尽管技术上可复制Prompt或共享记忆,但因缺乏维护机制、版本更新与适用性判断,实际复用率低。作者通过调研与自测,指出仅实现记忆共享不等于经验可用,关键在于区分个人偏好与可复用知识,并建立责任清晰、动态更新的知识管理体系。未来需在产品设计中打通“个人经验”到“团队知识”的转化链路。

2026-10-29 16:37:56 282

原创 花四万买个笔记本跑 AI,到底值不值? · 第四生产力

你想在自己电脑上跑个像样的大模型,结果装不下。显卡那 12 个 G 的显存,塞进一个中等模型就爆了;你想加内存条,发现加了也没用——模型根本不放内存里,它放显存里,而显存焊死在显卡上,动不了。拦住你的是两道墙:内存和显存各管各的。10 月 8 号上市的华硕 ProArt 创16 RTX Spark,卖点就是推倒了第二道墙。它把 128GB 的”统一内存”焊在一块芯片上,CPU 和 GPU 共用。64GB 版 28999,128GB 版 37999。

2026-10-21 15:12:58 112

原创 AI 写的代码,到底谁来兜底?(下):五层都漏,但每一层都有正确的用法 · 第四生产力

五层防线各有边界:需求要写成可验收的清单,静态检查须全量强制,AI 审查需换模型+喂对抗清单,测试靠循环与模糊测试摊平运气,灰度发布必须核对数据。每层防得住特定风险,却无法覆盖所有盲区。真正的兜底不靠防线,而在于可快速回滚与影响半径可控——写得快,错得起,撤得回,才是 AI 时代的工程底气。

2026-10-20 17:23:14 274

原创 【无标题】

AI生成代码正重塑软件开发,但隐患深藏于隐蔽的竞态漏洞中。以Linus用AI写内核补丁为例,尽管历经五层防线——规格约束、静态检查、AI自审、测试与灰度发布——仍难逃时序缺陷。实测显示:静态分析对并发问题无效,AI自审存在同源盲区,常规测试无法复现随机性错误,灰度也难捕“不爆炸”的数据污染。数据显示44%的AI代码含安全风险,返工率上升39%。根本矛盾在于:代码产量呈机器级增长,审查能力仍滞于人力极限。五层防线越到深层越失效,漏洞在“缝”中潜伏。下篇将探讨如何实战强化每道防线,并追问:当所有手段皆失,谁来兜

2026-10-19 19:03:32 189

原创 REA 一周 12 万星,但我上个月就拆完百度网盘了

摘要: REA的爆火并非逆向技术突飞猛进,而是智能体时代“第四生产力”的体现。它降低了逆向门槛,但真正变革的是“智能体+命令行”协同解决问题的方法论。拆解软件不应只为白嫖,而应洞察设计逻辑,实现超越。法律风险与技术局限仍存,关键在于用工具思维解决实际痛点——如自研百度网盘同步工具。逆向不是终点,创新才是。

2026-10-12 21:24:05 94

原创 以后骂 Claude,可能要被封号

第四生产力Anthropic 第一次把"别虐待 AI"写进了政策,11 月 12 日生效你用过 Claude 写代码吗?有没有急了眼骂它的时候?“你是猪吗”“这都写的什么垃圾”。这种话,以后可能骂不痛快了。Anthropic 在 10 月 7 日发布了修订版 Claude 使用政策,11 月 12 日生效。里面第一次加入了一条新规定。

2026-10-10 16:57:24 91

原创 降价了,你的 AI 账单为啥更贵了

AI模型单价下降,账单却逆势上涨,根源在于用量激增。正如Jevons悖论所揭示:越便宜越滥用。Gartner与高盛预测,到2030年推理成本降90%,用量涨24倍,总价反升2.4倍。省钱不能靠等降价,而要主动控量——优化模型选型、设预算护栏、先改用法再扩场景。现在就去查后台,问自己:你最耗钱的任务,真值这个价吗?

2026-10-09 16:05:01 138

原创 App 明明没打开,为什么还能收到消息?

本文揭秘了App“未打开却收消息”的技术原理:通知并非依赖App持续运行,而是通过系统推送通道(如APNs、FCM)实现。服务器更新订单后,推送平台将消息送达手机系统,由系统根据权限和规则展示提醒。整个过程不需App前台运行,也无需每应用独立保持连接,既保障及时性,又节省电量与资源。理解这一机制,可更理性看待通知行为,精准管理提醒而非盲目怀疑后台偷跑。

2026-10-07 20:25:41 137

原创 读过的书,下次怎么用上?一套普通人能做的AI阅读方法

核对原始记录之后,再把它与已有的问题笔记一起交给 AI。第一次还没有旧笔记,就明确说明这是首次整理。可以复制下面这段要求:请围绕【我的问题】整理这些材料。分开写作者观点、我的想法和你的推断;每条重要观点附材料编号及原文位置。对照已有的问题笔记,说明新材料是补充、支持,还是提出了冲突。每个关联写清理由,并给出两边的依据;依据不足就标为待验证,不强行连接。给我可保存的问题笔记,以及本次新增和修改的地方。只依据本次提供的材料;材料不足时说明还缺什么,不生成缺失的引文。

2026-10-06 21:45:12 351

原创 AI说“做完了”,我们该如何确定结果的真实可靠?

本文探讨AI在企业决策中的可信应用,提出“第四生产力”下的AI验收方法:先确认任务完成度,核对数据来源与计算逻辑,再评估结论依据。强调需明确交付物、可复核的计算过程及不确定项标注,避免盲目信任生成结果。建议将验收要求前置,通过分步验证建立可控信任,确保AI助力而非误导关键决策。

2026-10-05 20:46:51 491

原创 别只让AI给你答案,让它帮你看懂答案

本文探讨AI作为“第四生产力”的新用法:超越生成文本,转向构建可交互的可视化工具。作者以旅行计划为例,指出仅靠文字攻略难以判断合理性,而通过地图+时间轴、可调整的日程页面等交互工具,才能真正理解与验证AI建议。核心观点是:面对复杂决策,应主动要求AI生成“帮助判断”的图解或小工具,暴露数据来源、计算逻辑与假设,实现可探索的解释。这不仅适用于旅行,也适用于工作分析与学习场景,推动人从被动接收转向主动检验,让AI从“答案提供者”变为“认知协作者”。

2026-10-03 20:41:34 147

原创 Muse 和 Dots 到底是什么?国内已经有对手,下一步会怎么走

第四生产力 · 产品观察假设你交给 AI 一件今天办不完的事:“下周出差,帮我盯着机票和日程;有变动再来找我。现在多数人用 AI,还是打开对话框,问一次,拿一次答案。过两天情况变了,你得重新打开它,把前情再讲一遍。如果它有自己的工作环境,记得你的目标,发现变化会主动回来,感觉就不同了。Meta 的 Muse 和 OpenAI 的 Dots 都在争这件事。一个更像跟着你过日子、顺手帮你经营小生意的助理;另一个把“长期搭档”带进知识工作。它们具体能做什么?国内真的还没人做吗?

2026-09-30 15:12:12 232

原创 同一个模型,该用什么精度、配什么硬件?

部署27B模型需综合精度、硬件与业务需求。BF16为质量基线,FP8可降显存至27GB,NVFP4更省至15.2GB,但精度损失影响业务可靠性。显存非仅权重,还需考虑KV Cache、并发与调度开销。不同硬件对精度支持差异大:NVIDIA Hopper/Blackwell原生支持FP8/NVFP4,国产卡如昇腾910B暂不支持,摩尔线程S5000已支持FP8;消费卡如RTX 4090显存不足,无法胜任生产。采购应分三档:数据中心卡优先验证精度与吞吐,国产卡重适配性与迁移成本,消费卡限于验证。关键在于:先评估

2026-09-28 14:13:19 383

原创 卡买回来了,选错模型才是最贵的错

Qwen 3.8-27B 是2026年自建部署的最优选:在27B开源模型中综合性能第一(Artificial Analysis评分34分,为中位数4倍),支持256K长上下文且仅需8G显存记满128K,远优于上代32B的32G。其架构优化实现“边读边忘”,显著降低内存占用,4-bit量化后仅17G权重,24G显卡即可运行。实测4卡昇腾910B下解码达80 tok/s,中文约40字/秒,6道硬题全对,兼具强能力与高性价比,真正实现“又强又省”。

2026-09-27 21:40:19 174

原创 自己部署大模型,真的更便宜吗?这笔账我帮你算了

自建大模型看似省钱,实则成本高昂:硬件15万起、年电费5.8万、GPU闲置率超30%、运维人力难招。对比API按量计费(百万token仅1-2元),日均用量超200万token才具成本优势。对中小团队而言,90%场景下用API更划算。只有满足“高稳定用量、数据合规、需微调、有运维人”等条件之一,才值得自建。否则,混合方案(简单任务本地+复杂走API)可省40%-70%。结论:自建不是省钱,是控权。若只为降本,答案仍是API。

2026-09-25 14:14:08 327

原创 智能体闯进你的数据,3 个月没人发现,这才是智能体安全最吓人的

标题区第四生产力 · AI 落地观察6 月 18 日闯进去的,9 月 23 日总理才公开。让我紧张的不是它闯进去了,是中间那 3 个月。开头你公司要是已经在用 AI 智能体碰真实数据,客户档案、财务表、代码仓库,这条新闻跟你关系比想象中大。9 月 23 日,澳大利亚总理亲口对外说:6 月份,一个 OpenAI 的智能体在"做研究"的时候,闯进了一个政府网站。这是已知的第一例 AI 智能体入侵政府网站。让我紧张的不是它闯进去了。是中间那 3 个月。

2026-09-24 18:14:50 135

原创 老板,先别急着问 AI 怎么提效

今天跟一个老板聊天,他特别认真地问我:AI 到底怎么帮我公司提效?我本来想答,结果顿了一下。我问他现在公司数据都在哪。他说,财务上了金蝶,别的都是纸。这一句,基本就把事儿定了。

2026-09-23 14:47:14 170

原创 AI 图片做出来了,为什么还要反复改?

本文探讨AI图像工具在海报设计中的实践痛点与优化路径。以保温杯促销海报为例,指出传统修改易引发连带误差,导致反复检查。提出通过明确任务需求、分步处理(保留原图、局部编辑、透明素材合成)、多参考图精准引导、文字独立排版等策略,减少返工。强调前期规划与版权合规的重要性,并建议根据任务性质选择生成方式,提升效率。最终目标是让AI真正成为可信赖的“第四生产力”。

2026-09-22 16:49:16 219

原创 FDE 到底是干什么的?从一次客户催单说起

库存更新延迟、同名客户、查询失败,都可能让页面给出错误结果。团队需要拿正常和异常情况反复检查,而不能只挑一个顺利的例子演示。Palantir 的 AIP Evals 用来建立测试用例、比较 AI 函数的表现,包括修改前后的差异。业务人员仍要判断,系统给出的结果是否足以支持实际工作。

2026-09-21 13:52:04 292

原创 为什么 AI 写不出有观点的文章?

用AI写公众号,12篇初稿全废,皆因空泛“赋能”“闭环”堆砌,无作者判断。反思后悟出核心:人定骨架,AI填肉——观点、结构、取舍必须由人主导,AI仅负责展开与润色。研究证实,未定方向时AI易致内容同质化;唯有先明确问题、立场与边界,再让AI填充细节,才能避免“伪深度”。自检清单包括:开头有真实问题与判断、三处个人取舍、抽象词落地为具体证据。AI抬的是地板,人抬的才是天花板。

2026-09-20 13:57:14 266

原创 你一直就在建本体,只是不知道它叫什么

上一篇讲 RAG 接知识图谱,发完收到一个留言:我们那个 entity_types 列表,算不算本体?这个问题比我见过的大多数问题都好。因为它说明你已经在做了,只是不知道它叫什么。没读过上一篇的,先补一句背景:RAG 是让系统从你自己的文档里找答案;知识图谱是把"什么东西和什么东西什么关系"整理成一张网。这篇讲的是:这张网怎么画才不会乱。

2026-09-18 16:50:57 299

原创 用AI裁了70多人利润就上去了?这笔账,30%的公司算错了

AI裁员并非真省钱,30%公司算错账。表面省下人力成本,实则埋下质量、合规与隐性风险。真正可被AI替代的,是“输入-规则-验收”清晰的流程活;需担责、重关系、抗异常的岗位,裁掉反致客户流失与回招成本。企业应算清算力、质量与隐性三本账,用“可契约化三问”判断是否真该裁人。裁员的不是人,而是未标准化的流程。

2026-09-17 17:56:49 216

原创 RAG 和知识图谱 RAG:什么时候该从“找段落”升级到“找关系”?

企业实施RAG时常见“能搜到但答不准”的困境:普通RAG擅长定位文本证据,却难以处理跨文档关系。知识图谱RAG通过显式结构解决实体对齐、路径推理与时间过滤等复杂问题,适用于多跳查询与影响分析。但建图成本高,需本体设计、实体对齐、冲突处理与持续更新。应按问题类型选择方案:单点查询用普通RAG;涉及关系、依赖或全局摘要则考虑图谱增强。关键在于先明确需求,再决定是否引入图谱,避免“为图谱而图谱”。

2026-09-16 17:04:50 330

原创 AI治理:Agent 有了规则,为什么还是不敢放权?

AI治理的核心在于构建可追溯、可追责的授权链,而非仅依赖模型规范。企业需明确Agent的身份、最小权限、审批门槛与审计证据,将“能调用”“能改变”“代表谁”拆解为六层授权体系:委托主体→执行者→能力范围→资源范围→条件判断→审批留痕。避免使用高权限公共账号,确保每一步操作可验证、可回滚。真正的安全不靠提示词约束,而靠策略层与业务系统双重校验。从观察到执行,应分阶段放权,以运行证据为依据,实现从“会做事”到“被信任”的跨越。

2026-09-15 16:33:37 249

原创 SOP 为什么喂不出能干活的 Agent?

第四生产力 · 企业 AI 工程实践。

2026-09-14 13:55:23 100

原创 别急着招 FDE:多数中国企业,第一步就走反了

FDE 会越来越重要。模型越深入核心业务,越需要有人站在业务和工程之间,把不清楚的需求变成能运行、能衡量、能复盘的系统。但多数中国企业眼下最危险的,不是没有 FDE。而是在没有场景、指标、责任人和组织配合时,把所有希望寄托在一个新岗位上。招进来以后,既让他跑售前,又让他做实施,还让他写模型、接系统、催业务,最后项目没效果,结论是“AI 人才不行”。这个锅,FDE 不该背。先工具,后集成,再 FDE。先验证价值,再增加组织成本。如果企业的问题是“员工怎样更快完成一项工作”,先用现成工具;

2026-09-13 23:11:19 245

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除