数据掘金-AI分析
文章平均质量分 86
数据掘金-AI分析
余额抵扣
助学金抵扣
还需支付
¥199.90
¥299.90
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
忠庸191
知己知彼,有牌不打; 沉没成本不参与重大决策;承兑附有条件,视为拒绝兑附
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
旋转编码揭秘:一词一指针,组组见乾坤
本文详解旋转位置编码(RoPE)机制:每个词的向量被分为多组二维指针,通过位置乘以不同频率的旋转角度实现相对位置感知。注意力计算中,仅Query与Key参与旋转,确保内积反映词间相对距离。公式$\theta_i = 10000^{-2(i-1)/d}$设计出从快到慢的频率层级,模拟钟表秒针、分针、时针,使模型能精准捕捉长距离依赖,且保持向量长度不变,优于传统加法位置编码。原创 2026-10-21 11:41:23 · 123 阅读 · 0 评论 -
CED+四重创新:让长上下文推理快10倍
在CED架构基础上,DeepSeek通过四项极致优化突破大模型推理瓶颈:1)CSA2实现跨层共享与分层稀疏索引,将KV体积降至1/4;2)FP4量化使每Token仅需890字节,显存占用锐减;3)SWA Bounded Replay仅存全局KV,重算128词即可恢复状态,存储降为1/8;4)分离式Prefill池仅加载Encoder,显存利用率翻倍。结合抗误差设计与混合精度策略,系统吞吐提升1.5–2倍,显著降低长文本处理成本。原创 2026-10-19 17:42:54 · 109 阅读 · 0 评论 -
CED + 提示词压缩:结合点、现存问题、创新方向
CED与提示词压缩天然互补:前者省计算深度(后20层投影),后者省输入宽度(减少token数)。结合可实现7/8计算量节省。当前瓶颈在于压缩与缓存、指令保留、模型一致性等问题。创新方向聚焦于端到端编码器原生压缩、Agent渐进式KV摘要、分层压缩及压缩感知训练,其中让CED编码器内生压缩最具潜力,实现理解与压缩一体化,是2026年研究前沿。原创 2026-10-15 22:12:12 · 29 阅读 · 0 评论 -
科班出身的agent优势和重点培养能力:知道LLM底层原理--可具备更好的判断和创新力(工程力:工程交付)
科班出身的agent优势和重点培养能力:知道LLM底层原理--可具备更好的判断和创新力(工程力:工程交付)原创 2026-10-15 15:36:49 · 35 阅读 · 0 评论 -
LLM 接口设置web search:Claude 4.7 Web Search 使用全指南
Claude 4.7 的 Web Search 使用分两种场景:在 Cursor 中,依赖 Cursor 自身的搜索工具,通过 @Web、自然语言或 Agent 模式触发;在 Anthropic API 中,则需显式声明 web_search_20250305 工具并配置参数,按次数计费。两者机制不同,不可混淆。Cursor 环境统一接口,三家模型(Claude/GPT/Gemini)均走其自研搜索;而原生 API 各自独立,接口、定价与搜索源差异显著。关键技巧:用 @Web 强制触发、@Docs 查官方文原创 2026-10-15 10:52:51 · 29 阅读 · 0 评论 -
MLP 层的作用 & KV 矩阵的长宽 含义 —— 30秒看懂
MLP层负责在注意力识别关联后进行深度理解与判断,如区分“苹果”是水果还是公司;其在DeepSeek-V4.1-Flash中采用MoE架构,仅激活6个专家。KV矩阵中,行数(序列长度)表示输入token数量,列数(1280)代表每个token的语义精细度,K为“钥匙”用于搜索,V为“内容”供提取,共同实现模型记忆与推理。原创 2026-10-10 16:21:46 · 136 阅读 · 0 评论 -
Jev:不写一个字却登顶Hacker News的AI奇迹
已知局限保持客观,也需要指出:1. **Context Rot(上下文腐蚀)**:官方文档明确承认,当 state 中混入大量与问题无关的内容时,准确度会下降2. **数学和计数**:Jev 倾向于"模式识别"而非精确计算3. **多跳推理**:复杂的链式推理做不了4. **中文表现有限**:目前更擅长英文场景5. **性能数据未经独立验证**:193.6x/444.6x 均为自报一句话总结:**Jev 又快又准的秘密不是"更强大",而是"更专注"——在一个精心选择的狭窄领域里,用结构原创 2026-09-26 22:30:45 · 56 阅读 · 0 评论 -
为什么现在聚焦 kv cache;分清楚:kv权重 和 kv向量
模型权重固定不变,而KV Cache随输入长度线性增长。当序列达约6700 token时,KV Cache体积追平模型权重;10万token时,KV规模约为权重的15倍。尽管GQA等技术延缓了这一趋势,但长上下文(如128K)仍远超临界点,导致KV Cache成为显存瓶颈。本质原因在于:权重仅存一份,而每个token需为每层存储一组K/V向量,长度越长,累积越快。原创 2026-09-25 17:41:49 · 124 阅读 · 0 评论 -
查询感知 query-aware 是什么:让回答随问题动态变化
query-aware(查询感知) 指处理过程根据用户查询动态调整,使结果随问题变化而优化。与查询无关(query-agnostic)的固定处理不同,query-aware 在分块、检索、摘要、注意力等环节中,将查询作为核心输入,提升相关性与精准度。典型应用如A-RAG的智能检索、聚焦摘要和交叉编码重排。其本质是“结果随问而变”,虽耗时更高,但更贴合实际需求。类似概念如context-aware、schema-aware等,均体现“感知输入变量以动态响应”的设计思想。原创 2026-09-21 11:20:38 · 130 阅读 · 0 评论 -
skills的md 可进行逻辑判断:复杂工作流?用自然语言在MD里分叉就对了
在 SKILL.md 中可直接编写带分叉的工作流,因 Agent 能理解自然语言中的条件、循环与分支逻辑。通过 if/else、决策表、循环、提前退出等结构化表达,结合脚本返回状态码实现确定性判断,可构建复杂流程。为防失控,应模块化拆分链路、使用清单跟踪进度、派发子任务、落盘状态,确保流程可控可复现。核心原则:模糊判断交 Agent,确定性判断交脚本,MD 负责编排。原创 2026-09-20 12:28:46 · 37 阅读 · 0 评论 -
推测解码最基础的概念:用便宜的计算(小模型)去减少昂贵计算(大模型)的调用次数
推测解码通过小模型快速“猜”候选文本,大模型一次性验证多个字,仅在确认正确后才采纳,从而大幅减少昂贵的大模型调用次数。其核心是“用便宜的错误换昂贵的正确”:小模型猜错仅浪费少量算力,而大模型验证始终保证输出质量。关键机制为从左到右逐位验证,一旦出错立即终止并修正,杜绝“一步错、步步错”。数学上可证明其输出分布与直接自回归生成完全一致,既不损失质量,又能实现2-3倍加速,是高效推理的算力套利策略。原创 2026-09-20 01:14:04 · 27 阅读 · 0 评论 -
你的 Prompt 有 90% 是废话:2026 年提示词压缩技术全景
2026年提示词压缩技术已从“省显存”演进为提升准确率的核心手段。面对长上下文导致的“上下文衰减”,四条路线并行:硬提示裁剪(如LLMLingua-2)实现高效可读压缩;软提示将文档压成向量,压缩率达26x;KV缓存优化直接降低推理成本;Agent时代则转向分级存储与上下文压实。前沿趋势包括思维链压缩、多模态剪枝与自适应压缩率。关键建议:优先离线预压缩、保护指令安全、避免压缩破坏缓存命中,建立评测与回溯机制。压缩不仅是降本,更是模型性能的重构。原创 2026-09-18 20:45:20 · 37 阅读 · 0 评论 -
AI时代的sci论文撰写思路:我们应该思考为什么你的研究值得发表(其实很多idea 都是AI 提供的)
2026年SCI投稿难度显著提升,核心原因在于投稿量激增、编辑初筛趋严、AI提升基础完成度、审稿资源不足及出版社加强合规审查。论文“不差”却遭Desk Reject,本质是“不够突出”。破局关键:选题聚焦真问题,创新逻辑闭环;实验扎实,证据充分;文献紧跟前沿;摘要引言30秒讲清价值;精准匹配期刊。投稿不再是“写完就行”,而是“值得发表才可投”。原创 2026-09-14 18:35:17 · 217 阅读 · 0 评论 -
query-aware vs query-agnostic:精准与效率的博弈
query-aware:**看用户提问,按需动态压缩文档,一问一压缩;回答效果好,但prefix缓存失效**。query-agnostic:**不看用户提问,提前一次性压缩文档,所有请求共用同一版压缩文本;可以正常使用prefix缓存,但无法按需筛选内容**。原创 2026-09-14 16:24:45 · 45 阅读 · 0 评论 -
PostgreSQL vs MySQL:2026选型终极指南
PostgreSQL 与 MySQL 均为关系型数据库,前者功能强大、支持复杂查询、JSONB、GIS 和向量检索,适合新项目及高一致性场景;后者生态成熟、运维简单,广泛用于互联网高并发读写。选型关键:复杂业务选 PG,简单高效选 MySQL。此外,可通过 Redis、内存引擎、临时表等实现“不落盘”加速,但仅适用于热数据或可丢失场景,真实架构应分层设计——内存扛热点,磁盘保安全,兼顾性能与可靠性。原创 2026-09-12 19:36:04 · 51 阅读 · 0 评论 -
Python与Java锁机制核心差异解析
Python 依赖 GIL 保证内存安全,多线程不并行,锁主要用于防止数据交错;Java 无全局锁,通过细粒度锁(如 synchronized、ReentrantLock)实现真并行,但需开发者自行处理死锁、竞争等问题。本质差异源于内存管理:Python 用引用计数需全局保护,Java 用 GC 无需全局锁。因此,Python 并发简单但算力受限,Java 灵活高效却复杂易错。架构上,应以异步或多进程规避 Python 坑,以无共享设计降低 Java 锁风险。原创 2026-09-12 19:19:10 · 173 阅读 · 0 评论 -
服务与Docker:一个做业务,一个搞定部署
服务是业务功能的实现(如API、数据库),而Docker是打包、隔离和迁移服务的容器工具,解决环境不一致、依赖冲突、部署缓慢等问题。无需强制使用Docker,小项目直接运行即可;当出现环境差异、扩容困难等痛点时,再引入Docker,按需演进才是合理架构思维。原创 2026-09-12 19:11:29 · 43 阅读 · 0 评论 -
AI时代,程序员的真正竞争力在思想
AI时代,程序员的竞争力不再源于代码本身,而在于提问能力、业务理解、系统架构、数据流转与研究思维等软实力。代码正被AI接管,但核心思想与判断力不可替代。知识平权让学习门槛降低,真正稀缺的是会问、会想、会验证的能力。程序员的价值,正从“写代码”转向“定义问题、构建系统、驱动产品”。未来属于能将业务转化为思想、用逻辑驾驭AI的人。原创 2026-09-12 14:30:30 · 32 阅读 · 0 评论 -
纯统计压缩:破解缓存与压缩的死结
提出一种纯统计、query-agnostic的静态前缀压缩方案,解决现有query-aware压缩方法与prefix caching的根本冲突。通过将压缩问题形式化为预算约束下的单调次模最大化,采用覆盖-多样性目标函数与cost-benefit贪心算法,实现(1−1/e)近似保证。筛选出截断归一化n-gram稀有度、领域层IDF和静态锚点NPMI三类独立指标,避免冗余与误用,并推荐infini-gram后缀数组词库方案。构建缓存感知评测协议,明确该路线在确定性、可审计性与缓存共存场景中的不可替代生态位。原创 2026-09-11 00:07:14 · 174 阅读 · 0 评论 -
从大脑记忆到提示词压缩:一条被高估的类比,和一个被低估的定位
先声明边界:下面五个机制是真实的神经科学发现,但从它们推不出任何具体的压缩公式。它们提供的只是「重要性是多因素加权的」这个结构性直觉。任何声称从脑科学「推导」出压缩算法的说法,都是过度声称。原创 2026-09-07 00:03:05 · 41 阅读 · 0 评论 -
无聊-激活一个特殊网络:自我认知、价值观梳理、未来规划、记忆整合
- 空出大脑想清楚的东西,**不要急着做重大决定**。底层记忆被唤醒后,往往会带来强烈的情绪和改变的冲动,先让它沉淀一两周。- 用**小步行动**去测试:想换方向,先做一个小项目试试;想离开某种状态,先试着独处一周;想追求什么,先花一个周末做起来。- 记住:**思考的目的不是"想通",而是"活成"**。你想明白了但不去做,那个"明白"很快就会被日常的洪流淹没。原创 2026-09-04 16:26:00 · 133 阅读 · 0 评论 -
论文深度解析:From Memory to Skills — MSCE 框架
针对长程Agent记忆难以转化为能力的问题,MSCE框架提出三层治理记忆(L1轨迹、L2策略、L3环境认知),并利用反射加权价值回填为每步分配可解释价值。通过证据积累、增益门控和确定性验证,将可靠策略结晶为技能卡,实现从“原始记忆”向“可调用能力”的可靠沉淀。原创 2026-09-03 20:40:44 · 54 阅读 · 0 评论 -
Skill体系真相:没有SKILL.md,代码再强也没人知
Agent Skill体系中SKILL.md与SKILL.py的分工,SKILL.md是门面,6个核心作用(身份、触发、使用说明、边界、示例、人机协作),与代码配合。总结核心要点。</think>SKILL.md 是 Agent Skill 体系的核心“门面”,负责注册、触发判断、使用说明、边界约束、示例及人机协作;SKILL.py 是执行逻辑的“内脏”。二者分工配合:md 让系统发现 Skill、Agent 正确调用,代码负责运行实现。缺 m原创 2026-09-03 19:48:05 · 59 阅读 · 0 评论 -
提示词压缩的终极答案:把静态删减变成动态记忆调度
认为现有提示词压缩方案是静态、代理指标和不可逆的组合优化。真正革新应重新定义问题:生成中动态记忆调度。提出生成感知的因果归因动态压缩,用KL散度度量删除token对输出分布的影响,将上下文按因果重要性分层为工作记忆、短期、长期,随生成过程动态换入换出,突破固定窗口限制。约100字。符合。</think>现有提示词压缩方案是静态、代理指标和不可逆的组合优化,真正革新需重新定义问题:生成中的动态记忆调度。提出生成感知的因果归因压缩,用KL散度直接度量删除token对输出分布的影响,而非PPL或相似度代理;并将上原创 2026-09-03 01:20:36 · 36 阅读 · 0 评论 -
提示词压缩:把认知科学和提示词工程打通(纯LLM判断-工作流)
大脑筛选信息的机制(如预测编码、注意力、工作记忆等)对应提示词压缩原则,现有方案(如token熵压缩、摘要压缩等),并通过API案例说明。原创 2026-09-03 01:07:09 · 671 阅读 · 0 评论 -
Python函数直调与CLI 区别,怎么选?
<think>我们只需要根据用户提供的内容生成一个≤150字的文章摘要。需要概括函数直调vs CLI脚本的核心区别以及服务器部署推荐和if __name__的原理。要求简洁。注意字数限制。</think>函数直调与CLI脚本本质区别在于:前者同进程传对象,后者跨进程经字符串和IPC交互。服务器部署推荐Web服务用函数直调+常驻进程(如uvicorn main:app),定时任务用CLI脚本。if __name__ == "__main__":原理是直接运行时模块名设为__main__触发入口代码,被impo原创 2026-09-02 21:25:27 · 152 阅读 · 0 评论 -
我们的工作心态==代码可被 Review、自己先过审:主动暴露问题比被动发现问题成本低 100 倍
我们的工作心态==代码可被 Review、自己先过审:主动暴露问题比被动发现问题成本低 100 倍原创 2026-08-31 19:41:38 · 113 阅读 · 0 评论 -
提示词压缩技术能针对 api 场景落地的,并且兼具技术深度
1. **ProCut** 是目前 API 场景下技术深度最高、可落地性最强的方案——把归因分析(SHAP)引入 prompt 压缩,段落级贡献量化,training-free,黑盒友好,最高 84% 压缩。2. **LLMLingua-2** 是工业标准,GPT-4 数据蒸馏 + token 二分类,快、稳、通用,适合动态内容场景。3. **COMI** 学术深度最高(ICLR 2026),MIG 度量 + 粗到细动态压缩,但原生输出隐状态不能直接上 API,需要做抽取式迁移。4. **最佳实践是组原创 2026-08-31 00:54:48 · 222 阅读 · 0 评论 -
博士课题选LLM幻觉抑制、提示词压缩还是表征工程?一个博二学生的真实算账
从表征发现→方法构建→应用验证→系统落地**,层层递进,构成一个完整的研究体系。毕业答辩时,评委问"你的研究贡献是什么",你可以清晰地回答:"我揭示了垂直领域知识在大模型中的表征规律,提出了领域专用的表征工程方法,并将其应用于农业/数据交易场景的可信生成,最后结合区块链和博弈论构建了完整的系统。原创 2026-08-30 19:49:45 · 54 阅读 · 0 评论 -
真正的问题不是“穷人“,是“匮乏“。而匮乏,从来不只存在于穷人身上:穷人不是不努力,是他们的“带宽“被生存占满了
那句话最扎心的不是"别碰穷人",是"包括人"这三个字。它把人降级成了"东西"——可以用价值来衡量,可以用风险来评估,可以用"碰不碰"来决定。但人从来不是东西。人是会变的,是会成长的,是会在某个瞬间突然觉醒的。你今天看到的"麻烦的人",可能五年后就是另一个样子。当然,你没有义务等任何人成长。你有权利选择跟谁在一起。只是希望你的选择,是基于对一个具体的人的判断,而不是基于一个标签。因为标签会骗人,人不会。原创 2026-08-29 16:10:12 · 49 阅读 · 0 评论 -
在 Cursor 里跑「并行运算 + 外部模型」:可以实现但是不能设置模型名称,topkp,等模型超参数
在 Cursor 中实现并行运算并调用内置模型(Claude/GPT/Gemini)的可行方案:通过 cursor-agent CLI 工具替代原有外部 API 调用,无需配置 vertex/OpenAI 密钥。核心改动只需在现有并行框架中新增 CursorAgentBackend 类,通过 subprocess 调用 cursor-agent 命令行工具,复用现有并发控制逻辑。该方案依赖 Cursor 账号额度,需注意进程启动开销大、并发需调低至 4-6 线程、需严格限制工具权限防止代码修改。优势是无需管原创 2026-08-25 23:30:54 · 30 阅读 · 0 评论 -
skillgrad 的评分设计
直接消除单次 LLM 抖动的疑虑,用户看到"3 位评委独立给出 4.2 / 4.3 / 4.1",比"1 次给出 4.2"可信得多。成本:judge 阶段 token 3 倍(但相比 forward 阶段几乎可忽略)。原创 2026-08-21 16:12:33 · 102 阅读 · 0 评论 -
5大SkillGrad优化技巧
主要内容包括: 自研了5个中文提示词原创 2026-08-20 19:26:00 · 52 阅读 · 0 评论 -
SkillGrad评分机制全解析
SkillGrad评分机制采用1.0-5.0分制,通过对比实际产出与理想产出的差异进行打分。评分基于三大要素:用户问题、理想产出和评分标准,由Judge模块生成分数、差距描述和缺陷点列表。系统支持默认评分标准和自定义标准,通过算术平均聚合多用例分数,并建立学习率护栏确保优化过程分数单调不降。评分结果直接驱动优化决策,帮助开发者定位改进方向,最终目标是使技能产出达到4.5分以上的可用标准。原创 2026-08-19 17:27:24 · 51 阅读 · 0 评论 -
4步实现技能 skill 优化闭环
本文提出一个4步实现Agent优化闭环的方案,核心是利用Langfuse工具链与现有组件快速搭建测试-优化迭代系统。原创 2026-08-11 19:55:33 · 78 阅读 · 0 评论 -
豆包接入Langfuse观测全攻略
介绍了如何将国内大模型豆包接入Langfuse可观测性平台的实践过程,重点拆解了三个关键环节的配置要点和常见陷阱: 凭据配置:需正确设置LANGFUSE_PUBLIC_KEY(项目标识)、LANGFUSE_SECRET_KEY(权限验证)和LANGFUSE_BASE_URL(目标地址)三个环境变量,且必须在导入Langfuse前通过load_dotenv加载。 SDK替换技巧:使用langfuse.openai.OpenAI替代官方OpenAI客户端,保持API兼容性的同时自动上报调用数据,无需修改业务原创 2026-08-10 18:07:31 · 288 阅读 · 0 评论 -
langfuse 核心:Span与Trace详解
分布式追踪中的核心概念Span及其应用。Span定义为一次可观测的操作单元,包含名称、时间戳、属性等信息。多个Span通过父子关系组成Trace,形成树形结构。文章以Python代码示例展示了如何通过装饰器创建Span、设置属性,并详细解析了Span的数据结构(名称、时间、状态、属性等)。同时介绍了Langfuse工具中Span的5种子类型及其适用场景,以及Span在性能分析、错误排查和成本计算中的关键作用。最后强调Span是构建完整调用链路(Trace)的基础单元,对复杂系统监控至关重要。原创 2026-08-10 17:24:31 · 70 阅读 · 0 评论 -
AI工程师核心价值:全链路数据掌控+业务问题诊断
摘要 AI工程师的核心竞争力在于全链路数据掌控能力和业务问题诊断能力。原创 2026-08-06 01:15:09 · 475 阅读 · 0 评论 -
从零搭建AI Agent运行SKILL 和cli 命令 环境的5步指南
文章详细介绍了如何从空白服务器部署并运行一个基于沙箱隔离的Agent技能(skill)。原创 2026-07-31 19:14:25 · 154 阅读 · 0 评论 -
Python环境和执行cli 命令需要的环境 在 cursdor 中怎么实现的
Python CLI运行环境由4层构成:Python解释器、第三方库、环境变量和CLI参数。本项目通过以下方式实现环境配置: 依赖管理:使用requirements.txt集中声明依赖项,通过venv虚拟环境和pip安装 环境变量:采用自定义.env文件加载器,优先使用系统环境变量,支持临时切换 模块导入:动态修改sys.path使同级模块可直接import CLI参数:使用标准argparse处理命令行参数 在Cursor/VSCode中的具体操作步骤: 选择Python解释器(推荐虚拟环境)原创 2026-07-31 18:25:37 · 178 阅读 · 0 评论
分享