- 博客(61)
- 收藏
- 关注
原创 极智词元签署 CLA 加入 openEuler 社区
极智词元正式加入openEuler社区,签署CLA协议。公司将聚焦GPU算力租赁、大模型API网关与Agent平台在openEuler下的适配,推动异构算力调度、推理服务化部署等技术贡献,并将业务中的性能瓶颈反馈至社区,协同SIG组优化AI负载生态,助力构建高效、兼容的AI基础设施。
2026-11-17 13:41:15
203
原创 极智词元:从裸 GPU 到按 Token 计费,一套 AI 算力平台的技术栈拆解
本文剖析AI算力生意的本质:从租GPU的硬件模式升级为可计量、可计费的Token服务,核心在于将算力转化为可承诺、可验证的工程指标。极智词元构建五层技术栈——资源层(多卡多地域拓扑感知)、操作系统层(内核与容器优化)、调度层(公平高效任务分配)、服务层(模型即服务与实例池化)、计量层(精准防篡改的Token计费),实现算力价值的标准化与商业化。
2026-11-17 13:33:53
104
原创 极智词元实践:多租户 GPU 集群的算力切分与任务调度踩坑记
从单卡到多卡集群,GPU算力管理面临切分、调度、隔离、回收四大挑战。极智词元通过实践发现:MIG切分适配中小推理,整卡直通保障训练性能;引入抢占式调度与状态机确保资源及时释放;构建算力、显存、I/O、网络四维隔离体系;建立严格回收流程避免幽灵占用。最终将经验开源至openEuler社区,推动AI负载下操作系统能力共建。
2026-11-17 13:23:40
7
原创 Token走进“双11”之后:用Python搭一个企业级词元成本对账器
“双11”推动词元消费大众化,企业亟需解决子账号、模型单价、重试费用与部门对账问题。本文基于Python与SQLite构建可复用的成本台账原型,实现按请求时间匹配价格版本、精准归因至部门与智能体,并监控重试成本率、无效消耗率、有效任务成本及预算偏差等核心指标,助力企业精细化管理大模型使用成本。
2026-11-16 20:36:46
130
原创 开源模型落地怎么选算力?训练、微调和推理的成本测算与验收清单
本文从任务类型出发,提出API、租用GPU与私有化三者的决策框架,强调需基于训练量、并发、时延等真实业务指标选型。提供可复用的测算模板,涵盖训练、存储、工程与失败成本,并强调推理容量需压测验证,国产算力适配须独立评估。最终以一页验收表确保上线合规与可持续性,倡导以业务指标驱动技术选型,而非盲目追求硬件性能。
2026-11-16 20:34:25
47
原创 极智词元加入光合组织,四大业务板块协同推进国产算力生态建设
极智词元正式加入海光产业生态“光合组织”,聚焦GPU算力租赁、大模型API聚合、Token分发与AI智能体开发四大领域,推动国产算力与大模型全栈适配。依托光合组织协同机制,公司深化与海光CPU/DCU平台的融合,优化算力调度与推理成本,提升信创环境下模型服务的稳定性与安全性,并联合打造政务、金融、医疗等场景智能化解决方案,助力国产算力生态规模化落地。
2026-11-16 20:26:21
194
原创 百万上下文不等于全量塞入:大模型API的检索、缓存与成本预算实战
长上下文非万能,关键在“精准装入”。本文提出“先检索、再压缩、按预算调用”策略,通过可复用请求预算器与离线评估集,优化知识库问答的Token成本。强调不盲目堆砌上下文,而是动态控制系统指令、会话历史、检索文档与工具结果的输入量,结合缓存、任务路由与质量评估,以“每有效答案成本”为核心指标,实现性能与经济性的平衡。
2026-11-12 15:08:29
113
原创 从乌镇峰会看Agent互信:用Python实现最小权限、预算与审计网关
本文提出AI Agent治理的最小实践:通过作用域密钥、预算闸门、结构化审计三要素,实现身份隔离、资源可控与操作可追溯。基于Python示例,展示如何在不依赖框架的前提下,构建可扩展的权限与可观测性基础层,防范越权访问与滥用风险,为多Agent系统安全互联提供工程化参考。
2026-11-12 15:03:28
15
原创 同一模型为何快慢不同?Python压测大模型API的TPS、首词时延与容灾
本文提供一个不依赖厂商SDK的Python脚本,用于真实场景下测量大模型API的调用成功率、首词时延(TTFT)、输出速度(TPS)和任务成本,并集成多模型容灾逻辑。通过流式SSE响应解析与精准计时,避免实验室数据误导业务判断。强调需在真实负载下测试,区分“接口成功”与“业务成功”,并警示盲目重试带来的性能与成本风险。
2026-11-12 14:51:24
14
原创 百万 Token 长上下文时代,如何把推理成本压到「分钱级」?——聚合网关模型路由实战
长上下文时代,模型成本虽降,但因上下文膨胀、模型错配与重复计算,账单仍易失控。本文提出通过聚合网关实现分层路由、提示词缓存与上下文压缩,显著降低推理成本。实测显示,结合三者可将成本降至原方案的21%。网关层统一管理路由与计费,支持多模型兼容与灵活结算,助力开发者真正实现“分钱级”成本控制。
2026-10-18 15:19:05
185
原创 2026「智能体持证上岗」:给多 Agent 系统加一层统一治理网关(Python 实战)
本文提出基于大模型API聚合网关的多智能体治理方案,解决鉴权分散、限流缺失、审计断链、成本失明四大痛点。通过统一网关实现作用域密钥管理、令牌桶限流、全量审计与Token归因,提升安全性与可追溯性。代码示例展示如何在调用中嵌入agent_id、trace_id等元数据,实现行为可管、成本可控。建议开发者接入极智词元网关,以“网关层治理”替代业务代码冗余实现,为2026年智能体规模化治理提前布局。
2026-10-18 15:13:58
213
原创 实战:基于聚合网关统一调用多家大模型 API(附 Python 代码)
本文介绍通过极智词元大模型API聚合网关,实现多模型统一调用。仅需一个参数切换模型(如gpt-4o、qwen-max或自建模型),无需修改业务代码。网关提供统一鉴权、计费统计、故障兜底与分销支持,显著降低多模型接入成本。开发者可快速申请密钥,接入主流模型与私有部署,提升开发效率与系统稳定性。
2026-09-21 20:01:38
119
原创 用 Python 5 分钟接入极智词元 API 网关:一份给开发者的极简指南
本文介绍极智词元(jztoken.cn)API聚合网关,5分钟快速对接多模型、统一管理API Key、精准控制Token用量。通过5行代码实现调用,支持模型切换、流式输出、工具调用、向量化及多轮对话。提供生产环境最佳实践,包括异常重试、多Key负载均衡与用量埋点,助力企业高效、低成本使用大模型。
2026-09-17 10:00:00
91
原创 企业级 Agent 落地实战:从 0 到 1 搭建一个生产可用的 AI 员工
企业落地AI Agent常遇五大痛点:效果不稳、成本失控、权限混乱、难观测、难扩展。本文以智能合同审核Agent为例,基于极智词元平台,通过双引擎LLM(DeepSeek-V3 + GPT-4o)、LangGraph状态机编排、自研工具链与Token监控机制,实现从0到1的生产级部署。上线3个月,效率提升93%,单合同成本低于1元,准确率超95%,稳定性达99.95%。建议企业聚焦闭环验证、强化成本管控、采用双模型策略,并以“员工”思维管理Agent,推动规模化落地。
2026-09-16 09:45:00
203
原创 万级 QPS 下的 Token 分发系统架构:从 0 到 1 跑通 AI 时代的“水电煤“
极智词元构建全国多地域万级QPS的Token调度系统,解决高并发、多模型异构与多租户隔离三大挑战。通过智能路由、实时计费引擎与配额中心实现精准调度与按Token计量,支持20+大模型灵活接入。架构经压测验证,峰值达1.25万QPS,延迟低于245ms,可用性99.99%。建议以网关为先、以Token为核心、彻底隔离多租户,打造标准化AI算力分发平台。
2026-09-15 10:00:00
191
原创 大模型 API 聚合网关实战:3 行代码切换 20+ 模型,我们这样统一 AI 接入
我们团队在构建B端AI平台时,面临多模型接入的痛点:API Key分散、接口不统一、切换成本高、监控计费困难。接入极智词元(jztoken.cn)大模型聚合网关后,通过兼容OpenAI协议,仅需3行代码即可零改造调用GPT-4o、Claude、Gemini、DeepSeek等20+主流模型。支持智能路由、自动降级、按Token统一计费与监控,实现模型“可插拔”。5分钟接入,彻底解决多模型管理难题,让开发者专注业务,迈向真正的AI工程化。
2026-09-14 08:45:00
161
原创 极智词元智算栈实战:大模型推理优化的全栈加速方案——从 vLLM/SGLang 到量化的工程实践
2026 年,AI 产业最深刻的变革不是模型越来越强,而是推理成本指数级下降。当 GPT-5 把百万 Token 价格压到 0.3 元,当国产大模型把百万 Token 价格压到 0.05 元,推理优化的工程价值已超越模型微调。本文基于极智词元智算栈(AIBrick)30+ 私有化推理项目经验,系统性拆解 vLLM/SGLang/TensorRT-LLM 三大框架 + 量化(INT4/INT8/FP8)+ 算子优化 + 国产卡适配的完整工程路径。
2026-09-09 16:43:51
528
原创 极智词元词元云视角:MCP 协议深度拆解——AI Agent 时代的“USB-C“接口与企业级落地路径
2024 年 11 月,Anthropic 开源了 Model Context Protocol(MCP)。18 个月后的 2026 年 9 月,MCP 已从"一个开源协议"演变为"AI Agent 生态的事实标准"——OpenAI、Google、DeepSeek、阿里、字节、智谱、月之暗面等几乎所有主流厂商均已宣布支持。本文从协议原理、企业级落地、与传统 Function Call 对比、词元云 MCP 网关实践四个维度,给出完整的工程级参考。
2026-09-09 16:22:56
292
原创 智算栈:从硬件选型到模型服务化,企业大模型私有化部署的完整工程路径
公有云 API 用得越深,企业越焦虑——数据出境、合规审计、成本失控、模型黑盒。私有化部署是政企、金融、医疗、制造的"必答题",但 80% 的项目卡在硬件选型、模型适配、运维体系这三关上。本文以极智词元智算栈(AIBrick)的 30+ 落地项目经验,给出可复制的工程路径。
2026-09-08 13:30:06
46
原创 企业大模型私有化部署:从硬件选型到模型服务化的完整路径
本文针对企业大模型私有化部署,指出数据安全、成本和定制化是主要驱动力,并剖析了买卡不管软件栈、盲目堆高端卡等误区。提出“场景盘点、平台先行、试点推广、建立AI能力中心”的四步落地路径,强调异构算力与国产芯片适配,助力企业安全高效落地AI。
2026-09-07 12:51:01
171
原创 从AI Agent落地看大模型网关的技术架构与选型要点
2026年AI Agent规模化落地,但多模型调用混乱、成本失控等问题凸显。大模型网关成为关键基础设施,具备接入、路由、治理、编排、观测五层能力,选型需关注模型广度、路由灵活性、企业级治理、私有化部署及可观测性,以支撑AI工程化长期竞争力。
2026-09-07 12:49:53
421
原创 从“算力焦虑“到“Token自由“:企业如何用大模型API网关破解AI落地成本困局
当大模型从“实验室玩具”变成“生产工具”,企业面对的不再是“用不用AI”,而是“怎么用得起、用得好、用得稳”。本文从工程化视角出发,聊聊一套成熟的大模型API网关如何帮助企业跨越AI落地的成本鸿沟。
2026-08-28 09:43:08
281
原创 极智词元视角下的Agent上下文工程:从“提示词优化“到“上下文工程“的范式转移
2026年,提示词工程(Prompt Engineering)正被"上下文工程"取代。随着AI模型能力的提升,关键问题从"怎么写Prompt"转变为"如何管理上下文"。极智词元提出上下文工程的五个层次:注入与裁剪、会话状态管理、动态压缩、长期记忆检索和跨Agent共享。通过动态注入相关上下文、分层管理会话状态、智能压缩冗余信息,显著降低计算成本(如120K Token窗口成本降低49%),同时提升任务准确率。这一范式转变标志着AI应用从人工调优迈向系统化工程管理。
2026-08-20 09:58:51
425
原创 从单模型到多模型协同:极智词元百万QPS企业AI网关的架构演进与踩坑总结
企业AI应用进入深水区,极智词元AI网关日请求量6个月内增长24倍至120万QPS。面对单模型架构的成本、性能和稳定性瓶颈,极智词元通过多模型协同架构实现优化:1)成本控制(分级路由降本71%);2)性能提升(低延迟模型满足实时需求);3)稳定性增强(规避单点故障)。架构历经三阶段演进:从固定规则路由,到智能任务分类路由,最终形成生产级自适应路由系统,集成动态决策、负载均衡和成本治理能力。关键技术包括零训练自适应分类器和多维度路由策略,实现质量与成本的平衡。
2026-08-20 09:56:46
228
原创 Hi3D V3.0 2048³精度+48小时免费体验:3D生成模型的工程拐点与企业落地
国产AI 3D创作平台Hi3D V3.0发布,突破性实现2048³超高精度体素建模和8K纹理输出。其核心技术包括跨视角结构推理和自研UV补全算法,使3D生成从实验室技术迈向生产工具。该技术可应用于电商展示、游戏开发和工业设计三大场景,将建模效率提升数百倍,成本降低90%以上。48小时免费体验期内,建议企业测试真实场景、对比成本并验证集成能力。Hi3D V3.0的发布标志着3D生成模型正式进入企业级可用阶段。
2026-08-19 15:29:35
322
原创 OpenAI暂停训练两周背后的AI安全范式转移:从“模型安全“到“Agent安全“
OpenAI近期宣布暂停AI模型训练以加强安全监控,重点转向监控Agent行为而非模型本身,标志着AI安全领域的范式转移。随着AI Agent能够自主执行任务,传统模型安全已无法应对跨系统、实时性高的新风险,如数据泄露、权限提升等。企业需构建四层防御体系:实时行为监控、风险评估、权限控制和审计追溯,以应对Agent安全挑战。极智词元提出的方案已在实际场景中成功阻断高风险操作,为AI应用安全提供了实践参考。
2026-08-19 14:40:15
315
原创 从“模型即服务“到“Agent即服务“:DeepSeek Harness 4万星背后的企业级Agent架构演进
2026年8月,DeepSeek开源了DeepSeek Harness(DSH) v0.1,作为“Agent运行时标准”,其核心理念是“一切皆插件”,甚至Agent Loop本身也被插件化,消除了框架的核心特权。DSH解决了Agent开发的三大痛点:框架碎片化、组件耦合严重以及企业级落地困难。基于Cordis插件元框架,DSH将所有组件(模型、工具、循环等)设计为独立插件,支持灵活替换和扩展。预置的四种运行模式(标准、PTC、极简、创造)覆盖不同场景,其设计原则包括“无特权核心”和“可重放事件日志
2026-08-19 14:35:34
181
原创 国产大模型集体涨价:Token价格战终结,开发者如何应对“价值定价“时代?
国产AI行业正在经历从"价格战"到"价值定价"的集体转向,头部厂商纷纷大幅上调API价格,如DeepSeek V4系列价格最高上涨1100%。这波涨价潮源于推理算力供需紧张、模型能力提升站稳脚跟、商业化模式转向价值变现三大因素。涨价导致企业AI应用成本激增,开发者需调整选型逻辑,按任务路由选择高性价比模型。应对方案包括智能路由分配模型、语义缓存减少重复请求、错峰调度利用低价时段、私有模型本地化及三维评估模型选型。这轮涨价标志着行业成熟,企业需通过精细化管理降低成本,而非单纯追求低价。
2026-08-18 10:16:36
1028
原创 DeepSeek Harness 三天13万星:拆解“Agent时代安卓“的技术架构与生态野心
DeepSeek Harness(DSH)开发者预览版v0.1在2026年8月13日发布,三天内GitHub突破13万Star,插件生态涌现近6000个插件。其核心理念是"一切皆插件",将模型、工具、会话、存储等组件模块化,定义了一套开放的Agent运行标准而非固定框架。技术架构分为五层:沙箱与存储、模型接口、会话管理、工具与技能、Agent Loop(支持自定义主循环逻辑)。
2026-08-18 10:13:44
246
原创 GLM-5.3发布+“Agent模型“混战:极智词元多模型路由策略实战
2026年大模型赛道白热化,如何选择最优模型? 随着GLM-5.3、DeepSeek V4 Pro、Qwen3.8-Max等大模型相继发布,企业面临"模型选择困境"。测试数据显示,不同模型在不同任务上表现差异显著:GLM-5.3编程能力突出,Qwen3.8-Max多模态领先,DeepSeek V4 Pro长文档处理优秀,Kimi K3简单问答性价比高。 极智词元提出多模型路由解决方案,通过三层架构实现智能调度: 任务分类器:识别任务类型和复杂度 路由决策引擎:基于模型能力矩阵和成本预算选择最优模型 统一执行
2026-08-17 09:55:20
699
原创 DeepSeek V4 Pro正式版发布:Agent能力炸裂,极智词元如何快速适配新模型?
摘要: DeepSeek V4 Pro正式版发布,具备百万级上下文、原生Agent能力和三档思考强度(low/high/max),标志着向企业级Agent模型的转型。为应对模型升级带来的适配挑战,极智词元提出"模型无关"中间层架构,通过Adapter机制统一API格式、能力映射与特性补偿,实现当天接入新模型。其核心代码示例展示了请求/响应格式转换、思考强度映射及工具调用兼容性处理,解决企业"模型绑定症"问题,提升AI系统灵活性与迭代效率。
2026-08-17 09:48:59
662
原创 MCP协议+GraphRAG:极智词元如何打通企业AI的“最后一公里“?
摘要: 2026年AI行业的两大趋势——MCP协议(Model Context Protocol)和GraphRAG技术,正推动企业AI解决"最后一公里"问题,即连接AI模型与真实业务系统。传统RAG存在跨文档检索困难、数据质量随规模下降等短板,而GraphRAG通过构建知识图谱实现更精准的推理检索,结合实体抽取、图谱构建和混合检索提升回答质量。MCP协议则标准化Agent与外部系统(如CRM、ERP)的交互,赋予AI直接操作业务数据的能力。两者协同可显著提升场景效率(如合同审查效率提升4倍)。极智词元建议
2026-08-13 15:35:43
170
原创 Token成本暴降80%时代,极智词元如何帮企业构建低成本AI知识库?
摘要: OpenAI等厂商虽大幅降低大模型API价格,但企业AI应用的实际运营成本仍居高不下,主要源于重复计算导致的Token浪费。极智词元提出三层优化方案:1)语义缓存拦截重复查询(节省60%+调用);2)智能路由按任务复杂度动态分配模型;3)Prompt压缩减少40%输入Token。实测显示,该方案可降低75%成本与65%延迟,准确率保持稳定。相比微调方案,该技术具备成本低、实时更新、权限可控等优势,成为企业AI知识库降本增效的工程化标准解法。
2026-08-13 15:30:45
301
原创 AI应用可观测性:极智词元如何监控、调试、优化企业AI系统
《AI可观测性:企业级智能监控与优化方案》摘要 极智词元推出企业级AI可观测性解决方案,突破传统系统监控局限,实现从"不可见"到"全可见"的智能化管理。方案构建四层架构(采集/存储/分析/可视化),覆盖词元消耗、模型效果、用户体验三大核心指标,通过实时监控仪表盘提供成本节约、性能优化等智能建议。某企业案例显示,该方案可降低40%词元消耗,将故障定位时间从小时级缩短至分钟级,显著提升AI系统运营效率。2026年,AI可观测性将成为生产级AI系统的标配能力。
2026-06-25 08:47:08
434
原创 AI安全与合规:极智词元企业级安全方案
极智词元推出企业级AI安全方案,通过五层架构保障企业AI应用合规安全:数据安全层(加密/脱敏/不出域)、模型安全层(本地部署/水印)、访问安全层(RBAC/SSO/MFA)、内容安全层(输入输出检测)及审计合规层(日志/等保)。方案支持AI BOX本地部署确保数据不出域,符合《数据安全法》等法规要求,并通过金融行业等保三级实践验证,为企业AI落地提供全链路安全保障。
2026-06-25 08:45:15
410
原创 多模态RAG 2.0:极智词元如何让企业同时检索文本、图片、表格、文档
同时支持文本、图片、表格、文档跨模态检索图文并茂回答Mat极智词元多模态RAG架构师。
2026-06-23 08:53:26
355
原创 2026年大模型微调实战:极智词元企业级微调方案从0到1
2026年企业级大模型微调实战方案解析:极智词元提出从数据准备到部署的四阶段方法论(SFT至RLHF)。核心观点认为微调可解决通用模型"不接地气"问题,实现业务适配(准确率提升22%)、成本优化(月费降90%)和数据安全。方案特色包括:1)数据质量控制体系(企业知识库占比40%);2)低资源技术组合(LoRA+4-bit QLoRA);3)AWQ/GPTQ量化部署。典型案例显示金融领域微调后业务准确率达92%。作者强调数据准备决定80%效果,建议不同场景配置500-5000条训练数据。
2026-06-23 08:51:30
220
原创 极智词元企业级RAG系统优化实践:从60分到95分的进阶之路
RAG系统优化方法论:从60分到95分的进阶指南 本文针对企业RAG系统常见的低召回率、准确率差等问题,提出了一套系统的优化方法论。核心优化路线分为三个阶段:基础优化(60→80分)主要解决文档预处理、分块策略、向量化模型选择和混合检索;进阶优化(80→95分)则通过重排序、查询扩展、提示词工程和元数据过滤实现质的提升。文章详细介绍了每项优化技术的具体实施方案和效果评估,包括代码示例和参数推荐,如中文场景推荐Qwen-Embedding模型、分块策略应根据文档类型调整等。实践表明,这套方法论可显著提升RAG
2026-06-22 13:34:04
440
原创 极智词元混合部署架构深度解析:从0到1构建企业AI基础设施
混合部署架构解决方案:本地与云端的优势互补 2026年,企业普遍采用"本地+云端"的混合部署模式,极智词元通过数百家企业的实践经验,总结出一套成熟的混合部署架构方案。该方案通过智能路由层动态分配任务:简单问题和敏感数据由本地AI BOX处理(响应快、成本低、数据安全),复杂问题则交由云端处理(模型能力强、可扩展性高)。架构包含用户交互层、智能路由层、AI BOX本地层和云端层,支持多端接入、负载均衡和故障自动降级。实施案例显示,该方案在保证数据安全合规的同时,显著降低了成本并提升了性能指标(响应时间从800
2026-06-22 13:31:57
329
原创 2026年,企业的“第二大脑“——极智词元企业知识管理的新范式
《企业"第二大脑":AI时代的知识管理新范式》摘要 文章系统阐述了企业知识管理的进化历程,提出2026年将进入以"第二大脑"为标志的第四阶段。极智词元打造的"第二大脑"具备四大核心能力:知识沉淀(自动收集各类文档与经验)、知识关联(构建智能知识图谱)、知识创造(基于AI的内容生成)和知识传承(虚拟导师功能)。通过本地化部署的AI BOX与云端大模型协同架构,企业可分四步构建这一系统。某咨询公司案例显示,实施后新人培训周期缩短67%,人均产值提升60%。"第二大脑"将分散的企业知识资产化,实现从存储到创新的跨
2026-06-18 17:06:54
770
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅