神策数据张铎：一文读懂神策私有化部署的架构演进

原创 于 2021-11-16 16:00:15 发布 · 675 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #分布式 #hadoop #数据库 #人工智能

本文介绍了神策数据私有化部署的三个阶段及其技术挑战，包括混合部署、版本收敛、小集群K8s化、内存优化、查询优化等问题，并探讨了SaaS部署的意义和挑战，强调了神策数据对未来部署模式的思考，旨在为客户创造更大价值。

14dc0ba18f2299ce4748485268416189.png

face8910e8d60aa109b4613569bce487.gif

f4c50964b6752fd08a1ba6df266890fc.png

在神策 2021 数据驱动大会北京场技术论坛上，神策数据首席架构师张铎发表了主题为《神策私有化部署的架构演进》的演讲，本文为精选内容。主要包括：

  • 私有化部署的意义

  • 神策私有化部署的演进及技术挑战

  • SaaS 化部署的意义及技术挑战

  • SaaS 化的分析云

  • 神策部署模式的未来

在开始演讲前先问大家一个问题，作为技术人员，你愿意选择几个大的 SaaS 集群还是选择上千个私有化部署的小集群来实现技术指标？

如果是我的话，我会愿意选大集群，因为挑战高并发、巨大数据量会更有成就感；如果选小集群的话，可能会遇到很多比大集群更麻烦、更意想不到的问题。神策数据选择的就是充满挑战的私有化部署。截止目前，神策数据每天帮助客户处理超过 2500 亿行数据的导入，数百万次 SQL 的查询。

一、私有化部署的意义

为什么选择私有化部署？其实这不是一个技术决策，而是业务决策。

首先，

最低0.47元/天 解锁文章
神策数据
关注
博客
神策数据助力 UR 打造营销自动化创新实践，入选 CCFA 中国消费品最佳创新实践案例
11-28 235
业务表现上，大促和新品营销活动均取得明显效果，特别是在高潜品类和关键用户群体中实现了可观的成交率提升。未来，神策数据将持续深耕零售行业，通过成熟的数据驱动方法论与产品技术能力，为更多企业提供可落地的数字化解决方案，助力品牌实现从数据洞察到业务增长的全链路升级，共同推动行业创新与高质量发展。同时，由于缺乏实时数据支持，营销活动难以实现精准的动态触达，影响了营销时效性和效果。由于数据系统化整合力偏弱，营销较难获得用户深度洞察，活动复盘缺乏系统性方法论，优秀策略经验无法有效沉淀，造成资源浪费，难以实现持续优化。
博客
从“人驱动”到“知识驱动”：数字化运营闭环的变革之路
11-21 399
最后，运营人员整合月报内容与问题归因。神策服务的行业包括金融、游戏、电商、汽车、奢侈品等等，我们将多年来在各类业务场景中沉淀的分析方法论与产品知识进行了系统性的梳理与翻新，并借助 AI 能力，构建了知识库这一全新形态。在金融行业，我们具有丰富的交付经验，对于具体的业务场景、业务流程和知识可以说也有非常丰厚的积累，加上为企业定制化的专属知识，构成了这样。数据整合后，通常需要资深运营专家或分析师凭借经验，从中诊断问题、发现机会，策划精准的客户运营策略，并通过营销平台等渠道执行，最终评估各场景的营销效果。
博客
案例解读｜神策分析在 BMW 集团的应用实践
11-07 956
开发了 ETL 程序，定期将神策库中的 events 表和 users 表，以及自定义的 Session 中间表，导出到阿里云 OSS 上，供 CDP 及其他下游系统使用。我们将深入探讨宝马与神策的合作历程，这其中包括为什么选择神策，在合作过程中遇到了哪些核心挑战，又是如何设计解决方案来应对这些挑战的，以及最终取得了哪些项目成果和未来的展望。构建了一个从“埋点文档”/“埋点地图”（解决设计问题） > “埋点管理平台”（解决管理问题） > “神策分析”/“数据中台”（解决使用问题）的数据闭环。
博客
AI Agents 如何赋能出海广告追踪与用户运营？
10-30 473
它能把模糊的问题转化成明确的分析需求，比如有人说“最近业务不太好”，AI 能进一步追问、拆解成“哪个产品线、哪个时间段、哪个指标下滑”，然后去调取数据，做初步解读，甚至给出改进建议。，输入一个 Web 网址，AI 会自动生成埋点方案及配置，还可以直接推送到 Google Tag Manager，完成自动化埋点，形成完整的 AI 埋点、Server-side Tracking 和广告回传的完整解决方案，提升准确性和部署效率。做产品也是一样，如果你不理解场景的细节，不掌握场景的知识，再强的模型也做不好。
博客
从卖工具到卖效果：RaaS 如何重塑 ToB 市场格局？
10-27 64
过去 ToB 属性的企业，只能在甲方业务的中间环节发挥作用，如今，大模型让 ToB 企业拥有了一项“前所未有”的能力—直接触达和影响其客户的客户。未来客户接触的不再是一个需要“学习使用”的软件，而是一个以目标为导向的智能系统：客户只需设定业务目标和优化方向，大模型便会自动执行、持续迭代，驱动效果持续增长。组织上，传统的职能壁垒被打破。假如客户有 100 亿的营销预算，这 100 亿营销预算交给我们来操盘，我承担所有通道和执行成本，双方约定一个 ROI，比如说提升 5%，我们的收益就在提升的部分获取。
博客
直播预告｜大模型时代，大数据应用跃迁指南
10-20 285
数据价值的增长，技术难度的下降，让大数据应用落地的需求水涨船高。然而面临大模型时代的新变化，以及大数据应用落地里的诸多实际挑战，我们仍然会无所适从。👉 神策数据联合创始人 & CTO 曹犟现身「极客时间」直播间，为大家 1 小时剖析大数据系统的变与不变！⏰ 直播时间：10 月 22 日（本周三） 19:30。大模型技术革命为大数据带来哪些关键改变？神策分析 MCP Server 启动内测。📢 本周三，专场直播重磅来袭！数据价值生产线的关键决策点。神策 AI 智能分析师。神策 AI 智能运营师。
博客
多项目协同 + 多模型升级，神策分析 3.0.3 全面提升数据生产力
10-16 391
然而，全量采集探索性埋点数据，常常带来巨大的存储浪费——例如，一个仅用于验证的按钮点击事件，日均产生 100 万条数据，30 天即占用 150G 存储空间。面向新增业务或新项目场景，神策分析 3.0.3 支持将成熟项目的数据资源进行一键打包与导入，实现多项目、多环境间的高效复用。新增折线图、柱状图、堆叠柱状图、柱线图、环图等多种展示方式，支持配置 X 轴、Y 轴、分组，实现更直观的数据结构与趋势展示。两大功能，并配合多模型的全面迭代升级，为企业提供更灵活的多项目管理能力，显著提升数据验证与运营效率。
博客
2025 IDC 中国未来企业大奖优秀奖公布，神策数据助力邮储银行获“客户体验特别奖”
09-29 806
再次证明了：在金融数字化的关键阶段，只有以数据驱动和智能化为核心，才能真正实现客户体验的跃升。迫切需要一个覆盖全域、全渠道、全生命周期的客户运营平台，从根源解决客户体验升级的痛点。数据的高度认可，也彰显了神策数据在银行客户运营数字化领域的产品能力与服务价值。最具代表性的数字化转型案例，表彰未来商业的开拓者，彰显数字化转型的商业价值。基于客户标签和行为标签，构建客户渠道偏好模型，自动推荐最优触达方式，实现。，共同探索数字化转型的新路径，助力行业客户体验再升级。稳健推动银行数字化转型，提升金融安全性与合规性。
博客
从展点消到 ROI：神策分析 3.0.3 重塑海外广告一体化分析
09-17 810
不仅支持自由选择事件分析、留存分析等核心指标，一键实现从渠道、活动到广告素材的多级下钻；按渠道维度查看广告收入（事件分析指标）、关键窗口期留存率与留存人数（留存分析指标）、ROI、LTV 等指标，并将新客/老客作为分组，全面对比不同渠道的投放效果。，可直接获取海外广告成本数据（如展示、点击、消费等），通过自动化方式实时接入神策分析，彻底解决第三方数据孤岛问题，避免市场部门繁琐的手工对数流程。例如，可对比不同广告渠道在新客与老客中的留存表现，结合成本、收入、ROI、LTV 等指标，精准识别高价值用户来源。
博客
画像升级，洞察先行：神策分析 3.0.3 助力精细化运营
09-10 482
在用户群画像分析模型中，依次配置目标人群、TGI基准人群，选择现有画像模板或添加画像信息，查看人群的特征分布差异。例如分别配置目标人群为菠萝堡人群、TGI基准人群为同期复购人群，查看用户在餐段、小吃上的消费差异，发现菠萝堡人群更偏好上午茶时段（TGI :122.26）、更偏好鸡肉串（TGI:128.76），据此可以指导菠萝堡提频策略中套餐组合及沟通时机的制定。神策分析 3.0.3 版本将用户洞察从滞后的静态分析，推进到灵活的动态追踪，帮助企业更敏捷地响应市场变化，深度挖掘用户价值。
博客
增长模型：神策分析 3.0.3 助力用户生命周期价值运营
09-04 814
3、对比不同首单特征（商品/时段/折扣）的用户在二单时的表现，找到差异化人群，从而明确促成二单的策略方向，并对不同人群进行有针对性的推送。创建更符合业务逻辑的生命周期标签，将原本需要大量人力处理、难以统一观测的周期型、流程型数据进行打标与分析，并基于标签自动生成洞察报告。此时，需要洞察二单用户的特征，并。，可在同一视图中添加事件分析指标、留存指标、自定义指标，并支持多分组和下钻，满足复杂场景的复盘需求。，筛选并分析用户行为序列中的第 N 次事件数据，精准定位用户行为模式，帮助优化产品体验并制定策略。
博客
神策分析3.0.3版本重磅发布：聚焦五大场景，全面提升分析与运营效率
09-02 913
神策分析 3.0.3 版本在海外广告、用户生命周期、标签特征、资源管理、分析模型五大场景均实现了能力升级，全面提升了数据分析与运营的效率与精度，为企业提供了更强大的数据支持，帮助客户在复杂多变的市场环境中实现精细化增长。面对出海企业在广告投放中渠道繁多、数据分散的挑战，神策分析 3.0.3 版本新增 AppsFlyer 聚合展点消数据接入，并结合多维分析模型，帮助企业在同一视图下关联广告展示、点击、消费数据与用户行为指标，实现投放效果与 ROI 的动态分析，快速定位高效渠道。进一步提升了系统的安全性。
博客
数智融合新标杆！神策数据&华为云推动好医生云医疗产业升级
08-28 243
神策分析 MCP Server 启动内测。神策 AI 智能分析师。神策 AI 智能运营师。
博客
直播预告｜让 AI Agent 接管 Shopify 广告转化追踪！
07-22 231
👉 神策数据产品合伙人 & JTracking 联合创始人 Billy 现身直播间，✅ AI Agent 低成本高效追踪方案，精准提升广告 ROI！✅ 以 Shopify 广告转化追踪最优实践为基础，👉 扫描海报二维码进群，直播前群内将发送观看链接！数据不准 → 决策失误 → ROI 下降。神策分析 MCP Server 启动内测。，增长团队疲于补救，苦不堪言！了解更多 JTracking。本周五，专场直播重磅来袭！神策 AI 智能分析师。神策 AI 智能运营师。Shopify 电商。
博客
神策数据桑文锋：从数据驱动到知识驱动——昇腾 AI 赋能数字化用户运营
07-16 1227
在生成复杂的 API 查询和复杂 SQL 请求时，过去的大模型可能需要反复尝试和修正才能成功，而现在，只要在提示词（Prompt）中给出清晰的文字描述，并辅以一两个实际的调用示例，顶尖大模型几乎可以一次性生成完全正确的请求，这个进步是构建可靠Agent的关键前提。如果口径不明确，AI 的回答就可能是错误的，甚至是危险的。搭建和维护复杂的数据分析和用户运营系统需要专业的技术知识和技能，这对于许多企业来说是巨大的挑战，不仅需要投入大量的人力和物力，还需要持续的技术更新和升级。用户提出的需求可能是模糊的，平台。
博客
用数据丈量时代：神策十年进化论
07-07 419
神策数据立足企业业务增长，研究沉淀各行业领域实操经验，基于已为 30 多个细分领域的 2500+ 企业提供数字化服务的经验，打造出近千个指标的体系化指标拆解工具，可辐射业务、运营、数据分析等多个岗位角色，赋能企业增长，提升经营效率。越来越多的企业，在人才招聘中，将通过。神策数据在飞速发展，服务的客户与日俱增，但无论走得多远，我们都将本着给客户带来价值的价值观，服务好每一位客户，与各位一同乘帆远航。与灵活的被集成能力、落地的数字化客户经营的解决方案，以及完备的数据安全和合规体系，帮助企业实现数字化客户经营。
博客
Agentic AI X 数据智能：从自动化到业务增长的跃迁路径
06-24 1480
数据 Agent 的出现，凭借大模型的推理能力，可实现企业原有策略与私有数据的整合，打通业务与数据的壁垒。这种动态进化让 Agent 逐渐形成企业的"策略指纹"——当竞品还在用标准化的运营模板时，你的 Agent 已经消化了数百万次真实交互数据，知道如何针对母婴客户在晚 8 点推送童装优惠，或是为数码爱好者定制以旧换新方案。第四点，获得成功：实现以 Anget 赋能业务增长。而真正的挑战在于 Data 层的实现：面对企业分散的数仓、异构的数据架构，我们通过统一接入层实现跨系统数据融合，支撑实时策略分析。
博客
神策 AI 智能运营师：驱动企业用户运营进入智能决策时代
05-15 1298
在此背景下，神策数据正式发布“AI 智能运营师”，依托大模型技术，结合服务 2500+ 企业的行业知识库与实时数据分析能力，为企业提供从智能圈人、策略生成到效果优化的全链路 AI 运营解决方案，助力企业实现“数据驱动、智能决策、高效增长”。无需丰富业务经验，只需以自然语言交互输入目标与场景，神策 AI 智能运营师便可基于历史数据和行业数据，根据客户数据自动分层，匹配画像与特征值，找到目标匹配的潜在增长人群，生成人群包。人工策略设计依赖经验，神策 AI 智能运营师通过数据与策略库匹配，快速输出最优组合。
博客
释放数据潜能！神策分析 MCP Server 启动内测，以对话驱动数据分析！
04-28 912
CP Server 技术方案，通过标准化协议，为 AI 助手提供更强大的数据查询能力和更灵活的扩展空间，助力客户实现更深度的数据分析与业务创新。神策分析 MCP Server 基于神策分析 Open API 构建，通过实现一系列智能查询工具，为 AI 与神策分析搭建了一座便捷的桥梁。他可能需要在分析工具中，先看整体大盘，然后逐层选择维度（如城市、渠道、商品类别），进行繁琐的点击和配置，才能定位到 GMV 变化的原因；报告时，只需说："总结一下近一个月的 GMV 趋势，并生成一份包含主要城市贡献占比的报告。
博客
神策 AI 智能分析师：开启数据分析新纪元
04-16 1296
"未来的企业竞争力，将越来越取决于其将数据转化为决策的能力。神策拥有大量的私有化部署客户，积累了丰富的经验，并做了对应的产品架构层优化，保证客户在私有化环境下的使用也能拥有同等效果。结合客户业务场景特征及私有数据，通过神策 AI 智能分析师，帮客户生成围绕 GMV 全面洞察的 13 个指标分析体系，帮分析师找到遗漏的 3 个关键指标及指标解读（首页活动曝光、首页销售活动归因等），以帮助快速定位问题。结合神策行业知识库，针对该场景的异常问题，AI 将智能适配并推荐该场景的业务突破点，以正确指导业务决策行动。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值