技术实践 | 如何基于 Flink 实现通用的聚合指标计算框架

原创 于 2021-06-17 08:28:00 发布 · 936 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #大数据 #数据分析 #人工智能 #数据库

本文介绍网易云信如何基于Flink StreamAPI构建实时聚合指标计算框架，解决大规模数据处理中的数据倾斜问题，实现高效、易维护的服务监控平台。

导读：网易云信作为一个 PaaS 服务，需要对线上业务进行实时监控，实时感知服务的“心跳”、“脉搏”、“血压”等健康状况。通过采集服务拿到 SDK、服务器等端的心跳埋点日志，是一个非常庞大且杂乱无序的数据集，而如何才能有效利用这些数据？服务监控平台要做的事情就是对海量数据进行实时分析，聚合出表征服务的“心跳”、“脉搏”、“血压”的核心指标，并将其直观的展示给相关同学。这其中核心的能力便是 ：实时分析和实时聚合。

文｜圣少友 网易云信数据平台资深开发工程师

在之前的《网易云信服务监控平台实践》一文中，我们围绕数据采集、数据处理、监控告警、数据应用 4 个环节，介绍了网易云信服务监控平台的整体框架。本文是对网易云信在聚合指标计算逻辑上的进一步详述。

基于明细数据集进行实时聚合，生产一个聚合指标，业界常用的实现方式是 Spark Streaming、Flink SQL / Stream API。不论是何种方式，我们都需要通过写代码来指定数据来源、数据清洗逻辑、聚合维度、聚合窗口大小、聚合算子等。如此繁杂的逻辑和代码，无论是开发、测试，还是后续任务的维护，都需要投入大量的人力/物力成本。而我们程序员要做的便是化繁为简、实现大巧不工。

本文将阐述网易云信是如何基于 Flink 的 Stream API，实现一套通用的聚合指标计算框架。

整体架构

如上图所示，是我们基于 Flink 自研的聚合指标完整加工链路，其中涉及到的模块包括：

  • source：定期加载聚合规则，并根据聚合规则按需创建 Kafka 的 Consumer，并持续消费数据。

  • process：包括分组逻辑、窗口逻辑、聚合逻辑、环比计算逻辑等。从图中可以看到，我们在聚合阶段分成了两个，这样做的目的是什么？其中的好处是什么呢？做过分布式和并发计算的，都会遇到一个共同的敌人：数据倾斜

最低0.47元/天 解锁文章
博客
媒体观点丨时代越智能，融合通信价值越凸显
12-02 62
深入来看，这里的服务逻辑已经发生转变，无论是商户与采购商的远程沟通（需要实时音视频的高效连接），还是智能导购设备、跨境电商直播工具的智能化改造（需要AI交互能力加持），抑或是义乌商品的智能化升级（借助AI来实现更有温度的交互等）都需要网易云信与义乌进行深度的合作、探索，来反复聚焦具体的场景进行适配。这种高效连接的价值直击企业与时代的痛点。随着 AI、物联网技术的成熟，连接的边界持续拓宽，其中就包括人与AI的情感陪伴、设备与设备的实时协同、场景与场景的智能联动等，这些正在成为新的需求增长点。
博客
新国标之下，智能陪伴时代正当时
11-28 559
从如乐鑫 ESP32、思澈黄山派等行业主流芯片模组，到震动马达、摄像头、麦克风、电池等配件，网易云信联合硬件合作伙伴，为厂商提供从适配到落地的一体化解决方案。不仅集成大模型功能，持续打磨情绪识别与多模态交互能力，更创新地引入了短期、中期与长期的三层记忆架构，使得玩具能够记住用户的喜好与习惯，这与网易云信的实践观察不谋而合，我们深刻理解，真正的智能陪伴不在于短暂的交互新奇感，而在于长期、稳定且有记忆的情感连接。因此，谁能把握此刻的趋势，谁就是在与未来五年智能消费品最确定的增长曲线同频共振。
博客
网易云信“听房师”：让语聊房运营从“黑盒”走向“明盒”
11-27 13
将顶级运营经验量化拆解为可复制的方法论，为全平台主播培训提供标准化“弹药”，让优秀不再依赖个别“明星主播”，实现整体用户体验与付费转化的规模化提升。网易云信希望通过这一产品，将AI能力转化为每个娱乐社交平台都能轻松复用的增长利器，让它成为一位不知疲倦、专业资深的“AI 运营专家”，7x24 小时“值守”平台的每一个语聊房，助力行业。主播的服务表现，能否真正支撑起用户的付费意愿？“付费用户”的对话内容、“付费用户”上下麦的时间节点、“付费用户”送礼的触发场景、“付费用户”离房的潜在原因。
博客
智能玩具新纪元：一个AI能力底座开启创新“加速度”
11-24 754
我们定义了情感陪伴智能体的演进阶段：E0阶段为被动机械响应的脚本式交互，E1阶段接入文本大模型后，智能体已经具备上下文理解与短期记忆，到E2阶段的多模态情绪识别，再到E3阶段的主动关怀和长期情感记忆，智能体逐渐建立依恋关系，进一步实现稳定的人格与情绪演化，最终达成共生目标。阙杭宁基于在即时通讯领域的十年技术积累与五年的C端少儿产品深度实践，系统阐释了在AI能力底座下，如何实现通讯技术与智能交互的融合创新，构建情感陪伴垂直场景解决方案，以帮助合作伙伴大幅降低AI应用的创新门槛与POC周期。
博客
网易云信 IM UIKit 全面升级 重构智能产品开发体验​
11-21 29
基于鸿蒙系统的分布式能力，云信 IM UIKit 可以实现高性能渲染与系统级深度融合，让 IM 功能在鸿蒙设备上具备更低的资源占用与更稳定的运行表现。未来，网易云信将持续聚焦即时通讯领域的技术创新，推出更多贴合社交、办公、客服、教育等垂直场景的功能模块，与开发者共同构建。从 AI 能力与 IM 场景的深度融合，到 UI 自定义自由度的大幅提升，再到核心功能的场景化优化，都是以助力企业。从传统开发的“数周级”接入周期，压缩至“数小时级”，正是网易云信在 AI 时代给到开发者的答案。
博客
发改委等八部门再发《指引》，远程异地评标成为硬要求，网易云信为招标人提供“标准答案”
11-18 885
近日，为深入治理招标投标领域突出问题，国家发展改革委联合工业和信息化部、住房城乡建设部、交通运输部、水利部、农业农村部、商务部、国务院国资委等8部门，印发《招标人主体责任履行指引》（以下简称《指引》），为招标人履行主体责任提供具体明确的行为规范，引导和督促招标人履职尽责。《指引》围绕标前工作、招标和投标、组织开标和评标、定标、履约管理、监督管理等6个重点环节，逐项明确招标人履行主体责任的方式和要求，强调招标人对招标投标活动的科学性、合法性、廉洁性负责。
博客
破局数字化转型，网易云信与四川央国企共探产业升级新生态
11-13 748
其在产业数字化板块的数字供应链、数据智能应用、数字化工厂、数字化财务等领域拥有深厚的数字化服务落地能力，目前已服务于中国铜业、中国海油、五粮液等众多行业头部客户。后续，集团目标是将平台发展为集采购、贸易、仓储、物流、金融、数据服务于一体的供应链管理者和产业组织者，推动全产业链数字化升级的战略布局，最终构建“优质朋友圈”式产业生态圈。众人纷纷表示，希望能以此次交流为起点，建立更常态化、机制化的互动模式，未来有更多机会齐聚一堂，碰撞思想、促进合作，携手为四川乃至全国的产业数字化升级注入新动能。
博客
AI+文旅+游戏：跨越四百年的“寻梦”之旅
11-11 28
上，深度融合了其在《忘川风华录》中的经典IP形象，精心设定了温文尔雅、博学多才的谈吐风格，让每一次对话都不仅是一次信息获取，更是一场与历史文人跨越时空的风雅对谈，极大地提升了用户的沉浸感。上，“汤公”接入了详尽的遂昌本地历史文献、文旅资料与景点介绍，构建起一个庞大的知识库，确保他能如数家珍般介绍当地风土人情、自身生平轶事乃至《牡丹亭》的创作渊源，做到真正的“对答如流”，将线上流量引导至线下景点。中的汤显祖跨越古今的清梦，一袭紫衣斜倚梅窗，手中的狼毫重新着墨，这一次，写的不仅是戏文，更是与你共享的酣畅对话。
博客
媒体观点丨千家万业拥抱AI，谁为“最后一米”连接兜底？
11-07 32
更致命的是，消费硬件接入的智能体的能力同质化，大多停留在能对话的低阶智能，缺乏人格一致性、长期记忆等高阶智能，可能今天叫用户“宝贝”，明天就忘了用户是谁，这种割裂的体验导致了极高的退货率。传得稳、传得快的通信能力，是AI落地的基本前提，在此之上，AI还须具备能干活的专业能力、能记住我们是谁的情感能力。，网易云信不做基模，避开通用大模型的红海，通过结合场景与历史语料开展后训练，AI能实现更精准的业务适配，比如在会议场景中，AI能依据组织架构识别“谁是领导、谁是项目经理”，让输出更贴合实际需求。
博客
前沿观察 | 网易云信首发，情感陪伴智能体演化五阶段
11-07 571
然而，当前阶段的AI系统在情感认知维度仍存在显著断层，语音交互缺乏对话脉络的连续性，生成式模型尚未建立真正的情感理解，这种情感鸿沟构成了人机协同进化的关键屏障。更重要的是，它能在与用户的长期互动中“共同成长”——理解你的节奏，适应你的风格，并形成双向情感反馈。E0阶段的智能体，依靠脚本规则或固定关键词进行触发和回应，只能被称为语音机器人，做一些机械的来回问答，例如，“你好，我能讲故事”。从“数据到温度”，从“算法到故事”，情感陪伴智能体正在让AI变得更像“人”，也让人类在科技的映照中看见更深层的自我。
博客
远程异地评标政策频发，网易云信如何破解“最后一公里”通讯难题？
11-06 941
据媒体报道，近日，广西-河南、天津-乌鲁木齐、云南-广西等地陆续开展跨省远程异地评标项目，部分地区是《国家发展改革委办公厅关于加快推广远程异地评标的通知》下的首个跨省远程异地评标，打破了传统评标的地域和空间限制，两地区评标资源得到有效整合。”等工作的开展，凸显吉林省“扎紧权力运行的制度笼子”，“不断推动招投标市场从关系竞争转向实力竞争”，“为构建全国统一大市场提供坚实的纪律支撑”的决心。跨省远程异地评标打破了传统模式的空间限制，推动各地专家资源优势互补，使项目能够匹配到更专业的评审力量。
博客
媒体观点丨网易云信，做“单纯”的企业没啥不好
10-31 47
这也意味着，“产品经理+AI”就可突破原有产品经理的能力边界，“产品经理+AI+研发经理”，更能以全新的协作方式，完成“理工直男”与“文艺青年”的融合。未来，AI在重构情感陪伴，也在重构企业中的每一场会议、每一次招投标、每一次技术服务、每一次社交沟通，而只有给网易云信一点点时间，这家公司就会向市场证明，不合流于低端的内卷，不掺杂其他目的单纯地做好产品，这才是正确的方向；或者说，除了传递人与人之间的信息，网易云信更在传递人与AI的信息，其服务将从“基础通信管道”逐步演化为“AI 交互落地的关键引擎”。
博客
媒体观点丨网易云信拥抱下一个十年，能否成为AI领航者？
10-31 31
加上网易系不贪快、不冒进的文化风格，一年一基础，三年一台阶，蜕变就在一点一滴的改变中，理论研究、产品架构、人员变革、客户经营、上下游协同等等，千头万绪从头越，慢下来，会更快。在框架层面，不搞颠覆性改造，聚焦开箱即用的轻量化方案，降低企业接入门槛；网易云信的选择是，不做大而全的AI平台，而是基于十年积累的通信网络向上延伸，距离用户更近，聚焦用户痛点场景，让现有优势具像化。对网易云信而言，这不是“一拍脑袋”而定的事情，也不是“蹭”AI风口，而是在传统融合通信“泥潭”的自我救赎，是仰望未来10年的“再出发。
博客
构筑深度情感联结：故事引擎背后的四种叙事模式
10-30 449
与此同时，导演逻辑始终在后台保持活跃，在关系发展的平稳期、瓶颈期或跃升期适时介入，利用LLM的生成能力创造全新的、个性化的剧情篇章。该模式确保了智能体在长期互动中，性格、行为逻辑与关系认知的高度一致性，为用户提供了稳定且可信的沉浸感基础，让自由探索成为可能。这些由算法驱动、结合用户记忆触发的碎片化情节，以其出现的不确定性与内容的个性化，有效维持了长期关系中的新鲜感与亲密感，形成了一种可持续的吸引力循环。通过四种叙事模式的灵活配置与智能切换，线性的剧本、动态的生成与持续的记忆被编织成一个生生不息的叙事网络，
博客
网易云信携手义乌共建AI玩具生态，义博会签约开启小商品智能化新篇章
10-28 43
网易云信的情感陪伴智能体和 AI 玩具解决方案依托自研的三层记忆架构，成功破解了当前 AI 普遍存在的 “失忆症” 难题，使玩具能够实现从 “单次响应” 到 “持续情感交互” 的升级。网易云信的技术积累与我们的产业基础形成完美互补，此次合作不仅能带动玩具产业提质增效，更将为文具、礼品等更多小商品品类的智能化升级提供示范样本。此次合作，网易云信以 AI 技术赋能玩具产业为核心切入点，旨在携手义乌小商品城共同破解传统小商品产业创新瓶颈，为全球最大的小商品集散中心注入。作为此次合作的技术核心支撑，网易云信基于“
博客
网易云信10周年宣布品牌升级，从“基础通信管道”到“AI交互引擎”
10-23 485
今年8月，国务院印发《关于深入实施“人工智能+”行动的意见》，大力推动人工智能与经济社会各行业各领域广泛深度融合，并为人工智能整体发展划定了清晰的时间表和路线图，提出“到2027年，率先实现人工智能与6大重点领域广泛深度融合，新一代智能终端、智能体等应用普及率超70%，智能经济核心产业规模快速增长，人工智能在公共治理中的作用明显增强，人工智能开放合作体系不断完善”等明确目标。而现在，除了传递人与人之间的信息，我们也在传递人与AI的信息，因为当前外界与AI的一切交流仍然高度依赖通信技术来实现传输。
博客
行业首发 | 网易云信招采会议组件重磅发布，率先适配国家技术标准
10-20 940
对于开发能力薄弱、开发资源有限的平台客户，网易云信提供了带 UI 的 Web 组件和清晰的 API 文档，客户无需投入大量产品设计和开发资源，仅仅通过简单“组件式对接”，便可在极短时间内为现有系统赋予功能完备、体验流畅的音视频会议能力，显著降低开发成本。例如，监督角色默认关闭自身音视频，仅可查看全场情况，且不在成员列表中显示，充分满足了招采业务的特殊需求。云信希望通过技术创新，追平甚至超越传统厂商在低成本集成场景上的能力，为更多的招采平台客户插上“音视频的翅膀”，共同推进行业的标准化与智能化进程。
博客
MCtalk·无限对话云信十周年特别版 | 以 AI 重塑融合通信的价值边界
10-17 76
有一个情况我觉得非常有意思，可能一年前，当我们与客户探讨类似话题时，他们的反应是，“我们自己也能做”，但到了今年，客户的反馈发生了明显变化，虽然市场上有不少开源方案可供使用，但往往效果并不理想，多数都像“搭积木”一样，东拼西凑出了一个成果，只能作为一个demo演示，完全达不到商业化产品的成熟度。我们做ToB业务一直讲要坚持长期主义，就像一场马拉松，一时快不是真的快，特别是我们从事的PaaS业务，更是一个细水长流的过程，在这十年的发展过程中，其实很少有突飞猛进的进展，更多是依靠一点一滴的持续积累。
博客
从“能对话”到“懂用户”，科技让硬件变得“活泼生动”！
10-16 111
在同期举办的主题峰会上，网易数智相关负责人围绕 AI 硬件玩法、体验创新进行了详细的分享，在提及 AI 玩具当前发展与制约瓶颈方面，更是提到：“玩具行业想要摆脱低价竞争格局，AI 玩具发展是一个机会，也是一个方向，但同时传统玩具厂商缺乏相关的。不论是 AI 玩具，抑或其他硬件想进行 AI 化改造，不是接入一个模型或者加一个模组，或者基于开源系统进行智能体开发，而是需要基于用户需求，对。同时，支持中、英、日等多语种及主流方言识别，兼容全球主流 LLM 模型，为硬件厂商提供灵活扩展的技术方案。
博客
网易云信10周年：AI点亮通信的智慧与温度
10-13 873
网易云信的嵌入式智能体为 AI 智能硬件提供了强大的技术内核，将成熟的融合通信能力与 AI 技术深度耦合，精准解决识别、互动、话题扩展、内容安全、定制音色、功耗、芯片适配等多种问题，支持通过摄像头识别用户皱眉、低头等微表情，结合麦克风捕捉的语音语调，双重判断情绪状态。随着 AI 技术蓬勃发展，其更强的知识储存和记忆能力、理解能力、创造能力，以及所展现出的更自然和拟人化的交互特点，都为传统云通信注入了新的活力，推动网易云信从“基础通信管道”逐步演化为“AI 交互落地的关键角色”。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值