Flink在米哈游的应用实践

最新推荐文章于 2025-11-24 22:10:27 发布

MfvShell

最新推荐文章于 2025-11-24 22:10:27 发布

阅读量154

点赞数

CC 4.0 BY-SA版权

文章标签： flink 大数据

本文链接：https://blog.youkuaiyun.com/MfvShell/article/details/133028484

Flink 专栏收录该内容

64 篇文章 ¥59.90 ¥99.00

订阅专栏

本文介绍了Flink在米哈游的实际应用，包括实时数据处理（如玩家事件数据的实时分析）和批处理任务（如玩家角色数据的离线统计），展示了Flink如何帮助优化游戏性能并提升用户体验。

近年来，Flink已成为大数据处理领域中的热门技术之一。它是一个开源的分布式流处理和批处理框架，提供了高吞吐量、低延迟和容错性等关键特性。在这篇文章中，我们将探讨Flink在米哈游的应用实践，并展示一些相应的源代码示例。

实时数据处理

在游戏开发中，实时数据处理对于监控和优化游戏性能至关重要。米哈游使用Flink来处理各种实时数据，例如玩家行为数据、日志数据和游戏事件数据等。下面是一个使用Flink处理游戏事件数据的示例：

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

// 从Kafka主题读取游戏事件数据流
FlinkKafkaConsumer

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

MfvShell

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

订阅专栏

Flink在游戏行业中的实时数据分析应用

AI天才研究院

02-16

160

1. 背景介绍 1.1 游戏行业的数据挑战随着游戏行业的快速发展，游戏公司需要处理的数据量也在不断增长。实时数据分析在游戏行业中扮演着越来越重要的角色，它可以帮助游戏公司实时了解玩家行为、优化游戏体验、提高玩家留存率和付费转化率等。然而，传统的数据处理方法往往无法满足游戏行业对实时数据分析的需求

Flink FFA 2022 Flink在米哈游的应用实践

02-29

Flink FFA 2022 Flink在米哈游的应用实践

参与评论您还未登录，请先登录后发表或查看评论

网易游戏 Flink SQL 平台化实践

大数据星球-浪尖

07-31

557

01网易游戏 Flink SQL 发展历程网易游戏实时计算平台叫做 Streamfly，这个名字取名自电影《驯龙高手》中的 Stormfly。由于我们已经在从 Storm 迁移到 Flink，所以将 Stormfly 中的 Storm 替换成了更为通用的 Stream。Streamfly 前身是离线作业平台 Omega 下的名为 Lambda 的子系统，它负责了所有实时作...

网易游戏 Flink 云原生实践

Ververica的博客

05-08

1382

本文整理自网易游戏实时计算&数据湖平台负责人林小铂老师和网易游戏大数据开发工程师陈宇智老师，在Flink Forward Asia 2024 云原生专场的分享。

Flink 在米哈游的应用实践

Ververica的博客

12-19

1393

摘要：本文整理自米哈游大数据实时计算团队负责人张剑，在 Flink Forward Asia 2022 主会场的分享，本篇内容主要分为三个部分：发展历程和平台建设场景应用实践未来展望Tips：点击「阅读原文」获取演讲 ppt01发展历程和平台建设米哈游成立于 2011 年，致力于为用户提供高品质、超出预期的产品和服务。公司陆续推出多款人气产品，如崩坏学园 2、崩坏 3、未定事件簿、原神以及社区产品...

Flink在米哈游的落地实践

过往记忆大数据

03-20

4695

摘要：本文是来自米哈游大数据部对于Flink在米哈游应用及实践的分享。本篇内容主要分为四个部分：1.背景介绍 2.实时平台建设3.实时数仓和数据湖探索4.未来发展与展望作者：实时计算负责人...

Flink 在米哈游的落地实践

Ververica的博客

03-23

552

▼ 关注「Apache Flink」，获取更多技术干货▼摘要：本文作者米哈游大数据部实时计算负责人张剑，分享 Flink 在米哈游的应用及实践。本篇内容主要分为四个部分：背景介绍实时平台建设实时数仓和数据湖探索未来发展与展望Tips：点击「阅读原文」查看更多技术内容～一、背景介绍米哈游成立于 2011 年，致力于为用户提供美好的、超出预期的产品与内容。公司陆续推出了多款...

Flink SQL 在米哈游的平台建设和应用实践

Ververica的博客

02-08

856

摘要：本文整理自米哈游大数据实时计算团队负责人张剑，在 FFA 行业案例专场的分享。本篇内容主要分为三个部分：发展历程平台建设未来展望Tips：点击「阅读原文」查看原文视频&演讲 ppt01发展历程随着公司业务的发展，实时计算需求应运而生。我们根据重点的工作内容将发展阶段划分为三个部分：第一阶段是以 DataStream API 开发为主的 Flink 平台第二个阶段是以 Flink SQ...

Flink Forward Asia 2022 主论坛概览

weixin_45906054的博客

11-30

275

2022 年 11 月 26-27 日，Flink Forward Asia（FFA）峰会成功举行。Flink Forward Asia 是由 Apache 软件基金会官方授权、由阿里云承办的技术峰会，是目前国内最大的 Apache 顶级项目会议之一，也是 Flink 开发者和使用者的年度盛会。由于疫情原因，本届峰会仍采用线上形式。此外，本次峰会上还举行了第四届天池实时计算 Flink 挑战赛的颁...

米哈游大数据云原生实践

云布道师

11-20

931

为了解决原有架构缺乏弹性、运维复杂、资源利用率低等问题，2022 年下半年，我们着手调研将大数据基础架构云原生化，并最终落地了 Spark on K8s + OSS-HDFS 方案，目前在生产环境上已稳定运行了一年左右的时间，并获得了弹性计算、成本节约以及存算分离这三大收益。弹性计算由于游戏业务会进行周期版本更新、开启活动以及新游戏的上线等，对离线计算资源的需求与消耗波动巨大，可能是平时水位的几十上百倍。

上海校区大数据企业面试真题V1.3.docx【大数据技术】基于Flink的实时数仓架构设计与优化：企业级流处理系统在精准一次消费与状态管理中的实践应用

09-05

该文档为《上海校区大数据企业面试真题V1.3.docx》，汇总了来自米哈游、美团、华为、字节跳动等数十家企业的面试题目，涵盖大数据技术栈中的核心组件与概念，包括Flink、Spark、Kafka、Hive、HBase、Redis、...

大数据面试精华：Flink技术挑战与实战经验

本资源是一份关于大数据技术的面试真题集，包含了米哈游和美团外包两部分，主要聚焦于Flink和Spark的相关知识。以下是详细的知识点解析： 1. Flink的非barrier对齐：Flink的非barrier对齐指的是Flink流处理引擎中的...

Flink CDC系列之：Doris 模式工具类DorisSchemaUtils

最新发布

zhengzaifeidelushang的博客

11-24

Flink CDC系列之：Doris 模式工具类DorisSchemaUtils

Flink CDC 用 SqlServer CDC 实时同步数据到 Elasticsearch

hello.reader

11-21

4802

本文演示了如何通过Flink CDC实现SqlServer到Elasticsearch的数据实时同步。主要步骤包括：使用Docker Compose部署SqlServer 2019、Elasticsearch 7.6.0和Kibana 7.6.0环境在SqlServer中创建inventory数据库和products/orders表，并开启CDC功能配置Flink环境，添加SqlServer CDC和Elasticsearch连接器在Flink SQL中定义CDC源表和ES目标表通过SQL实现表关

SpringBoot集成Flink-CDC，实现对数据库数据的监听

2509_94087457的博客

11-21

814

CDC 是（变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。/*** 反序列化数据,转为变更JSON对象*/@Override//5.获取操作类型 CREATE UPDATE DELETE2 : 3;//7.输出数据/*** 从元数据获取出变更之前或之后的数据*/= null) {

Flink CDC 用 Oracle CDC 实时同步数据到 Elasticsearch

hello.reader

11-20

964

本文演示了如何使用Flink CDC连接Oracle数据库，实时捕获数据变更并同步到Elasticsearch。通过Docker Compose搭建了包含Oracle 19c、Elasticsearch 7.6.0和Kibana 7.6.0的环境。首先在Oracle中创建了PRODUCTS和ORDERS表并插入测试数据，然后配置Flink SQL连接器，实现从Oracle CDC源表读取数据，经过SQL Join处理后写入Elasticsearch索引，最终通过Kibana进行可视化展示。整个过程涵盖

Flink CDC系列之：数据接收器工厂类DorisDataSinkFactory

zhengzaifeidelushang的博客

11-24

Flink CDC系列之：数据接收器工厂类DorisDataSinkFactory

通过Flink 1.19 客户端实现Flink集群连接paimon基础测试

QXXDYL的博客

11-23

571

python版本:3.8.20该测试旨在描述如何通过 Python 自动化脚本远程连接 Flink 集群，并对 Paimon 数据湖格式进行基础的 CRUD（增删改查）及压力测试。描述了一套基于 Pythonparamiko库实现的自动化测试流程。该流程通过 SSH 连接到部署了 Flink 客户端的远程服务器，利用提交 SQL 任务到 Flink on YARN 集群，完成针对 Paimon 表的批量读写、更新和删除操作，并进行数据一致性校验。