Flink电商实时数仓项目部署上线

最新推荐文章于 2025-06-10 21:56:58 发布
最新推荐文章于 2025-06-10 21:56:58 发布
阅读量609 收藏 9
点赞数 10
文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_44273739/article/details/135400896
版权
本文介绍了如何使用Flink构建实时数仓，包括将自定义依赖部署到Maven，StreamPark的安装与配置，项目部署流程，以及数据接口的Doris集成和数据可视化，涉及Springboot和百度Suglar的使用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Flink实时数仓部署

  1. 将common作为一个自定义的依赖部署到maven中
  2. 使用maven将各个子模块打包
  3. 可以使用FLink框架进行jar包的提交运行。

StreamPark

一个易于使用的流处理应用开发框架和一站式流处理操作平台和管理流应用。它提供了Flink和Spark编写流的脚手架。

  1. Core:可以使用FlinkSQL来编写简单的业务逻辑
  2. pump:提供各种连接器
  3. console:控制台，集成了项目编译、发布、参数配置、启动、保存点、火焰图、监控等功能（重点）

安装StreamPark

  1. 安装Linux的maven, 可以去检查一下版本目前是否还存在。
  2. 解压到/opt/moduel目录下
  3. 创建软链接，连接bin/mvn 和/usr/bin/mvn这两个目录
  4. 修改镜像源为国内的阿里镜像
  5. 上传streamPark的jar包
  6. 将mysql目录下的conncector连接器jar包复制到到streamPark的lib目录下
  7. 运行建库和建表的脚本在这里插入图片描述
  8. 修改配置文件application.yml
    • profiles.actives: mysql 改为mysql
    • 工作目录
      • local:/opt/module/stream_park_workspace
      • remote: HDFS路径
    • 配置mysql.yml
最低0.47元/天 解锁文章
Flink——芒果TV的实时数仓建设实践
爱吃辣条的博客
02-29 1799
Flink——芒果TV的实时数仓建设实践
Doris实战——结合Flink构建极速易用的实时数仓
爱吃辣条的博客
02-25 6704
Doris实战——结合Flink构建极速易用的实时数仓
Flink实时需求实战
Alixe的博客
10-22 1074
Flink实战
Apache Doris 实时数据仓库的构建与技术选型方案
顺其自然~专栏
01-06 761
换而言之，从 T+1 进化到分钟级，以当前的解决方案和组件能力而言，可能不是什么难事，反而还可能降低机器成本，同时业务方一般在分析查询领域，分钟级其实对他们而言是完全够用的，一个查询结果生成到后续人工讨论出决策方案然后再落地执行，这种周而复始的工作周期分钟级的时效性粒度可以充分的满足，这就完美的实现全面的降本增效，打了一手好牌。各方面的综合能力利用。渴望的是负责业务开发和数据应用的同学，因为新的时效性带来的可能不仅仅是取数、出数的快与慢，而在于对于业务本身的帮助，可能非同日而语了。
Doris实战篇-准实时数仓架构设计与实现
S1124654的博客
07-06 745
这是一篇Doris数据仓库架构随笔，会应用到一些优秀的用户案例和自己的见解，欢迎大家留言评论。
Flink：Doris
大连赵哥的博客
09-23 699
Flink：Doris
Apache StreamPark系列教程第二篇——项目打包和开发
诸葛子房的博客
08-24 1842
默认是h2(内存数据库，项目重新启动，数据库信息丢失)，因此建议修改为mysql，同时workspace路径目录也需要修改。备注：Flink SQL demo会运行一段时间之后自动结束，因为代码里面设置自动生成数据是增量数据，如果想任务一直运行。Flink Home 配置：/root/flink/flink-1.14.5 上述flink 的安装路径。修改完成之后点击release(发布作业)然后start(启动作业)，任务即可启动成功。访问http://ip:10000 没问题即认为安装无误。
【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据采集
prague6695的博客
07-14 4788
【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据采集
1.8万字详解实时数仓建设方案及大厂案例
qarrylovy的博客
03-30 1517
一、实时数仓建设背景 关注公号： 数元斋 1. 实时需求日趋迫切 目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫切，需要实时数仓的能力来赋能。传统离线数仓的数据时效性是 T+1，调度频率以天为单位，无法支撑实时场景的数据需求。即使能将调度频率设置成小时，也只能解决部分时效性要求不高的场景，对于实效性要求很高的场景还是无法优雅的支撑。因此实时使用数据的问题必须得到有效解决。 2. 实时技术日趋成熟 实时计算框架已经经历了三代发展，分别是：Storm、SparkStreaming、Flink，计
【万字长文】电商离线数仓6.0学习笔记1：环境配置前（P1-P16）
weixin_73297164的博客
02-23 691
电商数仓6.0项目环境配置前部分的笔记整理。
StreamPark从零快速入门（本地调试、功能演示及源码分析）
阿甘兄
01-12 5213
StreamPark从零快速入门（本地调试、功能演示及源码分析）
Apache StreamPark 使用教程
gitblog_00782的博客
08-07 646
Apache StreamPark 使用教程 incubator-streamparkMake stream processing easier! Easy-to-use streaming application development framework and operation platform.项目地址:https://gitcode.com/gh_mirrors/in/incubat...
Flink 流批一体一站式平台 StreamX 来袭
u013620245的博客
01-27 4491
StreamX, 项目的初衷是 — 让流处理更简单, Flink & Spark极速开发框架, Flink流批一体大数据平台 ! 实时即未来,在实时处理流域Apache Spark和Apache Flink是一个伟大的进步,尤其是Apache Flink被普遍认为是下一代大数据流计算引擎, 我们在使用Flink&Spark时发现从编程模型, 启动配置到运维管理都有很多可以抽象共用的地方, 我们将一些好的经验固化下来并结合业内的最佳实践, 通过不断努力终于诞生了今天的框架 StreamX
maven编译，本地jar存在确报找不到
z1012890225的专栏
09-16 5004
maven 多模块打包依赖找不到问题
CVE-2020-17519源码分析与漏洞复现(Flink 任意文件读取)
spinage的博客
06-06 968
Apache Flink REST API 存在任意文件读取漏洞（CVE-2020-17519，CVSS 7.5），影响1.11.0-1.11.2版本。该漏洞源于JobManager的REST接口未对/jobmanager/logs/<filename>路径进行规范化校验，攻击者可通过双重URL编码（%252f）绕过防护，读取系统敏感文件（如/etc/passwd）。官方在1.11.3/1.12.0版本中通过normalize()路径标准化和边界校验修复漏洞。临时缓解建议包括网络隔离、代理过滤和启用认证。
《基于Apache Flink的流处理》笔记
千里之行，始于足下
06-06 840
本文提供了Apache Flink学习资源的思维导图（1-11章）和参考资料，包括源码仓库、官方博客、技术会议等。思维导图清晰展示了章节内容结构，技术文档链接指向Flink 2.0中文版。文末还给出了使用Maven创建Scala项目的命令模板，并附有Flink架构图，为学习者提供了全面的技术学习路径和开发工具指引。（98字）
CentOS7下的Flink 集群部署
2401_83224865的博客
06-10 488
通过以上步骤，可构建一个高可用、高性能的 Flink 分布式流处理集群，支撑实时数据处理与分析任务。生产环境中需结合业务场景优化资源分配、内存使用及 Checkpoint 策略，并利用 Flink 生态工具（如 Flink SQL、Table API）提升开发效率。参考官方文档（）可进一步学习流处理语义、机器学习集成等高级特性及性能调优技巧。
基于Scala实现Flink的三种基本时间窗口操作
渣渣盟的博客
06-07 704
摘要： 该代码展示了Apache Flink中的三种流联结操作：窗口联结(WindowJoin)、间隔联结(IntervalJoin)和窗口同组联结(CoGroup)。窗口联结通过TumblingEventTimeWindows实现5秒滚动窗口的键值匹配；间隔联结处理订单和点击事件的时序关联，使用between方法定义前后时间范围；同组联结则对窗口内的数据进行分组处理。代码优化包括改进时间戳处理(使用WatermarkStrategy)、调整并行度和优化输出格式，增强了处理乱序事件的能力和可读性。三种联结方
互联网大数据求职面试：从Zookeeper到数据挖掘的技术探讨
最新发布
FS1HelloWord的博客
06-10 514
这篇文章通过对话形式展示了互联网大数据求职者的面试过程，涵盖了从分布式协调到数据挖掘的多个技术点，结合了实际的业务场景，比如电商数据分析和实时数仓等。程序员小白在面试中对技术问题的应对，展现了学习和成长的过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值