棉花糖丶-优快云博客

原创 flink进阶-时间窗口与状态机制结合案例及说明

本文介绍了两个实际案例，展示了Flink流处理中滚动窗口和滑动窗口的应用，结合状态操作实现复杂数据分析和实时统计功能。第一个案例中，我们以实时交易数据为例，使用滚动窗口将数据按5秒间隔划分为不重叠的时间段，同时利用Flink的状态管理功能累计计算每个窗口内的交易总额，实时展示不同交易渠道的金额变化。第二个案例以电商平台为背景，引入滑动窗口，将数据按10秒间隔划分为可能重叠的时间段，使用状态对象记录每个商品最近10秒和5到10秒内的销售数量，实时监控热销商品和销售趋势。这些案例突出了Flink强大的窗口和状态

2023-07-27 16:23:59 508 1

原创 Flink算子学习笔记-算子详细介绍及示例

本篇文章深入介绍了 Apache Flink 中常用的算子及其在实际应用中的场景和示例，涵盖了流处理和批处理任务的关键算子。适用于对 Flink 感兴趣的开发者。读者通过本文能够深入了解不同算子的底层逻辑和适用场景，掌握如何利用 Flink 解决实际数据处理问题。文章通过丰富的代码示例和详细解释，帮助读者更好地理解算子的使用方法和效果。无论是处理大规模数据、实时流计算还是批处理任务，本文都为读者提供了有用的指导，使其能够更好地应用 Flink 构建高效、稳定的数据处理应用。

2023-07-27 14:36:09 1693

原创《Flink实战与性能优化》阅读总结

《Flink实战与性能优化》是一本深入实践Flink的实时计算引擎的实用指南。通过详细介绍Flink的流处理和批处理功能，以及表格API的使用，读者可以全面掌握Flink的基本概念和操作。同时，本书的重点在于Flink性能优化和实践，通过丰富的实例和经验分享，让读者了解如何优化Flink应用的性能和稳定性。无论是初学者还是有一定经验的开发者，都能从本书中获得实用的知识和技巧，为构建高效的实时计算应用提供强有力的支持。

2023-07-25 20:41:28 216

原创《flink介绍摘录-flink基础-1》

这篇文章讨论了 Apache Flink 的整体架构，它是一个分布式计算引擎。架构分为多个层次，包括 API 层、运行时层和资源管理层。文章还探讨了 Flink 可以部署的各种方式，例如 Standalone、YARN、Kubernetes 和 Mesos 等。此外，文章还介绍了 Flink 的作业提交流程、API 和丰富的 Connector

2023-07-19 16:00:45 106

原创最简单dophinscheduler 集成datax步骤

#找个目录cd /data#如果有更改python环境的话，需要再环境下挂python2.7ln -s /usr/bin/python2.7 /data/anaconda3/bin/python2.7#从官网下载datax安装包wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz#习惯于把安装包放到一个固定的地方存起来，可以忽略mv datax.tar.gz /data/pac..

2022-02-17 10:14:02 2689

原创 CDH6.2集成flink1.11.6管理

因官方parcel下载地址关闭，所以需要手动编译集成。文章引用自：cdh6 flink 安装«海底苍鹰(tank)博客与文中不同的是，我们需要在cdh6.2上集成flink1.11.6，下面一起来试试吧clone git项目用于编译parcel包，提供给CDHgitclonehttps://github.com/pkeropen/flink-parcel.git下载完毕，进入目录vim flink-parcel/flink-parcel.properties修改..

2021-12-27 19:04:39 1027

原创简单剖析datax执行过程（原理）

DataX架构简介DataX设计理念模块介绍入口，目录如左图 DataX启动过程启动读文件加载配置json（在这一步可以做一些配置化集成）绑定column转换信息，主要针对日期格式初始化插件配置信息 DataX主要执行过程这里贴一下split和scheduler核心代码Split:needChannelNumber 是建议分片数，根据配置计算获得taskNum...

2021-06-19 16:06:53 4732

原创如何做到轻量级全自动mock

使用automock工具可以很方便的做到全自动mock传送门：https://github.com/mht-xyt/automock只需要调用一个方法/** mock 一个类 @param fullPkg 全限定的包名+类名：如 com.mht.auto.mock.AutoMock */AutoMock.mock(pkg);或者/** moc...

2020-01-08 14:47:42 743

原创 VM12安装一个干净的CentOS-6.5（mini版本）

VMware Workstation一直作为主流的虚拟计算机软件，大家多使用它来安装linux的虚拟机，用于各种开发，测试，学习等等，那么，我们如何保证我们的系统恰好为我们所用而没有冗余呢。

2016-07-20 20:51:35 4042

122套PPT模版，技术，商务，科技，生活，PPT大全，PPT全套模版，800M大全

您是否曾经因为需要一个漂亮的PPT而苦恼？现在，我们为您提供了一套包含122个模版的PPT压缩包，让您轻松制作出漂亮的PPT。内容概要这套PPT压缩包包含了各种类型的模版，包括技术、商务、科技、生活等多个领域。其中，技术类模版适用于IT、互联网等行业，商务类模版适用于企业展示、商务汇报等场景，科技类模版适用于科技展示、科研汇报等领域。这套PPT压缩包还包含了PPT大全和PPT全套模版，让您轻松制作出各种类型的漂亮PPT。适用人群这套PPT压缩包适用于需要制作漂亮PPT的各行各业的人群。无论是企业员工、教师、学生还是自由职业者，只要需要制作漂亮的PPT，这套压缩包都能满足您的需求。使用场景这套PPT压缩包可以应用于各种场景。无论您是需要制作企业展示、商务汇报、科研汇报、教育课件还是个人演示，这套压缩包都能满足您的需求。例如，在商务汇报中，您可以使用商务类模版来制作漂亮的PPT；在科研汇报中，您可以使用科技类模版来制作科研报告；在旅游分享中，您可以使用生活类模版来分享您的旅游经历。我们相信，这套122个模版的PPT压缩包一定能够满足您的需求，让您轻松制作出漂亮的PPT。

2023-07-17

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

qq_29137837的博客