- 博客(10)
- 收藏
- 关注
RSS订阅原创 Flink窗口学习及相关示例（更新中）
Flink窗口处理机制摘要 Flink通过窗口机制将无界数据流切分为有限数据块进行处理。核心概念包括窗口(Window)、触发器(Trigger)和窗口函数(Window function)。窗口类型主要分为滚动窗口、滑动窗口和会话窗口三种，也支持自定义窗口实现。处理时需区分键控流(Keyed)和非键控流(Non-keyed)两种数据流类型，其中键控流更为常用。窗口分配器(Window assigner)负责定义窗口划分规则，用户可继承扩展实现特殊需求。
2025-10-10 21:11:47
199
原创 Python快速生成模拟数据
本文介绍了创建Flink本地数据源的实现方法，通过Python脚本模拟用户访问网站数据。内容包含环境配置检查(Python3和Faker库安装)、编写模拟数据生成脚本(随机生成用户ID、访问页面、设备类型等JSON格式数据)，以及如何启动Socket服务器持续发送数据。脚本可配置发送间隔和数据量大小，适合用于Flink流处理测试场景。
2025-10-10 16:06:50
257
原创 大数据日志抓取相关组件对比
以下内容只是为了自己学习记录filebeat flume 的区别flume最初设计是为了导入hdfsflume 具有事务性Filebeat当删除文件或者收集数据的速度大于写入速度的时候可能出现数据丢失的现象，而flume会在收集数据和写入数据之间做出调整，保证能在两者之间提供一种平稳的数据状态。可以实时的将分析数据并将数据保存在数据库或者其他系统中logstash (组件)logstash是基于pipeline方式进行数据处理的，pipeline可以理解为数据处理流程的抽象。在一条pipelin
2021-08-14 16:31:36
376
原创 分布式Hadoop3.2.2集群搭建
Hadoop准备基础环境java8,ubuntu20.04搭建步骤:基本插件安装sudo apt install sshsudo apt-get install pdsh下载安装包并解压 （Hadoop3.2.2安装包下载链接）编辑 hadoop-env.sh文件添加java环境变量export JAVA_HOME=...
2021-08-12 02:51:20
248
原创 presto查询hive显示hive partition不存在
摘要： 在项目中发现Presto查询报错Hive分区不存在，经排查确认是手动删除HDFS数据导致元数据不一致。解决方法为同步清理Hive元数据中已删除的HDFS分区信息，修复元数据与物理存储的对应关系。（48字）
2021-07-21 14:30:49
135
原创 Phoenix
本文更新Phoenix相关实践总结：时间戳->时间select count(uid),substr(to_char(CONVERT_TZ(to_date(to_char(time,’ '),‘s’), ‘UTC’, ‘Asia/Shanghai’),‘yyyy-MM-dd HH:mm:ss’),0,10) as format_time from xaas.user_module_tdl group by format_time;保存搜索结果!record...
2021-01-17 00:42:09
247
2
原创 leetcode学习(java版本)
7.整数反转（Reverse Integer）我自己的题解如下：思路，通过除法、循环倒置所给整数，通过if判断语句限制范围。class Solution { public int reverse(int x) { int ans = 0,pop=0; while(x!=0)//reverse the integer { ...
2020-03-15 19:47:52
375
原创 Java基础学习笔记
一、Java的基本程序设计结构1.源代码文件名必须与公共类名字相同，并用.java作为拓展名2.main方法必须声明为public（关键字public称为访问修饰符），每个Java应用程序必须要有一个main方法3.{}大括号划分程序的各部分，称为块4.点号（.）用于调用方法package FirstSample.java;package FirstSample.java;publ...
2020-03-14 14:57:57
105
原创 Java核心技术学习笔记
print,printf,println的区别：print就是一般标准输出，不换行printf格式化输出，变量之间用逗号（,）隔开，用%控制输出格式，可以多个不同变量输出。println和print类似，但是会换行。...
2020-03-13 22:16:56
188
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人