- 博客(4)
- 收藏
- 关注
原创 Hadoop完全分布式搭建
前言:Hadoop是什么,高可靠,高扩展,高效,高容错,低成本的分布式文件存储系统Hadoop的框架最核心的设计:HDFS和MapReduce,HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算,MapReduce底层是java走map端reduce端计算引擎之后会更新大数据相关组件的理论和架构原理----------------------------------------------分布式需要奇数多台节点,如果是用的自己服务器或虚拟机学习部署的话是需要每台节点配i
2021-11-24 16:08:58
1476
1
原创 FlinkCdc--Debezium实现Kafka实时监控mysql binlog日志
不管是什么大数据组件大部分都分单机和集群模式,这次我配置的是kafka集群监控mysql binlog日志一.Zookeeper和Kafka集群部署我的服务器是三台节点aliyun-bigdata-01aliyun-bigdata-02aliyun-bigdata-031.第一步实现kafka集群部署和zookeeper集群部署先启动zookeeper再启动kafka,涉及的相关组件如下图所示,去网盘下载debezium-connector-mysql-1.4.0.Final-p...
2021-11-23 15:34:05
4095
3
原创 Mysql事件定时操作事务
下面是工作中使用mysql事件实时1分钟根据需求统计查询订单数据落表红框是事件创建语法drop event if exists brand_realdate_again=删除已存在的事件,create event brand_realdate_again //创建事件名称ON SCHEDULE EVERY 1 MINUTE //每一分钟执行一次,事件时间维度精准到秒级STARTS concat(CURRENT_DATE,' 12:00:00') //什么时候开始执行,只要是过来12...
2021-11-22 16:40:39
1061
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人