数据同步
关注
分享
扫一扫
文章平均质量分 65
tuoluzhe8521
这个作者很懒，什么都没留下…
展开
-
Flume拦截器使用-实现分表、解决零点漂移等
使用flume做数据传输时，可能遇到将一个数据流中的多张表分别保存到各自位置的问题，同时由于采集时间和数据实际发生时间存在差异，因此需要根据数据实际发生时间进行分区保存。原创 2024-02-05 11:19:23 · 1492 阅读 · 0 评论 -
Flume多进程传输
flume大数据量传输kafka数据到hdfs，多进程提速原创 2024-02-04 20:34:23 · 1075 阅读 · 0 评论 -
Logstash应用-同步ES（elasticsearch）到HDFS
数据采集存在时间漂移问题，数据保存时使用的是采集时间而不是数据生成时间，采用webhdfs无法对文件大小进行设置，解决@timestamp时区问题原创 2024-01-11 21:16:33 · 1520 阅读 · 0 评论 -
Logstash应用介绍
Logstash前世今生，安装使用，语法说明等原创 2024-01-11 21:15:13 · 1118 阅读 · 0 评论 -
[BUG]Datax写入数据到psql报不能序列化特殊字符
Datax写入数据到psql报不能序列化特殊字符,org.postgresql.util.PSQLException: ERROR: invalid bytesequence for encoding "UTF8": 0x00原创 2023-12-28 23:25:23 · 1084 阅读 · 0 评论 -
datax 同步mongodb数据库到hive(hdfs)和elasticserch（es)
主要解决datax连接mongodb出现Unauthorized问题，和datax增量同步mongodb问题，以及充分利用hive动态分区实现批量同步原创 2022-11-19 22:44:36 · 4252 阅读 · 3 评论 -
FlinkCDC从Mongodb同步数据至elasticsearch（ES) 新版
flinkcdc同步数据 从mongodb到elasticsearch（es）原创 2022-10-08 11:04:34 · 2473 阅读 · 0 评论