- 博客(3)
- 收藏
- 关注
RSS订阅原创 Streamsets应用--Kafka2ES
一、场景 将指定kafka的一个topic的数据实时入库到elasticsearch中。 二、环境 kafka:0.10.2 elasticsearch:5.6.1 三、应用 3.1、概述 Origins:Kafka Consumer Destiations:ElasticSearch 3.2、注意事项 1、若只读取一个topic的数据，origins使用Kafka Con...
2018-08-21 18:14:38
1511
翻译 Shell实用小工具xsync
#!/bin/bash # $#：表示传递给脚本或函数的参数个数。 #1 获取输入参数个数，如果没有参数，直接退出 pcount=$# if((pcount==0)); then echo no args; exit; fi #2 获取文件名称 p1=$1 fname=`basename $p1` echo fname=$fname #3 获取上级目录到绝对路径 pdir=`cd -P $(d...
2018-07-05 10:11:48
1878
原创 Flume hive sink采坑记录
一、hive sink概述hive sink与hdfs sink 想对比，hive sink可以近实时的把数据采集到hive表中，hdfs sink要构建hive外部表去关联hdfs路径，并且实时性没辣么高。二、注意事项1、Hive表必须设置bucket并且 stored as orc2、flume配置的hive列名必须都是小写，即fieldnames的配置都必须是小写3、要手动构建分区，即aut...
2018-05-18 17:17:39
3878
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人