
Kafka
lbship
工科专业转行大数据分析
展开
-
Flink实时读取Kafka数据写入Clickhouse并实时展示
1.启动ZooKeeper./zkServer.sh start.2.启动Kafka./kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties3.创建topic./kafka-topics.sh --create --zookeeper 192.168.226.10:2181 --replication-factor 1 --partitions 1 --topic test查看是否成功./kafka-原创 2020-10-30 17:43:05 · 8667 阅读 · 6 评论 -
Kafka+flume实时采集数据
一、模拟产生日志在IDEA的resource文件夹下面新建log4j.properties定义日志格式,其中flume和log4j的整合配置可以查看Log4j Appender#设置日志格式log4j.rootCategory=ERROR,console,flumelog4j.appender.console=org.apache.log4j.ConsoleAppenderlog4...原创 2018-12-03 17:06:40 · 2147 阅读 · 0 评论 -
Linux下面Maven、Kafka、HBASE、flume、Hive安装
一、安装Maven1.下载并解压wget http://archive.apache.org/dist/maven/maven-3/3.5.2/binaries/apache-maven-3.5.2-bin.tar.gz tar -xvzf apache-maven-3.5.2-bin.tar.gz2.添加环境变量vim ~/.bashrcexport MAVEN_HOME=/...原创 2018-09-29 16:25:28 · 413 阅读 · 0 评论 -
Lambda架构:Python+Flume+Kafka+Hbase+SparkStreaming架构搭建
一、模拟网站实时产生数据1.利用python模拟产生日志这里的日志选用慕课网日志,原始的日志文件是这样的:需要进行处理,这里选用python脚本处理和模拟生成日志,代码如下:import timedef timeformate(s): s=s.split('/') years=s[2].split(':')[0] days=s[0] mon...原创 2019-01-06 15:31:36 · 1109 阅读 · 2 评论 -
实时大数据平台搭建Flume+Kafka+HDFS+SparkStreaming
整体架构图一、python模拟生成日志import randomimport timeiplist=[101,198,65,177,98,21,34,61,19,11,112,114]urllist=['baidu.com','google.com','sougou.com','360.com','yahoo.com','yisou.com']mobile=['xiaomi'...原创 2019-04-06 13:34:10 · 1937 阅读 · 11 评论