
【大数据】【Kafka】
shenzhen_zsw
这个作者很懒,什么都没留下…
展开
-
java.lang.IllegalArgumentException: requirement failed: No output operations registered, so nothing
解决方法:tranformation最后一步产生的那个RDD必须有相应Action操作,例如massages.print()等 ============================== QQ群:143522604 群里有相关资源 欢迎和大家一起学习、交流、提升! ============================== ...原创 2019-04-15 16:31:09 · 2697 阅读 · 0 评论 -
spark实时分析服务搭建
创建Spark实时分析服务工程 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchem...原创 2019-04-15 16:42:46 · 414 阅读 · 0 评论 -
大数据架构
大数据架构 说明: 1)大数据分析数据来源: 1.1)业务系统数据库中的数据; 1.2)日志数据; 1.3)消息数据; 2)数据收集方式 2.1)通过flume的方式采集; 2.2)通过消息中间件kafka的方式; 2.3)直接通过sqoop同步到hive中...原创 2019-04-12 17:00:29 · 216 阅读 · 0 评论 -
Kafka 安装部署-单节点
目录 Kafka 安装部署-单节点 Kafka 单节点部署 下载安装 配置ZK 配置zoo.cfg 配置环境变量 Zookeeper 启动停止命令 Kafka 单节点单Broker部署及使用 部署架构 安装Kafka 配置Kafka 配置server.properties 启动Kafka 启动Zookeeper 启动Kafka 后台启动 创建topic 查看所有...原创 2019-04-13 15:56:37 · 3327 阅读 · 0 评论 -
Sprint Boot集成Kafka
Sprint Boot集成Kafka pom.xml <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>1.1.1....原创 2019-04-13 23:22:08 · 143 阅读 · 0 评论 -
kafka 创建消费者报错 consumer zookeeper is not a recognized option
0.90版本之后启动消费者的方法: bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning [root@spark1 ~]# /application/kafka/bin/kafka-console-consumer.sh --bootstrap-server ...原创 2019-04-15 11:14:54 · 244 阅读 · 0 评论