weixin_41227335的博客

异常：说配置不了r1 解决： 配置文件中有些语句后加了分号 ； 导致无法配置

转自： https://www.cnblogs.com/linux-wangkun/p/5454224.html

转自： https://blog.youkuaiyun.com/stpeace/article/details/79232656

现象： 把数据放到kafka的一个topic中，用Java端 SparkStreaming+Kafka集成拿不到数据，而在linux上用自带的kafka-consumer就能消费到topic中的数据。 解决： 其实看着centOS ，jps，看Java进城Kafka进程还在，Application对应的Flume也还在，但是实际上在挂起后大概率已经停了，要杀掉进程重新启动Kafka和Flume进程...

转自： https://www.jianshu.com/p/37b04eeedc6d

Hadoop面试题： https://blog.youkuaiyun.com/kingmax54212008/article/details/51257067?utm_source=blogxgwz2 Hadoop笔试题： https://blog.youkuaiyun.com/zhongqi2513/article/details/78349083 Spark面试题： https://blog.youkuaiyun.com/wei...

flume1.6.0中的flume-ng-core中的sink下有KafkaSInk方法，但flume1.7.0下又没有。 解决：通过看maven的中央仓库去找，找到一个类似的： 然后在pom.xml导入相应包就行了： 下面就有KafkaSInk方法。 ...

自带的spoolDirSource不像avroSource一样可以加文件头，所以我们需要自定义 步骤： 1.在项目目录下的Maven dependencies下找 下面选中的的： 2.自己新建一个MySpoolDirectorySource的java class，将上面那个SpoolDirectorySource.class中的所有代码自己复制过去，改一下类名就行。 3.找到run方法，在下面...

开启Flume： bin/flume-ng agent -f /opt/modules/flume-1.7.0-bin/conf/collectLog.conf -n a1 -f ：要用的配置文件 -n：配置文件中agent的名字（我这里用的是a1）

说是文件名不是有效的DFS文件名 查了一下HDFS文件名中不能有冒号（:）