lhxsir的博客

项目简介：源端改造，使用ogg从oracle抽数据到kafka,需要自己写代码解析kafka中ogg数据，数据格式比较复杂，需要二次解析！spark:2.1.0版本kafka:0.9.0版本<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.11</artifactId> <versi

集群环境：CDH5.8.0 / spark1.6.0 / scala2.10.4在使用时，我们需要添加相应的依赖包： &lt;dependency&gt; &lt;groupId&gt;org.apache.spark&lt;/groupId&gt; &lt;artifactId&gt;spark-streaming-kafka_2.10&lt;/artifa...

SparkStreaming读kafka写入HDFSpom访问Kerberos环境下的HBase代码Spark2Streaming应用实时读取Kafka代码写入数据到kafka代码SparkStreaming读kafka写入HDFS本教程基于CDH5.8.0其它组件版本为：spark2.1.0、kafka0.10.2、HDFS2.6.0pom ...

老大让研究ELK，经过几天的摸索，终于把流程跑通了。版本：kafka 0.10.2.0logstash 5.3.0elasticsearch 5.3.0修改logstash中配置文件vi logstash.confinput { kafka{ bootstrap_servers => ["10.10.10.10:9092"] group_...