windon12345的专栏

这两天公司准备搭建大数据平台 以日志分析为例，大概流程是： 1.数据分析平台提供接口供其他系统调用写入日志 2.flume收集日志用kafka做sink 3.spark分析日志，结果输出HBase 下面是spark相关的一些简单demo，在此记录 maven引入所需包 <dependencies> <dependency> <g...

功能：log日志收集和分析 流程：1.应用程序产生本地log文件 2.flume监控文件并收集日志到kafka中 3.sparkStructurestreaming监听kafka获取结构流进行分析，结果输出到DB 4.页面通过查询DB显示结果 环境搭建：1.flume（apache-flume-1.9.0-bin） ...

{ "type": "kafka", //摄取类型 "dataSchema": { "dataSource": "ea-test", //数据源名 "parser": { "type": "string", "parse...