A3213383291的博客

SparkStreaming累加计算单词出现的频率 一.需求分析 二，实验环境 三，思路分析 四，编程思想 五.遇见的问题 一.需求分析 服务器中不断产生的数据，通过sparkstreaming的客户端统计服务器端不断产生的相同数据，即就是累计服务器中相同数据出现次数。 二，实验环境 centos7+nc+Spark-2.4.8+windows+idea 三，思路分析 思路：以windows 为客户端，在idea中编写对服务端要统计累加求和的方法,以centos7的Linux为客户端，内存作为数据的产生端，

SparkStreaming+kafka+flume实现日志的实时处理环境准备项目思路实验环境启动配置编写项目代码启动测试 环境准备 1 三台安装Hadoop的虚拟机 2 flume的安装 参考flume的大数据集群安装 3 kafka 安装参考kafka集群 4 windows +ideal+mysql 项目思路 利用ideal产生实时的日志，利用log4j文件，将日志文件实时采集到flume上面，利用kafka来进行监听传输，通过sparkStreaming 对产生的日志文件进行计算,并且实时