Clozzz的博客

SparkStreaming读Kafka： 无状态流处理： object MyReadKafkaHandler { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("mytest").setMaster("local[2]") val sc = SparkContext.getOrCreate(conf) // 流处理的上下文类 val ssc = new Stre

pom.xml <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.11</version> </dependency> <!-- https://mvnrepository.com/artifac

为什么使用消息中间件(MQ) 异步调用 (同步变异步) 应用解耦 (提供基于数据的接口层)   在项目启动之初来预测将来项目会碰到什么需求，是极其困难的。通过消息系统在处理过程中间插入了一个隐含的、基于数据的接口层，两边的处理过程都要实现这一接口，当应用发生变化时，可以独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 流量削峰 (缓解瞬时高流量压力) 消息中间件的术语 Broker：消息服务器，提供核心服务 Producer：消息生产者 Consumer：消息消费者 Topic：主题，

软件资源 https://pan.baidu.com/s/1YLbNRB56kvvWHeahTeuiGg 提取码：cizr 将软件上传到Linux上并解压 tar -zxf /opt/kafka_2.11-2.0.0.tgz //个人习惯将安装的软件放在soft文件夹里，如果没有请自建 mv kafka_2.11-2.0.0 /opt/soft/kafka211 修改配置文件 //进入kafka的conf文件夹，并修改server.properties //以下配置不需要自己创建，在配置文件中都有，只需要