sparkStreaming:kafka topic连接spark处理数据传输到kafka另一个topic

目录

一、nc -lk 端口号连接sparkStreaming

二、sparkStreaming : kafka订阅主题

三、SparkStreaming: kafkaSource  to kafkaSink


一、nc -lk 端口号连接sparkStreaming

import org.apache.spark.SparkConf
import org.apache.spark.sql.catalyst.expressions.Second
import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}
import org.apache.spark.streaming.{Seconds, StreamingContext}

object SparkStreamDemo1 {
  def main(args: Array[String]): Unit = {

    val sparkConf: SparkConf = new SparkConf().setMaster("local[2]").setAppName("sparkstream1")

    //定义流,采集周期3秒

    val streamingContext = new StreamingContext(sparkConf, Seconds(3))

    // 配置数据源为指定机器和端口
    val socketLineStream: ReceiverInputDStream[String] = streamingContext.socketTextStream("192.168.91.180", 8888)
    //业务处理
    val wordStream: DStream[String] = socketLineStream.flatMap(x => x.split("\\s+"))
    val mapStream: DStream[(String, Int)] = wordStream.map((_, 1))
    val wordcountStream: DStream[(String, Int)] = mapStream.reduceByKey(_ + _)
    //输出结果
    wordcountStream.print()

    //启动采集器
    streamingContext.start()
    streamingContext.awaitTermination()

  }

}

[root@reagan180 ~] nc -lk 8888

二、sparkStreaming : kafka订阅主题

import org.apache.
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值