20、Spark Streaming与机器学习：从数据摄入到模型应用

Spark Streaming与机器学习：从数据摄入到模型应用

1. Spark Streaming数据摄入与示例运行

1.1 运行示例程序

要运行示例程序，需打开两个额外的Linux shell。准备了一个脚本，它会从 orders.txt 文件中逐行读取数据（每0.1秒读取一行），并将其发送到Kafka的 orders 主题。
操作步骤如下：
1. 从在线仓库获取 streamOrders.sh 脚本（需提前克隆仓库），在第一个Linux shell中设置其执行权限：

$ chmod +x streamOrders.sh

2. 运行脚本，可传入broker列表作为参数（默认是 192.168.10.2:9092 ）：

$ ./streamOrders.sh 192.168.10.2:9092

3. 在第二个Linux shell中，启动 kafka-console-consumer.sh 脚本，从 metrics 主题消费消息，查看流式程序的输出：

$ kafka-console-consumer.sh --