20、Spark Streaming与机器学习：从数据摄取到模型应用

Spark Streaming与机器学习：从数据摄取到模型应用

1. Spark Streaming数据摄取与示例运行

1.1 示例运行步骤

要运行Spark Streaming示例程序，需要额外打开两个Linux shell：
1. 启动数据流式传输脚本 ：在第一个Linux shell中，运行 streamOrders.sh 脚本，该脚本会从 orders.txt 文件中按每0.1秒一行的速度流式传输数据，并将其发送到Kafka的 orders 主题。首先需要设置脚本的执行权限：

$ chmod +x streamOrders.sh

然后启动脚本，可指定Kafka代理列表（默认为 192.168.10.2:9092 ）：

$ ./streamOrders.sh 192.168.10.2:9092

2. 启动Kafka消费者 ：在第二个Linux shell中，启动 kafka-console-consumer.sh 脚本，消费 metrics 主题的消息，以查看流式程序的输出：

$ k