
sparkStreaming
jxx4903049
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
sparkstreaming多任务监控脚本
spark_main.sh #! /bin/bash #这个脚本是用来循环读取一个文件,这个文件就是发布的实时程序,以后再新添实时程序,放到spark_app_name.txt文件里就可以了 while read appName do sh /home/mes/report/script/spark/spark_crontab/spark_monitor.sh ${appName} echo ${appName} done < /home/mes/report...原创 2022-03-28 11:26:45 · 299 阅读 · 0 评论 -
sparkstreaming 中动态广播变量的使用
package test import java.sql.{Connection, DriverManager, ResultSet, Statement} import java.text.SimpleDateFormat import java.util.{Date, Properties} import kafka._ import org.apache.kafka.clients.consumer.ConsumerRecord import org.apache.kafka.common.se.原创 2022-02-09 14:04:32 · 422 阅读 · 0 评论 -
SparkStreaming之foreachRDD
首先我们来对官网的描述了解一下。 DStream中的foreachRDD是一个非常强大函数,它允许你把数据发送给外部系统。因为输出操作实际上是允许外部系统消费转换后的数据,它们触发的实际操作是DStream转换。所以要掌握它,对它要有深入了解。下面有一些常用的错误需要理解。经常写数据到外部系统需要创建一个连接的object(eg:根据TCP协议连接到远程的服务器,我们连接外部数据库需要自己的转载 2017-12-15 13:06:16 · 476 阅读 · 0 评论