qq_28603127的博客

支持多种数据源与输出 数据输入形式有两种:一种是批,一种是流(分别对应sparksql中的一次性读取,与structruedstreaming的流式处理) 批处理有(start-waterdrop.sh):ElasticSearch File Hdfs Hive Hbase JDBC Kudu MongDB Mysql等(Hbase为商业版,普通版需要实现可以使用Hive映射HBase表的方式) 流式处理有(start-waterdrop-structured-streaming.s...

代码： import java.sql.{Connection, DriverManager, PreparedStatement} import org.apache.spark.SparkConf import org.apache.spark.sql._ import org.apache.spark.sql.streaming.{OutputMode, StreamingQuery} object KafkaWC { def main(args: Array[String]): Unit =