大数据开发实践者

本文用于记录开发过程中使用到的大数据工具包括Hive、Presto、Spark、Flink、ES、Hadoop等遇到的问题解决方案

Spark structured streaming(注意和spark streaming的区别)写入ES的基本代码如下：// df为需要写入es的Dataset<Row>df.writeStream() .format("org.elasticsearch.spark.sql.checkpoint")// 检查点地址，可不配置 .option("checkpointLocation", CHECKPOINT_PATH)// ES节点 .option(...