Spark SQL大数据处理并写入Elasticsearch

Spark SQL大数据处理并写入Elasticsearch

SparkSQL(Spark用于处理结构化数据的模块)

通过SparkSQL导入的数据可以来自MySQL数据库、Json数据、Csv数据等，通过load这些数据可以对其做一系列计算

下面通过程序代码来详细查看SparkSQL导入数据并写入到ES中：

数据集：北京市PM2.5数据

Spark版本：2.3.2

Python版本：3.5.2

mysql-connector-java-8.0.11 下载

ElasticSearch：6.4.1

Kibana：6.4.1

elasticsearch-spark-20_2.11-6.4.1.jar 下载

具体代码：

 1 # coding: utf-8
 2 import sys
 3 import os
 4 
 5 pre_current_dir = os.path.dirname(os.getcwd())
 6 sys.path.append(pre_current_dir)
 7 from pyspark.sql import SparkSession
 8 from pyspark.sql.types import *
 9 from pyspark.sql.functions import udf
10 from settings import ES_CONF
11 
12 current_dir = os.path.dirname(os.path.realpath(__file__))
13 
14