wugcd的专栏

spark sql 主要是想了select 功能，不具备insert, update 功能，本文实现用spark + psycopg2对postgre 数据库进行insert update计算，代码部分已进行了详细的说明:import psycopg2import psycopg2.extrasfrom pyspark import SparkContext,SparkConf 

spark sql + postgres 实现数据库计算：from pyspark import SparkContext,SparkConffrom pyspark.sql import SQLContextfrom pyspark.sql.types import Row, StructField, StructType, StringType, Int

1.python 安装2.jdk  安装3.下载spark：http://spark.apache.org/downloads.html, 用最新版（spark-2.2.0-bin-hadoop2.7.tar),解压到合适的目录，我放在了/srv/下4.配置环境变量export SPARK_HOME=/srv/spark-2.2.0-bin-hadoop2.7export PA