- 博客(3)
- 收藏
- 关注
RSS订阅原创 centos 7 下 spark 安装(python)
1.python 安装 2.jdk 安装 3.下载spark：http://spark.apache.org/downloads.html, 用最新版（spark-2.2.0-bin-hadoop2.7.tar),解压到合适的目录，我放在了/srv/下 4.配置环境变量 export SPARK_HOME=/srv/spark-2.2.0-bin-hadoop2.7 export PA
2017-11-14 10:47:56
1182
原创 spark sql + postgres 实现数据库计算
spark sql + postgres 实现数据库计算： from pyspark import SparkContext,SparkConf from pyspark.sql import SQLContext from pyspark.sql.types import Row, StructField, StructType, StringType, Int
2017-11-14 10:16:18
3223
原创 spark + psycopg2+postgre 实现insert update 功能
spark sql 主要是想了select 功能，不具备insert, update 功能，本文实现用spark + psycopg2对postgre 数据库进行insert update计算，代码部分已进行了详细的说明: import psycopg2 import psycopg2.extras from pyspark import SparkContext,SparkConf
2017-11-14 10:06:12
1277
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人