zhou920786312的博客

调用保存文件的算子(saveAsTextFile)，需要配置Hadoop依赖。创建RDD的时候，parallelize方法传入numSlices参数为1。SparkConf对象设置属性全局并行度为1。

RDD全称为：弹性分布式数据集(Resilient Distributed Datasets)

【代码】python--PySpark入门--02--基础准备。

【代码】python--PySpark入门--01--介绍。

使用工厂类对象来创建所需要的对象。

单例模式：保证类在内存中只有一个对象。

linux系统中存在python2与python3两个版本的python，执行pip pymysql后默认将pymysql安装到了python2之下，导致python3中import pymysql时无法引入。获取oracle数据的sql，可能是存在问题，需要甲方确认TODO_STATUS字段具体的含义已，我这边推测TODO_STATUS=1表示代办数据。创建软链接后，会破坏yum程序的正常使用(只能使用系统自带的python2)oracle_syn_mysql.py 内容。原因是下载依赖的保存路径不对。

【代码】python--进阶--01--python脚本传参。