hao难懂的博客

RDD是基础： Resilient Distributed Dataset 弹性分布式数据集 五大特性： A List of partitions 分区列表 A function for computing each split 每个分区都有一个计算函数 A list of dependencies on other RDDs 记住依赖关系 Optional...

#!/usr/bin/python # -*- coding:UTF-8 -*- # 文件名：ReadFile.py __author__ = "haohao" # 读取文件并排序 from pyspark import SparkConf from pyspark import SparkContext conf = SparkConf().setAppName("hao").setMas...

from pyspark import SparkContext from pyspark import SparkConf # 创建Spark对应此应用程序的配置；必须要设置setAppName名称(可随意写)，没有则报错； # 必须要设置运行模式，local{*] 是我们的本地测试用的模式，zhilocal[*]代表所有可用的线程并行执行， # local等价于local[1] conf =...

1.创建一个pycharm项目，在里面创建py文件 2.然后在Run中选择“Edit Configurations”，选中Templates下面的python。 3.点击Environment variables空格后的小图标， 不要改变里面的PYTHONUNBUFFERED， 单击＋，name和value分别写入“PYTHONPATH”和“H:\spark-1.6.0-bin-hadoop2....