Lucky-zhou的博客

目录 概述 链接Spark 初始化Spark 使用Shell 弹性分布式数据集 (RDDs) 并行化集合 外部数据集 RDD 操作 基本操作 Spark回调函数 使用 Key-Value 对 转换 (Transformations)动作 (Actions) RDD 持久化 选择哪个存储级别? 删除数据 共享变量 广播变量

Date Fri 04 March 2016 TagsSpark /PyCharm /Python /pyspark 在本地搭建好Spark 1.6.0后，除了使用spark-submit提交Python程序外，我们可以使用PyCharm这个IDE在本地进行开发调试,提升我们的开发效率。配置过程也十分简单，在stackoverflow上搜索到的。同时，IntelliJ IDEA加入

之前在mac上调试hadoop程序（mac之前配置过hadoop环境）一直都是正常的。因为工作需要，需要在windows上先调试该程序，然后再转到linux下。程序运行的过程中，报Failed to locate the winutils binary in the hadoop binary path  java.io.IOException: Could not locate execut

前言 　　无论Windows 或Linux 操作系统，构建Spark 开发环境的思路一致，基于Eclipse 或Idea，通过Java、Scala 或Python 语言进行开发。安装之前需要提前准备好JDK、Scala 或Python 环境，然后在Eclipse 中下载安装Scala 或Python 插件(Spark支持Java、Python等语言)。基本步骤如下： 　　第一步：安装JDK