u012608836的博客

使用pyspark时报错？所有的都调试好了，cmd运行pyspark也可以，但在python里的ide运行这一段程序总是报错。from pyspark import SparkConf, SparkContextfrom py4j.java_gateway import JavaGateway# 初始化Sparkconf = SparkConf().setMaster("local").setAppName("My App")sc = SparkContext(conf=conf)pri

欢迎使用Markdown编辑器写博客本Markdown编辑器使用[StackEdit][6]修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用

转载自：http://clojure.iteye.com/blog/2091818Scala这些语法糖在第一次看到，对于我们这些老编程人员来说，感觉有点莫名其妙，不过慢慢熟悉之后，就会感觉很自然。时间可以磨灭一些东西的。对于scala搞那么多语法糖和新概念真是又爱又恨。爱的是scala引入了Java一直没有的lambda特性，这对于使用高阶函数抽象来处理集合数据非常有爱

转载自：   http://blog.youkuaiyun.com/dai451954706/article/details/50086295 今天在自己的电脑上，Ubuntu　14.04 中用Idea + SBT编写Spark测试代码，并打包成jar，上传到Spark集群上，submit时报错:[plain] view plain copyExce

文章转载自：http://www.cnblogs.com/hd-zg/p/6089207.htmlSpark性能优化：资源调优篇      在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱

大数据生态圈中风头正旺的Spark项目完全是采用Scala语言开发的，不懂Scala的话，基本上就没法玩下去了。Scala与Java编译后的class均可以运行于JVM之上，就好象.NET中F#与C#的关系。下面进入正题：1、下载scala sdkhttp://www.scala-lang.org/download/ 直接到这里下载sdk，目前最新的稳定版为2.11.7，下载后解压就行（后面在in...

1. 书籍，在线文档Learning SparkAdvanced.Analytics.with.SparkMastering Apache SparkOfficial GuideSpark Guide by Cloudera2. 网站official siteuser mailing listspark channel on youtubespark summitspark technology ...