
大数据
沉溺
这个作者很懒,什么都没留下…
展开
-
scala教程
http://zh.scala-tour.com/#/welcome不错的scala入门网站,关于那一页还有几个相当不错的学习资料链接。原创 2016-04-02 13:37:13 · 458 阅读 · 0 评论 -
[转载]spark算子介绍
http://lxw1234.com/archives/2015/07/363.htm转载 2016-04-14 15:51:51 · 387 阅读 · 0 评论 -
[装载]spark教程
spark快速入门:http://colobu.com/2014/12/08/spark-quick-start/ http://www.powerxing.com/spark-quick-start-guide/spark programming guid 中文版:https://www.gitbook.com/book/endymecy/spark-programming-guid转载 2016-04-18 15:16:41 · 648 阅读 · 0 评论 -
hadoop-2.7.1安装笔记
1、hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统HDFS(Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲,可以分成两大类角色:Master和Salv原创 2016-03-31 17:04:43 · 3624 阅读 · 0 评论 -
使用IDEA搭建Spark源码环境及编译Spark源码
转自:http://kubicode.me/2015/05/31/Spark/Build-Spark-Source-And-Compile/之前在看网上使用Eclipse搭建Spark的源码环境各种复杂,所以我只会spark source code下载下来,然后Import到Eclipse中,各种报错,各种包没有,还好我只是看看源码而已,不运行它报错也无所谓啦,人懒没办法..但是现原创 2016-05-19 17:28:33 · 1898 阅读 · 0 评论 -
idea 查看 spark 源码 ,并用 maven 编译
1、先到 apache 官网下载 spark 源码包(【敲黑板】注意,是 source code )2、安装 java、maven、scala(可根据 java、mvn 、scala命令查看是否安装成功,jdk 最好 1.7 以上)3、根据需要,修改 pom.xml 文件,如修改java.version 为 1.7 等。4、用自带的脚本进行编译.spark/build/mvn -D原创 2016-11-30 16:13:35 · 1822 阅读 · 1 评论