
spark
陈兴振
后台开发,hadoop/spark/c++
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
在eclipse中部署spark源代码
参考: 1.http://cn.soulmachine.me/blog/20130611/ 2.原创 2014-05-15 17:12:55 · 9170 阅读 · 0 评论 -
CentOS上安装spark standalone mode
1.安装JDK(已经安装好) 2.安装scala 2.9.3 Spark 0.7.2 依赖 Scala 2.9.3, 我们必须要安装Scala 2.9.3. 下载 scala-2.9.3.tgz 并 保存到home目录(已经在sg206上). $ tar -zxf scala-2.9.3.tgz $ sudo mv scala-2.9.3 /usr/lib $ sudo vim /et原创 2013-09-04 16:36:35 · 9135 阅读 · 0 评论 -
spark从hdfs上读取文件运行wordcount
1.配置环境说明 hadoop配置节点:sg202(namenode SecondaryNameNode) sg206(datanode) sg207(datanode) sg208(datanode) spark配置节点:sg201(Master) sg211(Worker) 2.从hdfs上读取文件并运行wordcount a. 登录hadoop的主节点sg202 将要进行word原创 2013-09-11 14:31:33 · 61091 阅读 · 3 评论