
spark
buster2014
没有比人更高的山,没有比脚更长的路...
展开
-
spark streaming updateStateByKey 用法
文章来源:http://blog.youkuaiyun.com/stark_summer/article/details/47666337 spark streaming updateStateByKey 用法分类: spark2015-08-14 19:12 12308人阅读 评论(3) 收藏 举报spark函数class数据updateS转载 2015-11-16 14:12:34 · 1002 阅读 · 0 评论 -
编译spark输出的信息
spark开始编译的信息:[INFO] Scanning for projects...[INFO] ------------------------------------------------------------------------[INFO] Reactor Build Order:[INFO] [INFO] Spark Project Parent POM[INFO原创 2015-11-23 16:04:53 · 474 阅读 · 0 评论 -
改写Spark JdbcRDD,支持自己定义分区查询条件
文章来源:http://blog.youkuaiyun.com/javastart/article/details/45196191改写Spark JdbcRDD,支持自己定义分区查询条件(转)2015-04-22 15:51 597人阅读 评论(0) 收藏 举报 分类: 大数据(102) 改写Spark JdbcRDD,支持自己定义分区转载 2015-11-19 20:26:48 · 1128 阅读 · 0 评论 -
spark1.3.0__for_hadoop2.4.1编译、安装与初步测试
文章来源:http://blog.youkuaiyun.com/javastart/article/details/44558997spark1.3.0__for_hadoop2.4.1编译、安装与初步测试分类: 大数据2015-03-23 08:33 2834人阅读 评论(0) 收藏 举报--- 这个是一个朋友整理的。比较详细有保存价值。-- 参考: ht转载 2015-11-19 20:16:00 · 843 阅读 · 0 评论 -
Spark on YARN两种运行模式介绍
文章来源:http://www.aboutyun.com/thread-12294-1-1.html问题导读1.Spark在YARN中有几种模式?2.Yarn Cluster模式,Driver程序在YARN中运行,应用的运行结果在什么地方可以查看?3.由client向ResourceManager提交请求,并上传jar到HDFS上包含转载 2015-12-01 18:33:26 · 9632 阅读 · 0 评论 -
spark on yarn 出现的问题【测试wordcount程序遇到的错误,ipc.client连接到yarn的端口失败】
文章来源:http://www.myexception.cn/open-source/1585678.htmlspark on yarn 出现的问题(一)测试spark on yarnspark版本:spark-0.9.0-incubating-bin-hadoop2WordCount.scala 代码:import org.apache.spark._i转载 2015-12-01 18:40:46 · 2469 阅读 · 0 评论 -
spark-shell on yarn 出错解决【启动命令bin/spark-shell --master yarn-client出现错误,类ExecutorLauncher 找不到】
文章来源:http://www.dataguru.cn/thread-331456-1-1.html今天想要将spark-shell 在yarn-client的状态下 结果出错:[python] view plaincopy[hadoop@localhost spark-1.0.1-bin-hadoop2]$ bin/spark-shell转载 2015-12-01 18:48:02 · 11050 阅读 · 1 评论 -
解决在编程方式下无法访问Spark Master问题
http://ju.outofmemory.cn/entry/162428转载 2015-12-06 21:46:20 · 2039 阅读 · 0 评论 -
关于MASTER=spark://SparkMaster:7077 ./spark-shell问题
http://bbs.youkuaiyun.com/topics/390941085在运行MASTER=spark://SparkMaster:7077 ./spark-shell时候出现scala了,但是后面紧接着出现了。14/11/25 06:02:08 WARN client.AppClient$ClientActor: Could not connect to akka.tcp转载 2015-12-06 21:42:31 · 6091 阅读 · 0 评论