
Spark
luffy
JD数据罗盘
展开
-
spark中的action和transformation
原文地址:http://blog.youkuaiyun.com/egraldloi/article/details/16343733 本文提供的是0.7.3版本中的action和transformation接口,RDD提供了两种类型的操作:transformation和action 1,transformation是得到一个新的RDD,方式很多,比如从数据源生成一个新的RDD,从RDD生成一个新的转载 2015-05-14 16:08:16 · 1694 阅读 · 0 评论 -
cdh4b1之HDFS的HA(High Availability)原理简介
目录(?)[-] 引入软硬件配置 硬件配置 软件配置HA部署HA管理 0 引入 以前Hadoop版本中,NameNode是HDFS集群的单点故障(single point of failure,SPoF),SPoF指系统中这个部件失效或停止运转将会导致整个系统不能工作。而这在下面两种情况出现: (1) 意外事件如机器c转载 2014-01-17 11:30:42 · 871 阅读 · 0 评论