- 博客(11)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark原理
Spark原理 Spark专业术语 -任务： Application：用户写的应用程序（Driver Program+Executor Program） Job：一个action类算子触发执行的操作 Stage：一组任务 task：（thread）在集群运行时最小的执行单元 -资源，集群： Master：资源管理的主节点 Worker：资源管理的从节点 Executor：执行任务的进程 Thre...
2018-11-05 20:22:06
305
原创 Spark集群搭建
Spark(standalone)集群搭建 1.修改配置文件名 修改slave.template为slave 命令——mv slave.template slave 修改spark-env.sh.template为spark-env.sh 命令——mv spark-env.sh.template spark-env.sh 2.修改配置文件 修改slave文件 node02 node03 no...
2018-11-02 20:25:13
236
原创 yarn集群搭建
yarn集群搭建 集群规划： NN-1：Namenode（active） NN-1：Namenode（standby） DN ：Datanode ZK：Zookeeper ZKFC：Zookeeper Failover Controller JUN：Journalnode RS：ResourceManager NM：NodeManager 服务器名称 进程 node01 NN-1、...
2018-10-16 21:25:50
329
原创 分布式计算-MapReduce
分布式计算-MapReduce 假设计算搭建在HDFS上，因为HDFS block块是按照字节来切割，切割时块与块之间极有可能出现乱码，所有每一个split切块会比block略大或者略小，对每一个split的处理分大致为4步。 map task map task将处理后的每一条记录打上标签（分区），便于最后选择reduce task处理，分区是由分区器进行分区，默认的分区器是HashPart...
2018-10-16 20:55:04
371
原创 搭建HDFS出现的错误
搭建HDFS出现的错误 无法识别主机名 在和别的节点通信时无法连接，可能是主机名未配置，应该在/etc/hosts文件中配置主机名和ip地址的映射关系 Zookeeper集群无法启动： java.net.ConnectException: Connection refused at sun.nio.ch.SocketChannelImpl.checkConnect(Native...
2018-10-13 23:47:20
1125
原创 eclipse操作HDFS
eclipse操作HDFS 1.配置hadoop环境变量 ①在系统变量里添加HADOOP_HOME,value为hadoop安装路径 ②在path中添加%HADOOP_HOME%\bin 2.将hadoop的插件放入eclipse的plugins下 文件已经上传，可以下载 3.将bin目录下文件替换到hadoop下bin目录 4.重启eclipse 5.切换到map/reduce界面，新建Had...
2018-10-13 23:22:15
458
原创 HDFS高可用完全分布式搭建
高可用完全分布式HDFS搭建 集群规划： NN-1：Namenode（active） NN-1：Namenode（standby） DN ：Datanode ZK：Zookeeper ZKFC：Zookeeper Failover Controller JUN：Journalnode 服务器名称 进程 node01 NN-1、ZKFC、JUN node02 NN-2、DN、ZK...
2018-10-13 00:10:39
589
原创 HDFS完全分布式搭建
HDFS完全分布式搭建 角色分配： node01：Namenode node02：SecondiryNamenode，Datanode node03：Datanode node04：Datenode 1.同步服务器时间 ①各个节点安装ntp ——命令：yum install ntp ②上网查找最新的时间服务器，这里使用阿里的 ——地址：ntp1.aliyun.com ③同步时间 ——命令：ntp...
2018-10-10 20:48:44
280
原创 分布式存储
大数据学习日记Day01 分布式存储 组成元素 Namenode：管理元数据。 SecondiryNamenode：帮助Namenode完成重演合并操作。 Datanode：储存源数据。 写流程 1.计算文件的block数量=文件大小/128MB。 2.客户端向namenode汇报(block数，权限，所属者，上传时间)。 3.客户端切割出一个block。 4.请求blockId以及存放地...
2018-10-09 23:30:16
333
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人