- 博客(11)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark原理
Spark原理Spark专业术语-任务：Application：用户写的应用程序（Driver Program+Executor Program）Job：一个action类算子触发执行的操作Stage：一组任务task：（thread）在集群运行时最小的执行单元-资源，集群：Master：资源管理的主节点Worker：资源管理的从节点Executor：执行任务的进程Thre...
2018-11-05 20:22:06
306
原创 Spark集群搭建
Spark(standalone)集群搭建1.修改配置文件名修改slave.template为slave命令——mv slave.template slave修改spark-env.sh.template为spark-env.sh命令——mv spark-env.sh.template spark-env.sh2.修改配置文件修改slave文件node02node03no...
2018-11-02 20:25:13
237
原创 yarn集群搭建
yarn集群搭建集群规划：NN-1：Namenode（active）NN-1：Namenode（standby）DN ：DatanodeZK：ZookeeperZKFC：Zookeeper Failover ControllerJUN：JournalnodeRS：ResourceManagerNM：NodeManager服务器名称进程node01NN-1、...
2018-10-16 21:25:50
330
原创 分布式计算-MapReduce
分布式计算-MapReduce假设计算搭建在HDFS上，因为HDFS block块是按照字节来切割，切割时块与块之间极有可能出现乱码，所有每一个split切块会比block略大或者略小，对每一个split的处理分大致为4步。map taskmap task将处理后的每一条记录打上标签（分区），便于最后选择reduce task处理，分区是由分区器进行分区，默认的分区器是HashPart...
2018-10-16 20:55:04
373
原创 搭建HDFS出现的错误
搭建HDFS出现的错误无法识别主机名在和别的节点通信时无法连接，可能是主机名未配置，应该在/etc/hosts文件中配置主机名和ip地址的映射关系Zookeeper集群无法启动：java.net.ConnectException: Connection refused at sun.nio.ch.SocketChannelImpl.checkConnect(Native...
2018-10-13 23:47:20
1126
原创 eclipse操作HDFS
eclipse操作HDFS1.配置hadoop环境变量①在系统变量里添加HADOOP_HOME,value为hadoop安装路径②在path中添加%HADOOP_HOME%\bin2.将hadoop的插件放入eclipse的plugins下文件已经上传，可以下载3.将bin目录下文件替换到hadoop下bin目录4.重启eclipse5.切换到map/reduce界面，新建Had...
2018-10-13 23:22:15
459
原创 HDFS高可用完全分布式搭建
高可用完全分布式HDFS搭建集群规划：NN-1：Namenode（active）NN-1：Namenode（standby）DN ：DatanodeZK：ZookeeperZKFC：Zookeeper Failover ControllerJUN：Journalnode服务器名称进程node01NN-1、ZKFC、JUNnode02NN-2、DN、ZK...
2018-10-13 00:10:39
590
原创 HDFS完全分布式搭建
HDFS完全分布式搭建角色分配：node01：Namenodenode02：SecondiryNamenode，Datanodenode03：Datanodenode04：Datenode1.同步服务器时间①各个节点安装ntp——命令：yum install ntp②上网查找最新的时间服务器，这里使用阿里的——地址：ntp1.aliyun.com③同步时间——命令：ntp...
2018-10-10 20:48:44
281
原创 分布式存储
大数据学习日记Day01分布式存储组成元素Namenode：管理元数据。SecondiryNamenode：帮助Namenode完成重演合并操作。Datanode：储存源数据。写流程1.计算文件的block数量=文件大小/128MB。2.客户端向namenode汇报(block数，权限，所属者，上传时间)。3.客户端切割出一个block。4.请求blockId以及存放地...
2018-10-09 23:30:16
334
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人