Hadoop
关注
分享
扫一扫
萌新Java程序猿
java个人心得
展开
-
Hadoop个人心得笔记之MapReduce
MapReduce目录 MapReduce一、概述二、序列化机制三、分区四、排序五、合并六、数据本地化策略七、job的执行流程八、Shuffle过程1.Map端的Shuffle...原创 2019-07-02 20:31:22 · 435 阅读 · 0 评论 -
Hadoop个人心得笔记之DFS目录
DFS目录dfs目录在NameNode被格式化的时候产生 dfs目录的子目录：name、data、namesecondary in_use.lock标记当前节点已经在使用 HDFS第一次启动的时候，会默认在1min的时候进行一次合并，之后就按照更新条件啦进行合并 edits文件的开始和结束都会算作...原创 2019-07-02 20:43:19 · 1647 阅读 · 1 评论 -
Hadoop个人心得笔记之HDFS读写删
HDFS读写删目录 HDFS读写删一、读流程1.代码实现二、写流程1.代码实现三、删流程1.代码实现一、读流程客户端发起RPC请求到NameNode NameNode在收到请求之后会先校验这个文件上是否存...原创 2019-07-02 21:03:29 · 358 阅读 · 0 评论 -
Hadoop分布式安装步骤 --实战
Hadoop全分布式架构图目录 Hadoop全分布式架构图一.永久关闭防火墙二.配置主机名1.编辑network文件：vim /etc/sysconfig/network2.将HOSTNAME属性改为指定的主机名，3.让network文件重新...原创 2019-07-03 11:10:22 · 640 阅读 · 2 评论 -
Hadoop伪分布式安装步骤
Hadoop伪分布式安装步骤目录 Hadoop伪分布式安装步骤一.永久关闭防火墙二.配置主机名1.编辑network文件：vim /etc/sysconfig/network2.将HOSTNAME属性改为指定的主机名，3.让network文件重新生效：s...原创 2019-06-28 17:15:50 · 6748 阅读 · 1 评论 -
Hadoop个人心得笔记之上传文件错误
Hadoop上传文件错误目录Hadoop上传文件错误org.apache.hadoop.ipc.RemoteException(java.io.IOException)1.文件上传失败：2.解决方案：1、停止集群（切换到/sbin目录下）2、删除在hdfs中配置的data目录（3、重新格式化namenode...原创 2019-06-28 19:42:10 · 2212 阅读 · 0 评论 -
Hadoop个人心得笔记之HDFS
HDFS总结目录 HDFS总结一、概述二、Block1.文件上传失败：2.解决方案：2、删除在hdfs中配置的元数据目录3、重新格式化namenode(切换到hadoop目录下的bin...原创 2019-06-28 21:45:49 · 754 阅读 · 0 评论