wyqwilliam的博客

一、HDFSHDFS全称是Hadoop Distributed System。HDFS是为以流的方式存取大文件而设计的。适用于几百MB，GB以及TB，并写一次读多次的场合。而对于低延时数据访问、大量小文件、同时写和任意的文件修改，则并不是十分适合。目前HDFS支持的使用接口除了Java的还有，Thrift、C、FUSE、WebDAV、HTTP等。HDFS是以block-sized chun...

从hdfs上下载文件的命令：hdfs dfs -get /user/root/data/wc/* ./上传文件的命令：hdfs dfs -put ./test.txt  /user/root/data/wc/[root@node11 ~]# hdfs dfs -ls ./test.txt /user/root/data/wc/output01-rw-r--r--   2 root...

使用Linux命令上传文件，过程如下。 su hdfs                 //切换到HDFS用户cd /home/hdfs/files     //进入到服务器中文件所在目录ls                      //查看此目录下的文件列表vim test.txt    //若文件存在可显示文件中的内容，若不存在则新建文件注：按“i”键可进入编辑器，可直接修改...

hadoop单机模式的安装：1、安装jdk配置环境变量：2、设置免秘钥： [root@node11 ~]# ssh-keygen -t dsa -P '' -f /root/.ssh/id_dsaGenerating public/private dsa key pair.Your identification has been saved in /root/.ss...

Namenode主要维护两个文件，一个是fsimage，一个是editlog。fsimage保存了最新的元数据检查点，包含了整个HDFS文件系统的所有目录和文件的信息。对于文件来说包括了数据块描述信息、修改时间、访问时间等；对于目录来说包括修改时间、访问权限控制信息(目录所属用户，所在组)等。editlog主要是在NameNode已经启动情况下对HDFS进行的各种更新操作进行记录，HDFS...

HDFS读写流程一: HDFS读文件流程    1：Client通过FileSystem.open(filePath)方法,去与Namenode进行rpc通信,返回该文件的部分或全部的block列表( 也包含该列表各 block 的分布在 Datanode 地址的列表),也就是返回FSDataInputStream对象;   2：Client调用FSDataInputStream对象的...

1 概述HDFS中的NameNode被称为元数据节点DataNode称为数据节点。NameNode维护了文件与数据块的映射表以及数据块与数据节点的映射表，而真正的数据是存储在DataNode上。 对于NameNode如何存储这些信息，它维护两个文件，一个是fsimage，一个是editlog。2 fsimage与editlog作用fsimage保存了最新的元数据检查点，在HDFS启动时加...

客户端通过调用FileSystem对象的open()来读取希望打开的文件。对于HDFS来说，这个对象是分布式文件系统的一个实例。 DistributedFileSystem通过RPC来调用namenode，以确定文件的开头部分的块位置。对于每一块，namenode返回具有该块副本的datanode地址。此外，这些datanode根据他们与client的距离来排序（根据网络集群的拓扑）。如果该cl...

1、客户端通过调用distributedFileSystem调用ceate()方法创建文件2、distributedFileSystem对namenode创建一个PPC调用，去检查是否有这个文件，以及这个文件的权限，如果有这个文件，会返回IOException,如果没有就去创建这个文件。之后distributedFileSystem会返回给客户端DFSOutputStream对象，这个对象负责...

数据块的副本数 dfs.replication 3 2 页面修改 减少副本块可以节约存储空间   SequenceFile I/O 缓存区大小  io.file.buffer.size   131072（可以更大） core-site.xml 的群集范围高级配置代码段（安全阀） hadoop访问文件的IO操作都需要通过代码库，在...

hdfs+yarn 参数调优1.系统参数调整中文名称 英文名称 默认值 推荐值或推荐策略 修改命令 作用 备注 socket的监听队列最大值 net.core.somaxconn 128 1024或更大 echo 1024 >/proc/sys/net/core/somaxconn 增大打开文件数据和网络连接上限，...

       

      

           默认：一个block的大小：64k一个namenode挂掉之后默认等待的时间：10分钟 

一、HDFS的基本概念1.1、数据块(block)HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。 不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。1.2、元数据节点(Namenode)和数据节点...

一、 准备机器机器编号     地址                          端口1           10.211.55.8           9000、50070、8088二、 安装学习地址http://www.roncoo.com/course/view/5a057438cc2a4231a8c245695faea2381、 安装java环境       ...