sp_ur的博客

1.HA   high availability   高可用性，持续服务的能力，多台主机之间进行集群配置。2.failover  容灾3.namenode ， 2nn      2nn解决的是可靠性问题4.single point of failure (SPOF)，单点故障5.NFS(Network File System) + QJMHA 架构两台主机，一台 activ...

文件系统的一致模型描述了文件读/写的数据可见性，新建一个文件之后，它能在文件系统的命名空间中立即可见。package hadoopDemo;import hadoopDemo.pathFilter.RegexExcludePathFilter;import java.io.FileInputStream;import java.io.FileOutputStream;import...

Hadoop模块1.hadoop common ——公共模块，支持其他模块        hadoop-common-xxx.jar        core-site.xml        core-default.xml2.HDFS ——分布式文件系统        HDFS：NameNode+DataNode+SecondaryNameNode        hdf...

由于远程复制scp只能一个一个复制，当节点很多时相当耗时，所以编写远程复制脚本文件实现文件或文件夹在所有节点的远程复制。如上图可知自己编写的脚本放在 /usr/local/bin或者 /usr/local/sbin 中就可以不用配置环境变量了xcp.sh的代码如下：#!/bin/bashif [ $# -lt 1 ] ;then echo no args exit;...

1.下载并解压hadoop-2.9.0-tar.gz2.在解压后的文件夹下新建 _lib 类库文件夹，然后搜索jar,将全部jar包放到类库文件夹在_lib文件夹下把*sources文件，test文件以及test-sources文件分别放到_sources文件夹，_test-lib文件夹以及_test-sources文件夹下后续内容（具体步骤看hadoop视频第二天003）...

块（默认128M）磁盘传输速率100M/s，寻址时间10ms，让寻址时间是传输时间的1%，所以块的大小为:(100*0.01s)*100M/s=100M ——>128M在 hdfs-default.xml 中搜索dfs.blocksize，可以修改大小文件上传$ hadoop fs -put a.txt /test文件下载$ hadoop fs -get ...

一、通过 java.net.URL1.在ubuntu下打开eclipse2.创建项目3.导入hadoop所有jar包 Build Path --->Configure  Build Path ---> Add External JARs --->FileSystem --->mnt ---> hgfs --->share for linux --...

Hadoop 权威指南 P76

maven 是 Apache 的一个项目管理软件，解决项目的依赖关系 pom.xml下载地址：http://mirrors.hust.edu.cn/apache/maven/maven-3/3.3.9/binaries/一、maven 安装1.解压后移动到 /soft 目录下：tar -xzvf xxx.gz2.创建符号链接3.配置环境变量：$ sudo nano ...