weixin_43558205的博客

LZO创建索引创建LZO文件的索引，LZO压缩文件的可切片特性依赖于其索引，故我们需要手动为LZO压缩文件创建索引。若无索引，则LZO文件的切片只有一个。hadoop jar /path/to/your/hadoop-lzo.jar com.hadoop.compression.lzo.DistributedLzoIndexer big_file.lzo（hadoop jar hadoop-lzo-0.4.20.jar文件目录 com.hadoop.compression.lzo.Distribute

支持LZO压缩配置hadoop本身并不支持lzo压缩，故需要使用twitter提供的hadoop-lzo开源组件。hadoop-lzo需依赖hadoop和lzo进行编译，编译步骤如下。hadoop-lzo编译（点我打开）将编译好后的hadoop-lzo-0.4.20.jar 放入hadoop-3.1.3/share/hadoop/common/同步hadoop-lzo-0.4.20.jar到hadoop103、hadoop104xsync hadoop-lzo-0.4.20.jar

HDFS存储多目录若HDFS存储空间紧张，需要对DataNode进行磁盘扩展。在DataNode节点增加磁盘并进行挂载。在hdfs-site.xml文件中配置多目录，注意新挂载磁盘的访问权限问题。<property> <name>dfs.datanode.data.dir</name><value>file:///${hadoop.tmp.dir}/dfs/data1,file:///hd2/dfs/data2,file:///h

Linux 配置免密登录一 为什么可以免密登录？首先来说公钥和私钥（有好多东西是国外翻译过来比较拗口，不利于学习，我喜欢先例后概念，或者直接上例子）比如：有两个用户A和B，A想把一段明文通过双钥加密的技术发送给B（A目前除了明文，还没有公钥，也不会有私钥），B有一对公钥和私钥那么加密解密的过程如下：B将他的公开密钥传送给AA用B的公开密钥加密他的消息，然后传送给BB用他的私人密钥解密A的消息首先来说RSA算法RSA公钥加密算法是1977年由Ron Rivest、Adi Shami

HDFS-HA集群配置一、集群分配集群主机分配如下：hadoop102hadoop103hadoop104NameNodeNameNodeNameNodeZKFCZKFCZKFCJournalNodeJournalNodeJournalNodeDataNodeDataNodeDataNodeZKZKZK我的三台主机分别是Hadoop102、Hadoop103、Hadoop104我配置的HA仅供学习，不用于接下来的使用，所以我们不

Linux安装hadoop-配置Hadoop环境变量一、安装Hadoop进入到Hadoop安装包路径下cd /opt/software/解压安装文件到/opt/module下面tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/二、配置环境变量修改配置文件 sudo vim /etc/profile.d/my_env.sh在文件末尾添加以下内容：#HADOOP_HOMEexport HADOOP_HOME=/opt/module/hadoop