lucyLee的博客

Ubuntu 16.04 编译Hadoop2.7.2源码，并导入eclipse

插件构想① 数据压缩插件（基于java） java支持的压缩算法：zlib（deflate）、gzip、zip、bzip2、lzo、lz4、snappy，都是无损压缩算法。zlib、lz4、snappy是ceph已有的压缩插件，zlib（deflate）、gzip、zip在java中已经实现，bzip2、lzo、lz4、snappy未实现但可以从maven库引入。...

最近，因为课程设计需要在Ubuntu上安装Hadoop。本人使用的是Ubuntu kylin 16.04，安装Hadoop2.7.4。安装过程都是参考别人的博客，自己一步一步摸索过来的。如果您在安装的过程中遇到了什么问题，请多自己查阅网上资料，毕竟每个人会遇到的问题可能是不一样的。一、安装JDKHadoop 2.7及更新版本需要JAVA 7支持，本人安装的是Oracle jdk1.8_151为例。

Hadoop学习① 关于Hadoop Hadoop 内容重点：Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。Hadoop 由许多元素构成。其最底部是 Hadoop Distributed File System（HDFS），它存储 Hadoop 集群中所有存储节点上的文件。HDFS（对于...

1. 下载hadoop源码并编译① 下载Hadoop2.7.2源码。下载地址： https://archive.apache.org/dist/hadoop/core/hadoop-2.7.2/ ，选择hadoop-2.7.2-src.tar.gz， 点击下载。对下载好的压缩包，使用如下命令进行解压缩：$ sudo tar -zxvf hadoop-2.7.2-src.tar.gz将解...

Eclipse以Maven的形式导入hadoop2.7.2源码第一次导入hadoop源码时，是以java project的形式导入的。后来发现可以以maven的形式导入，以此篇博客记录导入的方法。1.检测eclipse是否有maven环境打开import对话窗输入maven,如果下图中红色方框里有东西可以跳过下一步的“elipse中配置maven环境”；如果方框里没有东西，按照下一...

① 规则：支持文件夹和文件级别的xattr设置，文件夹内部递归继承父目录xattr。若文件自身xattr与父目录xattr冲突，则以文件自身xattr为准。② 具体的理解：文件夹内部递归继承父目录xattr：如果/test目录压缩的xattr对应为true，/test目录下所有的文件和子文件夹下的文件，都应该被压缩？在create文件时，文件本身是不存在xattr的，这时需要查找父目录...

针对create方法，实现获取文件的xattr（二）④ 对 /test0/1.txt的测试 path 有父目录 父目录为根目录 父目录存在 根目录存在 期望存在xattr的目录 /test0/1.txt 1 0 1 1 遍历整个父目录找不到xattr去除根目录的xattr，看是否会返回false。目录层次分析...

针对create方法，实现获取文件的xattr（三）④ 对 /test0/1.txt的测试 path 有父目录 父目录为根目录 父目录存在 根目录存在 期望存在xattr的目录 /test0/1.txt 1 0 1 1 遍历整个父目录找不到xattr去除根目录的xattr，看是否会返回false。目录层次分析...

针对create方法，实现获取文件的xattr① 目前实现的压缩功能，针对所有文件读写时都会采用，这样无法实现个性化定制。希望通过将压缩要求写入xattr：<user.zip,true>，在create时读取对应的xattr，通过xattr的值来判断是否对文件进行压缩写入。② 由于c

Ubuntu16.04安装hadoop2.7.2分布式集群遇到的各种问题总结① 配置ssh免密码登录**注意：**hosts的修改不需要127.0.1.1，直接修改为本机的静态ip；hostname不能带有下划线，否则初始化Hadoop时，将会无法识别namenode节点！！！自己就犯了这样的错，导致一直无法解决，后来查了很多资料才解决的 切中要害！！ 可能的四种原因 stackfl...

安装hadoop集群① 配置ssh免密码登录 ② 安装jdk1.8 ③ 下载hadoop并检验是否完整 检验haoop的MD5 ④ 安装hadoop 配置hadoop环境变量：export HADOOP_HOME=/usr/local/hadoop-2.7.2export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH ...

使用DaoCloud

针对append方法，实现获取文件的xattr1、针对create方法的改进当一个文件create时，会主动获取父目录的xattr。如果父目录具有xattr，这时文件会被压缩，因此文件应该具有xattr属性。所以需要设置当父目录具有xattr时，文件也应该具有xattr。需要在create方法中，增加以下代码：//如果isZip为true，这时文件会被压缩，需要设置文xat...