liweihope的博客

编译hadoop-3.2.2源码 1.参考官网： https://github.com/apache/hadoop/blob/trunk/BUILDING.txt 2.编译环境 虚拟机：VM15 Linux系统：Centos7 Jdk版本：jdk1.8 cmake版本：3.20.2 Hadoop版本：3.2.2 Maven版本：3.8.4 Protobuf版本：2.5.0 findbugs版本(可以不用)：findbugs-3.0.1 apache-ant版本(可以不用)：apache-ant-1.10.

java里面的设计模式：模板模式 把骨架（这个骨架就用通用算法进行抽象出来）定义好，具体实现交给子类去实现。 意思是说在模板里面只要把过程给定义好，具体怎么实现，这个模板方法是不关注的，具体的实现是又子类来完成的，可以有多个子类，每个子类实现的功能可以都不一样。 定义一个模板类： package com.ruozedata.pattern.template; public abstract class Mapper { //setUp mapper clearUp三个方法都是抽象方法 /

hdfs有很多命令，比如说hdfs dfs -ls，hdfs dfs -put， hdfs dfs -mkdir，hdfs dfs -cat，hdfs dfs -rm等等，一般操作hdfs都是通过hdfs的命令行进行操作。其实这些命令行的底层都是通过java代码来支撑的，再比如启动和关闭hdfs都是通过脚本来启动，这些脚本底层肯定都是通过代码来支撑的。 举例：有时候需要把本地文件上传到hdfs，直接用hdfs的命令，先mkdir一个文件夹，然后用put命令即可上传。但是在工作当中，这些操作基本都是代码的。

进行单元测试则需要添加junit的依赖： ##JUnit is a unit testing framework for Java, created by Erich Gamma and Kent Beck. ##对于java来说JUnit是一个单元测试的框架 <dependency> <groupId>junit</groupId> <artifactId>junit</artifactI