风

fsimage与editslogNameNode中的元数据是在内存中用ArrayList保存的，但是要考虑到如果电脑停电了突然关机了，那么NameNode中的元数据就被释放掉没有了，所以就有editslog，editslog包含了元数据还有一系列的操作。如果要使用这些数据，在开机的时候就会加载editslog，恢复到关机之前的场景，因为我们处理的是大数据，里面有亿万级的操作，每次开机的时候很慢...

1、编写自定义类如果写二次排序的话再在里面添加package org.hdfs.urlMapReduce;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.WritableComparable;public class...

HIVE的使用模板1、显示所有数据库show databases;2、显示数据库所有的表use mydatabase;show tables;3、查询表中的内容select * from mytable;4、显示表的结构desc mytable;5、创建数据库create database mydatabase;6、清空表内...

Sqoop使用模板Sqoop使用模板1、测试连接数据库2、将数据从MySQL导入到HDFS1、导入到默认的HDFS路径2、导入到自定义路径3、设置map的数量，以及删除目标文件夹，防止目标路径已存在4、设置map的数量，以及删除目标文件夹，以及指定导出分隔符3、将数据从MySQL导入到hive中4、将数据从HDFS导出到MySQL中5、将数据从hive导出到M...