Hadoop 复习与实践（1）

看过很多东西，都忘的差不多了， 记录下便于回忆。

---

基础复习

hadoop安装

这部分我是用homebrew安装的，没什么好说的，主要就是hadoop相关的一些配置。几个需要注意的配置如下：

core-site.xml

<configuration>
  <property>
     <name>hadoop.tmp.dir</name>  
     <value>/usr/local/Cellar/hadoop/hdfs/tmp</value>
    <description>A base for other temporary directories.</description>
  </property>
  <property>
     <name>fs.default.name</name>                                     
     <value>hdfs://localhost:9000</value>                             
  </property>  

hdfs-site.xml

<property>
      <name>dfs.replication</name>
      <value>1</value>
</property>

mapred-site.xml

<property>
         <name>mapred.job.tracker</name>
         <value>localhost:9010</value>
</property>

yarn-site.xml

hadoop分namenode和datanode，简单的说namenode负责存储目录结构，用于管理datanode。安装完hadoop之后需要格式化namenode。

$ hadoop namenode -format

接下来需要启动hadoop服务，这里分两种:

dfs + map reduce => 启动namenode(主从), datanode, jobtracker, tasktracker。50030端口监测jobtracker，50070端口监测namenode。

dfs + yarn => 启动yarn资源管理器和节点管理，端口8088查看资源管理器。

$ start-dfs.sh
$ start-mapred.sh
$ start-yarn.sh
$ start-all.sh

HDFS

概念：

概念	相关
数据块	$ hadoop fsck / -files -blocks
namenode	namenode镜像+log, 两种容错机制（备份＋辅助namenode）
datanode	根据需求存储，并向namenode发送块列表
联邦HDFS	namenode分卷管理
namenode恢复	namenode镜像导入->重做编辑日志->接受datanode
文件系统	hadoop.fs.FileSystem的实现

简单操作

$ hadoop fs -copyFromLocal xx.txt hdfs://localhost/test/xx.txt
$ hadoop fs -copyFromLocal xx.txt /test/xx.txt  //core-site指定URI
$ hadoop fs -copyToLocal hdfs://localhost/test/xx.txt xx.txt 
$ hadoop fs -put xx.txt /test/xx.txt
$ hadoop fs -mkdir /dir
$ hadoop fs -ls .
$ hadoop fs -ls file:///

实践，使用IntelliJ

原理很简单，本地生成main函数，实现map和reduce，生成jar包，导入hdfs并执行。

$ hadoop jar rudi-hadoop_main.jar /input/test /output/result
// 这里rudi-hadoop_main.jar为本地jar包。

这里需要说的是map任务可在本地节点运行，但reduce需要整个map输出，map导入reduce如果优化不好会过多占用集群带宽，可使用combiner做嫁接以节省资源。

Word Count：

public class WordCount {
	public static class WordCountMap extends
		Mapper<LongWritable, Text, Text, IntWritable> {


		private final IntWritable one = new IntWritable(1);
		private Text word = new Text();

		public void map(LongWritable key, Text value, Context context)
			throws IOException, InterruptedException {
			String line = value.toString();
			StringTokenizer token = new StringTokenizer(line);
			while (token.hasMoreTokens()) {
				word.set(token.nextToken());
				context.write(word, one);
			}
		}
	}

	public static class WordCountReduce extends
		Reducer<Text, IntWritable, Text, IntWritable> {

		public void reduce(Text key, Iterable<IntWritable> values,
			Context context) throws IOException, InterruptedException {
			int sum = 0;
			for (IntWritable val : values) {
				sum += val.get();
			}
			context.write(key, new IntWritable(sum));
		}
	}

	public static void main(String[] args) throws Exception {
		Configuration conf = new Configuration();
		Job job = new Job(conf);
		job.setJarByClass(WordCount.class);
		job.setJobName("wordcount");

		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);

		job.setMapperClass(WordCountMap.class);
		job.setReducerClass(WordCountReduce.class);

		job.setInputFormatClass(TextInputFormat.class);
		job.setOutputFormatClass(TextOutputFormat.class);

		FileInputFormat.addInputPath(job, new Path(args[0]));
		FileOutputFormat.setOutputPath(job, new Path(args[1]));

		job.waitForCompletion(true);
	}
}

FileSystem：

public class URLCat {

	static {
		URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
	}

	public static void main(String[] args) throws Exception{
		InputStream in = null;
		try{
			in = new URL(args[0]).openStream();
			IOUtils.copyBytes(in, System.out, 4096,false);
		}finally {
			IOUtils.closeStream(in);
		}

	}
}

在使用IntellJ生成jar包的时候，需要主要一点，manifest文件不要放在系统指定的目录中，不然生成的jar包会缺失该文件导致不能执行