linux系统、网络编程和分布式计算

1.安装插件准备程序：eclipse-3.3.2（这个版本的插件只能用这个版本的eclipse）hadoop-0.20.2-eclipse-plugin.jar （在hadoop-0.20.2/contrib/eclipse-plugin目录下）将hadoop-0.20.2-eclipse-plugin.jar 复制到eclipse/plugins目录下，重启eclip

1) 安装jdk 下载jdk-6u21-linux-i586.bin 然后修改/etc/profile： export JAVA_HOME=/usr/local/jdk export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$PATH:$JAVA_HOME/bin保存，并执行sour

1. System.out 和 System.errMain在Main函数里使用System.out标准输出和System.err标准错误输出，输出定向到执行程序节点的终端上。即在完全分布的Hadoop部署中，输出会定向到启动程序的节点的终端上。Mapper针对每个split，会实例化一个Mapper对象作为一个task，在Hadoop集群中的某个机器中的某个Map

JobTracker和TaskTracker

InputFormat

Hadoop的map任务和reduce任务的数量

Hadoop RPC

Hadoop工作流

一 基本概念：管理网络中跨多台计算机存储的文件系统成为分布式文件系统。HDFS是Hadoop的旗舰级文件系统。优点:HFDS以流式数据访问模式来存储超大文件，运行于商用硬件集群上。构建思路：一次写入、多次读取是最高效的访问模式。HDFS遇到节点故障时被设计成能够继续运行且不让用户察觉到明显的中断。缺点：不适合合低时间延迟的数据访问：hdfs是为高

一 概述：MapReduce任务过程分为两个处理阶段：map阶段和reduce阶段，每个阶段都以键/值对作为输入和输出，并由程序员选择它们的类型。其中map阶段的输出必须和reduce阶段的输入类型一致。MapReduce作业(job)是客户端需要执行的一个工作单元：它包括输入数据、MapReduce程序和配置信息。Hadoop将作业分为小任务（task）来执行，其中包括两类任

一 概述：(1)hadoop下的显示：Usage: hadoop [--config confdir] COMMANDwhere COMMAND is one of: namenode -format format the DFS filesystem secondarynamenode run the DFS secondary namenode name

待续...

Hadoop YARN

一 HDFS命令概述：Usage: java FsShell [-ls ] [-lsr ] [-du ] [-dus ] [-count[-q] ] [-mv ] [-cp ] [-rm [-skipTrash]

(1)如何获取当前split的文件名：答案：InputSplit split=context.getInputSplit();String filename=((FileSplit)split).getPath().toString();