kingxuexi的博客

转自：Hadoop配置文件参数详解Hadoop运行模式分为安全模式和非安全模式，在这里，我将讲述非安全模式下，主要配置文件的重要参数功能及作用，本文所使用的Hadoop版本为2.6.4。etc/hadoop/core-site.xml参数属性值解释fs.defaultFSNameNode URI

1.在每个linux电脑上，创建一个hadoop用户，给予root权限。配置hosts文件root权限下创建用户：adduser hadoop passwd xxxx给予root权限:vi /etc/sudoers在文本"root ALL=(ALL) ALL"的下一行添加hadoop ALL=(ALL) ALL按ESC键，输入:wq配置hosts:vi

1.虚拟机master 192.168.109.200node1 192.168.109.201node2 192.168.109.2022.安装jdk1.8,下载jdk1.8（密码: 7sw5）,多台虚拟机无密码登录3.安装jdk4.安装配置hadoop2.7.x下载hadoop2.7.3 （密码：f8vf）在虚拟机master的hadoop用户下创建：hadoo

1.安装maven与eclipse配置2.创建一个简单的maven项目3.pom设置，添加dependencies org.apache.hadoop hadoop-common 2.7.3 org.apache.hadoop

org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/a.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node

1，Hadoop fs –fs [local | ]：声明hadoop使用的文件系统，如果不声明的话，使用当前配置文件配置的，按如下顺序查找：hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-site.xml。使用local代表将本地文件系统作为hadoo

hadoop处在安全模式 离开安全模式方法  bin/Hadoop  dfsadmin -safemode leave

1.多台linux虚拟机无密码登录2.在每台电脑上安装jdk3.上传hadoop-2.2.0.x86_64.tar.gz（密码:8t9b）到hadoop账号下的任意位置执行：mkdir hadoopmkdir hadoop/tmpmkdir hadoop/hdfs/namemkdir hadoop/hdfs/data解压tar -zxvf hadoop-2.2.

转自:http://blog.fens.me/hadoop-mapreduce-log-kpi/目录Web日志分析概述需求分析：KPI指标设计算法模型：Hadoop并行算法架构设计：日志KPI系统架构程序开发1：用Maven构建Hadoop项目程序开发2：MapReduce程序实现1. Web日志分析概述Web日志由Web服务器产生，可能