目录
一、安装
1、安装步骤
2、启动命令
--启动namenode hadoop-daemon.sh start namenode --启动datanode hadoop-daemon.sh start datanode --启动secondarynamenode hadoop-daemon.sh start secondarynamenode --启动resourcemanager yarn-daemon.sh start resourcemanager --启动nodemanager yarn-daemon.sh start nodemanager --启动hbase start-hbase.sh --进入hbase shell hbase shell |
二、日志分析案例
1、分析各类浏览器的请求次数统计
参考https://blog.youkuaiyun.com/eieiei438/article/details/82021927
2、日志获取,获取nginx的access.log,上传到hadoop服务器
上传到hdfs:
hdfs dfs -mkdir /data hdfs dfs -put /opt/data/access.log /data |
3、将hadoop-test-1.0-SNAPSHOT.jar上传到HADOOP_HOME/hadoop_lib下
执行日志分析程序
hadoop jar hadoop-test-1.0-SNAPSHOT.jar hdfs://hadoopserver:8020/data/access.log hdfs://hadoopserver:8020/result/logtest |
4、查看日志分析结果
hdfs dfs -cat /result/logtest/part-r-00000 输出结果 Apache HTTP Client 1 Chrome 436745 Firefox 7502 MSIE 2618 Safari 11116 Unknown 144349 |
三、常见问题
1、INFO metrics.MetricsUtil: Unable to obtain hostName
vi /etc/hosts 同步修改主机名称
2、start_hbase.sh 报错java_home is not set
修改config/hbase-env.sh,添加JAVA_HOME环境变量。