小蚯蚓的博客

1.问题描述：配置好，yarn的日志聚合功能。运行yarn的wordcount任务，发生错误。一直卡在INFO mapreduce.Job，无法运行。2.现象[hadoop@hadoop hadoop-2.6.0-cdh5.15.0]yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.15.0.ja...

一、实现功能1、从hbase里读数据将hbase里的数据作为map的输入2、将数据写入hbase将hbase作为reduce的输出3、从hbase里读数据，再写入hbase数据迁移，比如有张表：tb01有20列数据，将其中的10列数据读出来，写入另一张表tb02二、集成步骤1.hadoop的添加缺少hbase相关jar包（1）方法一：可以在hadoop的运行环境...

一、实现功能1.importtsv将tsv导入hbase2.importtsv将csv导入hbase3.importtsv通过completebulkload导入hfile的文件数据二、实例准备1.需求stu_info有20列数据，将info下name这列数据读出来，然后写入另一张表tb02。2.hbase新建两张表create 'stu_info','info'...

一、日志服务：1、历史服务器作用： 查看已经运行完成的应用记录。需要指定historyserver的地址，内部和外部通信端口号，如果不指定默认是本机。historyserver是一个轻量级的服务，可以部署在任意一台节点上。必须开启日志服务才可以看聚合（保存）下来的日志。2、配置（在mapred-site.xml中）： 注意：这里的端口号不能随便修改<pr...

一、JDK安装和配置1、先卸载原先系统的java2、先修改权限chown -R hadoop01:hadoop01 /opt/3、解压JDK到指定的目录下，目录任意，建议不要装在某个用户主目录下tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules/4、添加环境变量 （1）修改vi /etc/profile文件，配置...

一、目的对于用户访问日志，使用MapReduce进行编程分析，获得每个城市的访问量。二、实现环境1.CDH 5.7.02.CentOS 7.43.集群外部Hadoop开发环境部署参考博客：https://blog.youkuaiyun.com/u010886217/article/details/89278390三、实现代码1.研究日志格式2.MapReduce实现统计...

一、关键概念1.Client客户端作用：提交mapreduce任务的电脑。2.Resource manager作用：用于管理整个集群资源调度分配，包含Applications manager和Resource Scheduler。（1）Applications manager：管理每个提交任务，创建每个任务的Application master。（2）Resource Sc...