jjkang的博客

Centos 6.5 hadoop集群安装安装jdk安装hadoop三台主机hosts修改主机名修改网络环境修改core-site.xml修改hdfs-site.xml修改mapred-site.xml修改yarn-site.xml安装jdk解压之后，vi /etc/profile，在平、末尾添加jdk的环境变量export JAVA_HOME=/root/app/jdk1.8.0_18...

HA集群安装硬件准备安装jdk安装zookeerper安装hadoop上传、解压修改core-site.xml文件修改mapred-site.xml修改yarn-site.xml修改hdfs-site.xml修改slaves配置hadoop_home分发到其他虚拟机中启动启动zookeeper集群启动journalnode格式化HDFS格式化ZKFC启动HDFS启动YARN测试硬件准备七台虚...

zookeerper集群安装将安装包上传到虚拟机解压修改配置文件创建目录设置myid分发到其他主机将安装包上传到虚拟机解压修改配置文件[hadoop@hadoop6 ~]$ cat app/zookeeper/conf/zoo.cfg # The number of milliseconds of each ticktickTime=2000# The number of ticks...

自定义组件Partitioner- 根据不同省份统计手机流量需求思路实现JavaBean自定义PartitionerMapperreduce结果![在这里插入图片描述](https://img-blog.csdnimg.cn/20190328170806291.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,...

统计手机流量 - 使用bean传输JavaBeanMapperreduceMain上一篇博客中，使用的是键值对传输，但是，如果要字段很多怎么办呢？比如，需要上行流量、下行流量、总流量，这个时候就不能使用键值对的方式传输了，而是要将这些字段封装为一个JavaBean。JavaBeanpublic class Traffic implements Writable{ priv...

统计手机流量原始数据需求编码实现MapperReduceTrafficCount原始数据1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681 2001363157995052 ...

运行hadoop中的例子程序PI命令结果安装好hadoop集群之后，都会想着试一下自己的集群是否正常工作，最简单的方式就是运行hadoop提供的例子程序。命令hadoop jar hadoop-mapreduce-examples-2.6.4.jar pi 5 5结果[root@zk2 ~]# hadoop jar hadoop-mapreduce-examples-2.6.4.j...

azkaban安装azkaban web服务器安装azkaban 执行服器安装创建azkaban的数据库创建SSL配置修改时区azkaban web服务器配置azkaban 执行服务器executor配置用户配置启动web服务器执行服务器访问安装azkaban需要提前安装好mysql服务器azkaban web服务器安装解压azkaban-web-server-2.5.0.tar.gz...

hive安装上传、解压修改配置hive-env.sh配置vi hive-site.xml将mysql的jar包拷贝到lib路径下Jline包版本不一致的问题mysql 权限问题上传、解压修改配置hive-env.sh配置# Licensed to the Apache Software Foundation (ASF) under one# or more contributor li...

flume采集日志文件到hdfs配置文件启动命令运行结果flume可以从正在输出的日志文件中采集数据存到hdfs中配置文件agent1.sources = source1agent1.sinks = sink1agent1.channels = channel1# Describe/configure tail -F source1agent1.sources.source1....

flume采集目录文件到HDFS配置配置# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = spooldira1.sources.r1.spoolDir = /root/h...

flume实例实例一配置文件运行结果实例一配置文件# 定义这个agent中各组件的名字a1.sources = r1a1.sinks = k1a1.channels = c1# 描述和配置source组件：r1a1.sources.r1.type = netcata1.sources.r1.bind = 192.168.56.160a1.sources.r1.port = 4...

hbase安装下载、解压（Hbase版本0.99）修改配置文件core-site.xmlhbase-env.shhbase-site.xmlhdfs-site.xmlregionservers分发到其他主机启动启动后的进程zk1zk2zk3测试下载、解压（Hbase版本0.99）修改配置文件core-site.xml<configuration> <pro...