大数据之路
关注
分享
扫一扫
大数据之路
jjkang_
这个作者很懒，什么都没留下…
展开
-
Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
Could not locate executable null\bin\winutils.exe in the Hadoop binaries.两种方式解决第一种第二种方式两种方式解决第一种在Driver的第一行加上如下代码System.setProperty("hadoop.home.dir", "D:\\dev\\java\\hadoop\\");D:\dev\java\ha...原创 2020-02-11 17:06:13 · 735 阅读 · 0 评论 -
azkaban安装
azkaban安装azkaban web服务器安装azkaban 执行服器安装创建azkaban的数据库创建SSL配置修改时区azkaban web服务器配置azkaban 执行服务器executor配置用户配置启动web服务器执行服务器访问安装azkaban需要提前安装好mysql服务器azkaban web服务器安装解压azkaban-web-server-2.5.0.tar.gz...原创 2019-04-10 20:30:38 · 656 阅读 · 0 评论 -
flume采集日志文件到hdfs
flume采集日志文件到hdfs配置文件启动命令运行结果flume可以从正在输出的日志文件中采集数据存到hdfs中配置文件agent1.sources = source1agent1.sinks = sink1agent1.channels = channel1# Describe/configure tail -F source1agent1.sources.source1....原创 2019-04-10 16:37:42 · 3185 阅读 · 0 评论 -
flume采集目录文件到HDFS
flume采集目录文件到HDFS配置配置# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = spooldira1.sources.r1.spoolDir = /root/h...原创 2019-04-10 15:01:36 · 1624 阅读 · 0 评论 -
flume简单实例
flume实例实例一配置文件运行结果实例一配置文件# 定义这个agent中各组件的名字a1.sources = r1a1.sinks = k1a1.channels = c1# 描述和配置source组件：r1a1.sources.r1.type = netcata1.sources.r1.bind = 192.168.56.160a1.sources.r1.port = 4...原创 2019-04-10 13:21:06 · 339 阅读 · 0 评论 -
hbase安装
hbase安装下载、解压（Hbase版本0.99）修改配置文件core-site.xmlhbase-env.shhbase-site.xmlhdfs-site.xmlregionservers分发到其他主机启动启动后的进程zk1zk2zk3测试下载、解压（Hbase版本0.99）修改配置文件core-site.xml<configuration> <pro...原创 2019-04-09 18:17:32 · 369 阅读 · 0 评论 -
HA集群安装
HA集群安装硬件准备安装jdk安装zookeerper安装hadoop上传、解压修改core-site.xml文件修改mapred-site.xml修改yarn-site.xml修改hdfs-site.xml修改slaves配置hadoop_home分发到其他虚拟机中启动启动zookeeper集群启动journalnode格式化HDFS格式化ZKFC启动HDFS启动YARN测试硬件准备七台虚...原创 2019-04-09 14:50:38 · 369 阅读 · 0 评论 -
zookeerper集群安装
zookeerper集群安装将安装包上传到虚拟机解压修改配置文件创建目录设置myid分发到其他主机将安装包上传到虚拟机解压修改配置文件[hadoop@hadoop6 ~]$ cat app/zookeeper/conf/zoo.cfg # The number of milliseconds of each ticktickTime=2000# The number of ticks...原创 2019-04-09 10:18:46 · 999 阅读 · 0 评论 -
hive安装
hive安装上传、解压修改配置hive-env.sh配置vi hive-site.xml将mysql的jar包拷贝到lib路径下Jline包版本不一致的问题mysql 权限问题上传、解压修改配置hive-env.sh配置# Licensed to the Apache Software Foundation (ASF) under one# or more contributor li...原创 2019-04-06 20:24:45 · 260 阅读 · 0 评论 -
自定义组件Partitioner- 根据不同省份统计手机流量
自定义组件Partitioner- 根据不同省份统计手机流量需求思路实现JavaBean自定义PartitionerMapperreduce结果![在这里插入图片描述](https://img-blog.csdnimg.cn/20190328170806291.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,...原创 2019-03-28 17:10:03 · 366 阅读 · 0 评论 -
统计手机流量 - 使用bean传输
统计手机流量 - 使用bean传输JavaBeanMapperreduceMain上一篇博客中，使用的是键值对传输，但是，如果要字段很多怎么办呢？比如，需要上行流量、下行流量、总流量，这个时候就不能使用键值对的方式传输了，而是要将这些字段封装为一个JavaBean。JavaBeanpublic class Traffic implements Writable{ priv...原创 2019-03-28 16:29:23 · 351 阅读 · 0 评论 -
统计手机流量
统计手机流量原始数据需求编码实现MapperReduceTrafficCount原始数据1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681 2001363157995052 ...原创 2019-03-28 15:53:39 · 1249 阅读 · 0 评论 -
运行hadoop中的例子程序PI
运行hadoop中的例子程序PI命令结果安装好hadoop集群之后，都会想着试一下自己的集群是否正常工作，最简单的方式就是运行hadoop提供的例子程序。命令hadoop jar hadoop-mapreduce-examples-2.6.4.jar pi 5 5结果[root@zk2 ~]# hadoop jar hadoop-mapreduce-examples-2.6.4.j...原创 2019-03-28 15:29:52 · 3622 阅读 · 0 评论 -
Centos 6.5 hadoop集群安装
Centos 6.5 hadoop集群安装安装jdk安装hadoop三台主机hosts修改主机名修改网络环境修改core-site.xml修改hdfs-site.xml修改mapred-site.xml修改yarn-site.xml安装jdk解压之后，vi /etc/profile，在平、末尾添加jdk的环境变量export JAVA_HOME=/root/app/jdk1.8.0_18...原创 2019-03-18 15:04:54 · 464 阅读 · 2 评论