
hadoop体系
文章平均质量分 81
萝卜地里的兔子
爱吃胡萝卜的兔子
展开
-
hadoop2.4.2集群搭建及hive与mysql集成文档记录
1.修改Linux主机名 2.修改IP 3.修改主机名和IP的映射关系 ######注意######如果你们公司是租用的服务器或是使用的云主机(如华为用主机、阿里云主机等) /etc/hosts里面要配置的是内网IP地址和主机名的映射关系 4.关闭防火墙 5.ssh免登陆 6.安装JDK,配置环境变量等 集群规划: 主机名 IP 安装的软件 运行的进程 weeke原创 2016-09-07 14:05:54 · 4966 阅读 · 0 评论 -
flume通过tcp/udp采集数据并存到kafka配置及操作方式
/*官方提供的kafka sink*/ a1.sinks.k1.channel = c1 a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink a1.sinks.k1.kafka.topic = mytopic a1.sinks.k1.kafka.bootstrap.servers = localhost:9092 a1.sin原创 2016-11-03 16:44:20 · 14601 阅读 · 2 评论 -
zookeeper锁测试
package mpc.test; import java.util.concurrent.CountDownLatch; import java.util.concurrent.ExecutorService; import java.util.concurrent.Executors; import java.util.concurrent.TimeUnit; import org.apa原创 2016-11-01 11:57:12 · 6762 阅读 · 0 评论 -
hbase的mapreduce程序小抄
package cn.itcast.bigdata.hbase; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.hbase.HBaseConfiguration;原创 2016-11-02 14:05:30 · 3442 阅读 · 0 评论 -
zkCli使用手册
zkClient命令笔记 connect host:port 连接到其他的zk服务器,例:connect 192.168.174.222:2181 ------------------------------------------------------------------------------------------------------- get path [w原创 2016-12-02 17:46:03 · 6433 阅读 · 0 评论 -
Hadoop64位版本安装后遇到的警告处理
在使用hadoop的过程中,会遇到一个警告,内容如下: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 对于这个问题网上很多说法是由于系统位数和所下载的hadoop的位数不原创 2017-01-13 14:58:57 · 10166 阅读 · 0 评论 -
修改hadoop中yarn的webui中显示的任务时间为中国时间
在${HADOOP_HOME}\share\hadoop\yarn目录下找到hadoop-yarn-common-x.x.x.jar,然后用winRAR打开; 打开以后结构如下: 进入webapps/static/目录,然后修改yarn.dt.plugins.js;做出如下修改: (1)给js文件中添加如下代码: Date.prototype.Format = fu原创 2017-03-14 10:37:52 · 6251 阅读 · 1 评论 -
线程池的方式构建hbase的connection
package normal.dao; import java.io.IOException; import java.util.concurrent.ExecutorService; import java.util.concurrent.Executors; import org.apache.hadoop.conf.Configuration; import org.apache.had原创 2016-11-10 17:37:21 · 11331 阅读 · 6 评论