
Hadoop
土豆131421
兴趣是最好的老师
展开
-
写几个Hadoop部署用到的小脚本
最近抛弃非ssh连接的hadoop集群部署方式了,还是回到了用ssh key 验证的方式上了。这里面就有些麻烦,每台机器都要上传公钥。恰恰我又是个很懒的人,所以写几个小脚本完成,只要在一台机器上面就可以做公钥的分发了。 首先是生成ssh key脚本 1 2 3 #!/bin/sh ssh-key转载 2014-03-11 09:56:57 · 499 阅读 · 0 评论 -
hadoop集群监控工具ambari安装
Apache Ambari是对Hadoop进行监控、管理和生命周期管理的开源项目。它也是一个为Hortonworks数据平台选择管理组建的项目。Ambari向Hadoop MapReduce、HDFS、 HBase、Pig, Hive、HCatalog以及Zookeeper提供服务。最近准备装ambari,在网上找了许久,没找到比较系统的ambari安装过程,于是,就根据官网进行了安装,下面是我推转载 2014-03-11 13:53:27 · 961 阅读 · 0 评论 -
Specified key was too long; max key length is 767 bytes
今天测试遇到了这样的问题: mysql> use test; create table test(a varchar(512) primary key, b varchar(1024)); Database changed ERROR 1071 (42000): Specified key was too long; max key length is 767 bytes 相转载 2014-03-07 15:23:39 · 1075 阅读 · 0 评论 -
MapReduce执行过程
1、Map-Reduce的逻辑过程 假设我们需要处理一批有关天气的数据,其格式如下: 按照ASCII码存储,每行一条记录每一行字符从0开始计数,第15个到第18个字符为年第25个到第29个字符为温度,其中第25位是符号+/- 0067011990999991950051507+0000+ 0043011990999991950051512+0022+转载 2014-03-07 10:36:40 · 516 阅读 · 0 评论