
大数据云计算Linux相关
文章平均质量分 70
大饼辉
这个作者很懒,什么都没留下…
展开
-
Hive简单SQL语句描述
hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。(该段话来自于百度百科)下面进行一些简单的Hive命令,供Hive小白看。原创 2015-04-21 14:39:50 · 3173 阅读 · 0 评论 -
Elasticsearch的各种插件
Elasticsearch扩展性非常好,有很多官方和第三方开发的插件,下面以分词、同步、数据传输、脚本支持、站点、其它这几个类别进行划分。转载地址:http://www.cnblogs.com/huangfox/p/3541300.html分词插件Combo Analysis Plugin (作者 Olivier Favre, Yakaz)简介:组合分词器,转载 2015-07-15 09:10:32 · 4453 阅读 · 0 评论 -
ssh免密钥设置
预先准备有两台机器,分别为机器A:192.168.21.12机器B:192.168.21.13系统为Redhat系统。首先,确保两台机器的ssh是启动着的,如果没有启动,分别在两台机器上都调用:servicesshd start命令启动。生成秘钥在机器A上运行命令:ssh-keygen-t dsa生成密钥:一直回车即可,这样在/root/.s原创 2015-05-03 20:39:34 · 2684 阅读 · 0 评论 -
tmux安装
tmux是一个优秀的终端复用软件,类似GNU Screen,但来自于OpenBSD,采用BSD授权。使用它最直观的好处就是,通过一个终端登录远程主机并运行tmux后,在其中可以开启多个控制台而无需再“浪费”多余的终端来连接这台远程主机。(该段文字来自于百度文库)1.安装ncurses-develyum -y install ncurses-devel2.安装libevent经测原创 2015-07-12 14:30:55 · 8571 阅读 · 0 评论 -
Elasticsearch集群无法自动集群处理
在构建Elasticsearch(ES)多节点集群的时候,通常情况下只需要将elasticsearch.yml中的cluster.name设置成相同即可,ES会自动匹配并构成集群。但是很多时候可能由于不同的节点在不同的网段下,导致无法自动获取集群。此时可以将启用单播,显式指定节点的发现。具体做法是在elasticsearch.yml文件中设置如下两个参数://假设当前节点为10.6.53.10原创 2015-07-12 14:39:27 · 4797 阅读 · 0 评论 -
Vim常用快捷键-个人学习用
h j k l左 下 上 右32G定位到32行gg定位到开头G定位到结束yy复制当前行nyy复制光标所在行向下n行,例如20yy则是复制20行dd删除当前行ndd删原创 2015-05-29 22:40:00 · 1022 阅读 · 0 评论 -
HBase简单QL语句描述
1.进入HBasehbase shell2.创建表hbase(main):016:0> create 'test','c1','c2' #创建的时候不用写ROW KEY3.插入数据hbase(main):017:0> put 'test','r1','c1:1','value1-1/1'hbase(main):018:0> put 'test','r1','c1:2','v原创 2015-05-08 22:27:40 · 3151 阅读 · 0 评论 -
Hadoop的WordCount代码解析
import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import原创 2015-05-08 22:26:32 · 2266 阅读 · 0 评论 -
bash: yum: command not found 问题解决
操作地址:http://elf8848.iteye.com/blog/455676下载地址:http://mirrors.163.com/centos/6/os/x86_64/Packages/安装的时候,要区分好是5还是6。Redhat6可以使用CentOS的yum源在线安装软件了!安装最后如果一直显示本地源有问题可以直接把本地源的配置文件给注释掉。在文件最后加上.backu原创 2015-05-08 22:21:44 · 15028 阅读 · 0 评论 -
Hadoop的distcp命令出现Permission denied错误
Hadoop的distcp命令可以实现将文件从一个hdfs文件系统中拷贝到另外一个文件系统中,如下所示:$ bin/hadoop distcp -overwrite hdfs://123.123.23.111:9000/hsd/t_url hdfs://123.123.23.156:9000/data/t_url正常情况下应该出现如下运行结果:原创 2015-04-29 22:04:32 · 7549 阅读 · 0 评论 -
Hive通过已有表来创建新表时出现一些列错误
我的系统下:Hadoop的安装目录为:/home/hbase/install/hadoop-2.3.0-cdh5.1.0Hive的安装目录为:/home/hbase/install/hive-0.12.0-cdh5.1.0在hive中已经创建表ht_persons,既然可以建表,说明我的系统安装是成功的,至少有一半是成功的。但是在通过已有表来创建新表时出现如下错误。hi原创 2015-04-21 15:26:55 · 2956 阅读 · 0 评论 -
启动Hive的时候有很多WARN和INFO信息
配置好hive后,输入hive命令启动时会出现许多INFO和WARN信息。如下:15/04/21 11:31:45 INFO Configuration.deprecation: mapred.input.dir.recursive is deprecated. Instead, use mapreduce.input.fileinputformat.input.dir.recursive15/04/21 11:31:45 INFO Configuration.deprecation: mapred.m原创 2015-04-21 12:39:43 · 10737 阅读 · 9 评论 -
Hadoop 2.3.0-cdh5.1.0重编译
Hadoop 2.3.0-cdh5.1.0重编译原创 2015-04-29 21:30:06 · 3682 阅读 · 0 评论