qq_42064119的博客

（1）原因是因为名称节点，处于安全模式Exceptioninthread"main"java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create directory /tmp/hi...

先丢在这儿：首先排除要不要压缩的问题.不压缩的不考虑个人理解觉得选择标准有两个1.首先目标文件大还是小.小文件一律快压,分不分片是大文件考虑的问题2.其次就是业务场景上看.老生常谈的问题:  首先需不需要随机读,如果需要就是lzo补索引,原则上不考虑bzip2,其次就是压缩时间,CPU能力和压缩比的权衡.这里个人是倾向是只要不是对磁盘对压缩比有绝对要求,否则一律snappy或者lz4选...

1.DML补充(1)查询出不包含xx的数据select * from emp where ename not in ('SCOTT');//查询不包含ename等于SCOTT的所有行（2）查询出指定的某行 select * from emp where ename in ('SCOTT','ss');查询返回ename = SCOTT 和 ss的行 （3）查询某...

1.产生背景（1）MapReduce编程十分复杂。（2）传统的RDBMS能满足一般的需求，但是不能处理大数据，需要一个SQL就能处理大数据的。（3）这时结合前俩个缺点改进，就有了Hive（4）提高Hive要想到：SQL on Hadoop（在Hadoop上用SQL来操作）2.Hive基本概念（1）Hive的作用：Apache蜂巢™数据仓库软件便于读,写,和管理大型数据集居住...

1.Hive DDL1.1 database DDL（1） 创建数据库CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name //生产中if not exists都带上  [COMMENT database_comment]  //可以增加注释  [LOCATION hdfs_path]  //存的路径不写默认的就是/use...

1.函数补充（1）explode ：将数组变成一列列的（2）需求举例：求一个WCTime taken: 1.071 secondshive> load data local inpath '/home/hadoop/data/hive_wc.txt' into table hive_wc;Loading data to table default.hive_wcTable...