CottonDuke的博客

6.1metaDataOps for DDLs 例如 create table xxx 数据库定义语言，不需要执行mapreduce6.3 dfs operation  直接查询 hdf的情况  例如 hadoop fs -ls /

1下载hive 安装包2hive_home/confcp hive-default.xml.templatehive-site.xml把所有模板都改成去掉template的配置文件3修改hive-env.shexport HIVE_CONF_DIR=/app/apache-hive-2.1.1-bin/confexport HADOOP_HO

name说明mapred.task.profile是否对任务进行profiling，调用java内置的profile功能，打出相关性能信息mapred.task.profile.{maps|reduces}对几个map或reduce进行profiling。非常影响速度，建议在小数据量上尝试mapred.job.reuse.jvm.num.tasks1表示不reuse，-1表示无限reuse，其他数

1.日期函数UNIX时间戳转日期函数: from_unixtime语法:from_unixtime(bigint unixtime[, stringformat]) 返回值: string说明: 转化UNIX时间戳（从1970-01-0100:00:00 UTC到指定时间的秒数）到当前时区的时间格式举例：Hive> select from_unixtime(1323308943,'

修改表结构将表t1的列名name 修改为username ,增加列注释 new namealter table t1 change column name username string comment 'new name';增加列alter table t1 add colums(gender string)删除列，不建议这么做，可以重新创建一个表假设t1原来有n

dependency> groupId>org.apache.hivegroupId> artifactId>hive-jdbcartifactId> version>0.14.0version>dependency>dependency> groupId>org.apache.hadoopgroupId> artifactId>hadoop-commo

rank() over dense_rank() over row_number() overhttp://www.cnblogs.com/dycg/p/4260283.html

文件格式TextFileSequenceFileRCFileORC使用SequenceFile存储格式存储> create table test2(str STRING) STORED AS SEQUENCEFILE;  hive> set hive.exec.compress.output=true;hive>

有两张表，user1和user2user1：hive> select * from user1;OKuser1.id        user1.name1       name12       name23       name1 user2:hive> select * from user2;OKuser2.id        user2.age1...