寒夜二十五

转载下这位博主的文章，写的非常好，步骤非常清晰，学习一下。

hive sql在跑的时候可能会出现下面的问题：return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. Could not find status of job:job_1649726530586_123811 (state=08S01,code=1)会报一个job名字长度超出限制的问题：解决方法： set hive.jobname.length=10;这里引用以为博主的例子，原文可以去这里查看hiv..

目前项目中由于数据量巨大，导致一个sql要跑一个多小时，所以找了些可以优化的点，记录下来，以后方便使用。1.map的优化，job在map task的过程时间较长set mapreduce.map.memory.mb=8240;set mapreduce.reduce.memory.mb=8240;set hive.merge.mapfiles=false;set mapreduce.input.fileinputformat.split.maxsize=50000000;set hive.e

①列的裁剪，查询时只写我们需要的字段，提高效率②两张表关联时，可以把数据量小的表写在前面，大表写在后面，这样在加载时会把小表加载到内存中，减少资源占用。③

hive中的unix_timestamp（）和 from_unixtime（）用法：unix_timestamp() 得到当前时间戳

hive建表：内部表：#创建内部表create table LL_test (id int,name string,age int)row format delimited fields terminated by '\001'stored as textfile;外部表：#创建外部表create external table LL_test (id int,name string,age int)row format delimite

本文为转载，原文链接：https://blog.youkuaiyun.com/lixiaoksi/article/details/106919895https://blog.youkuaiyun.com/elizabethxxy/article/details/108912884本文总结hive中清空外部表的三种方式hive版本：2.1.1环境准备新建一张外部表：create external table test_external(name String,age int,sex String) s..

hive的UDF函数的实现步骤:1.自定义一个实现类继承UDF,重写evaluate方法(自己想要实现的功能)2.把上面的类打成jar包上传到服务器以及hdfs中3.在使用hive语句时可以直接调用我们的方法即可参考博客:https://blog.youkuaiyun.com/zmywei_20160707/article/details/81698542...