tayhh的博客

作为一名数据小哥，在写SQL的漫漫路上，窗口函数犹如一把披荆斩棘的利剑，帮助作者解决了很多繁琐复杂的需求，在此对窗口函数表示感谢。 本文在介绍了窗口函数的同时，着重介绍Hive窗口函数的使用，希望读者在看完本篇文章之后，对窗口函数的使用能够有所掌握。 值得注意的是本文中的例子使用的是HQL（Hive SQL），本文需要一定的SQL基础，如果想了解基础SQL，请移步数据分析师之快速掌...

作为一名数据小哥，在写SQL的漫漫路上，窗口函数犹如一把披荆斩棘的利剑，帮助作者解决了很多繁琐复杂的需求，在此对窗口函数表示感谢。 本文在介绍了窗口函数的同时，着重介绍Hive窗口函数的使用，希望读者在看完本篇文章之后，对窗口函数的使用能够有所掌握。 值得注意的是本文中的例子使用的是HQL（Hive SQL），本文需要一定的SQL基础，如果想了解基础SQL，请移步数据分...

Alter Table 语句 Hive修改表名，列名，列注释，表注释，增加列，调整列顺序，属性名等操作 它是在Hive中用来修改的表。语法 声明接受任意属性，我们希望在一个表中修改以下语法。 ALTER TABLE name RENAME TO new_name ALTER TABLE name ADD COLUMNS (col_spec[, col_spec ...]...

1.合并csv文件 cat *.csv > full.csv 若需要删除表名： #删除该文件夹下所有csv文件的第一行 sed -i "1d" *.csv #删除该文件夹下的所有txt文件第一行 sed -i "1d" *.txt #删除前三行 sed -i "1,3d" *.csv 方法一： 2.将合并文件上传到hdfs hdfs fs -put 文件路径 hdf...

Hive建表语句 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name (col_name data_type [COMMENT 'col_comment'], ...) [PARTITIONED BY (col_name data_type [COMMENT 'col_comment'], ...)] [COM...

外表不能按一般步骤drop，否则你还得手动去hdfs rm -r xxx文件，并且还可能遇到因为文件太大而不能删除等问题； 最好需要执行以下两个步骤： ALTER TABLE xxx SET TBLPROPERTIES('EXTERNAL'='False'); drop table xxx; ...

往往是数据倾斜问题，解决方案如下 https://blog.youkuaiyun.com/yisun123456/article/details/81743782

set CURRENT_YEAR=2018; set CURRENT_MONTH=11; set CURRENT_DAY=9; select * from talename where year >= '${hiveconf:CURRENT_YEAR}' and month>='${hiveconf:CURRENT_MONTH}' and day>='${hiveco...