tayhh的博客

作为一名数据小哥，在写SQL的漫漫路上，窗口函数犹如一把披荆斩棘的利剑，帮助作者解决了很多繁琐复杂的需求，在此对窗口函数表示感谢。本文在介绍了窗口函数的同时，着重介绍Hive窗口函数的使用，希望读者在看完本篇文章之后，对窗口函数的使用能够有所掌握。值得注意的是本文中的例子使用的是HQL（Hive SQL），本文需要一定的SQL基础，如果想了解基础SQL，请移步数据分析师之快速掌...

作为一名数据小哥，在写SQL的漫漫路上，窗口函数犹如一把披荆斩棘的利剑，帮助作者解决了很多繁琐复杂的需求，在此对窗口函数表示感谢。本文在介绍了窗口函数的同时，着重介绍Hive窗口函数的使用，希望读者在看完本篇文章之后，对窗口函数的使用能够有所掌握。值得注意的是本文中的例子使用的是HQL（Hive SQL），本文需要一定的SQL基础，如果想了解基础SQL，请移步数据分...

Alter Table 语句Hive修改表名，列名，列注释，表注释，增加列，调整列顺序，属性名等操作它是在Hive中用来修改的表。语法声明接受任意属性，我们希望在一个表中修改以下语法。 ALTER TABLE name RENAME TO new_name ALTER TABLE name ADD COLUMNS (col_spec[, col_spec ...]...

1.合并csv文件cat *.csv > full.csv若需要删除表名：#删除该文件夹下所有csv文件的第一行sed -i "1d" *.csv#删除该文件夹下的所有txt文件第一行sed -i "1d" *.txt#删除前三行 sed -i "1,3d" *.csv方法一：2.将合并文件上传到hdfshdfs fs -put 文件路径 hdf...

Hive建表语句 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name (col_name data_type [COMMENT 'col_comment'], ...) [PARTITIONED BY (col_name data_type [COMMENT 'col_comment'], ...)] [COM...

外表不能按一般步骤drop，否则你还得手动去hdfs rm -r xxx文件，并且还可能遇到因为文件太大而不能删除等问题；最好需要执行以下两个步骤：ALTER TABLE xxx SET TBLPROPERTIES('EXTERNAL'='False');drop table xxx;...

往往是数据倾斜问题，解决方案如下https://blog.youkuaiyun.com/yisun123456/article/details/81743782

set CURRENT_YEAR=2018;set CURRENT_MONTH=11;set CURRENT_DAY=9;select * from talenamewhere year >= '${hiveconf:CURRENT_YEAR}'and month>='${hiveconf:CURRENT_MONTH}'and day>='${hiveco...