dbc_zt的博客

Hive作为大数据处理的重要工具，其核心优势在于通过类SQL查询简化了大规模数据分析的复杂性，降低了开发成本。然而，Hive在处理小数据和时效性要求高的场景时存在劣势。本文详细介绍了Hive的建表语法、内部表与外部表的区别、自定义函数的实现与加载方法，以及主流计算引擎（MapReduce、Tez、Spark）的原理与适用场景。此外，文章还涵盖了Hive的执行流程、性能调优、函数分类、Join操作、Union与Union All的区别，以及排序与分区的相关操作。通过掌握这些硬核技巧，开发者可以有效提升Hive

特殊符号 $%

原因: hive导入hdfs按天文件夹,按小时文件的数据, 历史数据(天数)较多, 手动添加分区, 工作量大,改用脚本 编写脚本: notepad++(工具) ------------------------------------------------------------------------------以下 脚本 --------------------------------......

次日回访

spark count(distinct)over() 数据处理 业务描述 有这么一个业务，需要过滤排除掉相同设备不同账号，以及相同账号不同设备的数据，只留下设备与账号一对一的数据： 如果从关系型数据库来看，A 多对对 B, 需要找出并保留 A一对一的B。 数据准备 设备id 账号 1 a 2 b 2 c 3 b 3 d 4 d 5 e 5 e /* 从数据上看只有(1,a),(5,e)满足一对一的要求， 设备2存在b/c两个账号，设备3存在b/d两个账号

hive 性能调优 前言 hive在大数据离线开发使用过程占比还是挺大的，熟练掌握hive调优，是每个大数据从业人员的基本要求了 目录 SQL 优化 数据块大小对性能影响 存储格式对性能影响 分区表分同表 引擎 SQL优化 with的使用 with语法将数据查询到内存，然后后面其它查询可以直接使用 -- with常用的几种方式 -- routine style with a1 as ( select * from a where id between 1 and 20 ) se

hive join方式总结 join的几种方式 [INNER] JOIN 内联 LEFT JOIN 左连 RIGHT JOIN 右连 FULL OUTER JOIN 全外连 LEFT SEMI JOIN 左半连 CROSS JOIN 笛卡尔 数据准备 cl_tmp.tmp_tm_join_testA id name 1 张三 2 李四 3 王五 cl_tmp.tmp_tm_join_testB id age 2 26 3 28 4 29

hive分区表操作 目录 分区参数介绍 分区表的创建 数据插入方式 hive 分区在hive表中实际就是在表下面的一层目录 分区参数介绍 -- 设置动态分区参数(开启动态分区，一般使用前两个参数就就可以) set hive.exec.dynamic.partition=true; -- 使用动态分区，默认false -- strict可设置为静态和半动态，要求至少包含一个静态分区列，且放在最前面 -- nonstrict可设置为静态、半动态和动态，动态必须设置此参数。 set hive.exec.d

hive 报错NoViableAltException 报错内容 NoViableAltException(-1@[123:1: selectItem : ( ( tableAllColumns )=> tableAllColumns -> ^( TOK_SELEXPR tableAllColumns ) | ( expression ( ( ( KW_AS )? identifier ) | ( KW_AS LPAREN identifier ( COMMA identifier )* RP

hive 判空处理的三种处理方法 CASE WHEN 语法 CASE Statement 使用 方式一 SELECT CASE opt_date --简单case函数:写法简洁 WHEN "年" THEN 1 WHEN "月" THEN 0 ELSE 0 END AS date_type FROM cl_ods.ods_erp_income_di LIMIT 10; 方式二 SELECT CASE --case搜索函

需求: hive分区表导入hdfs按天文件夹 按小时文件的数据, 由于历史数据较多, 手动工作量大,采用Linux脚本 工具: notepad++ --------------------------------------------------------------------------以下  脚本--------------------------------------------...

bug:Authorization failed:No privilege 'Select' found for inputs 本图上set system:user.name=hadoop为错误标注, 不必理会 Hadoop环境: CDH 5.11 出现bug环境: linux 当前用户 dev, 执行的hive cli 解决方式: 修改当前用户的select权限, 如果遇到crea...