dbc_zt的博客

特殊符号 $%

原因: hive导入hdfs按天文件夹,按小时文件的数据, 历史数据(天数)较多, 手动添加分区, 工作量大,改用脚本编写脚本: notepad++(工具)------------------------------------------------------------------------------以下 脚本 --------------------------------......

次日回访

spark count(distinct)over() 数据处理业务描述有这么一个业务，需要过滤排除掉相同设备不同账号，以及相同账号不同设备的数据，只留下设备与账号一对一的数据：如果从关系型数据库来看，A 多对对 B, 需要找出并保留 A一对一的B。数据准备设备id账号1a2b2c3b3d4d5e5e/*从数据上看只有(1,a),(5,e)满足一对一的要求，设备2存在b/c两个账号，设备3存在b/d两个账号

hive 性能调优前言hive在大数据离线开发使用过程占比还是挺大的，熟练掌握hive调优，是每个大数据从业人员的基本要求了目录SQL 优化数据块大小对性能影响存储格式对性能影响分区表分同表引擎SQL优化with的使用with语法将数据查询到内存，然后后面其它查询可以直接使用-- with常用的几种方式-- routine stylewith a1 as ( select * from a where id between 1 and 20 ) se

hive join方式总结join的几种方式[INNER] JOIN 内联LEFT JOIN 左连RIGHT JOIN 右连FULL OUTER JOIN 全外连LEFT SEMI JOIN 左半连CROSS JOIN 笛卡尔数据准备cl_tmp.tmp_tm_join_testAidname1张三2李四3王五cl_tmp.tmp_tm_join_testBidage226328429

hive分区表操作目录分区参数介绍分区表的创建数据插入方式hive 分区在hive表中实际就是在表下面的一层目录分区参数介绍-- 设置动态分区参数(开启动态分区，一般使用前两个参数就就可以)set hive.exec.dynamic.partition=true; -- 使用动态分区，默认false-- strict可设置为静态和半动态，要求至少包含一个静态分区列，且放在最前面-- nonstrict可设置为静态、半动态和动态，动态必须设置此参数。set hive.exec.d

hive 报错NoViableAltException报错内容NoViableAltException(-1@[123:1: selectItem : ( ( tableAllColumns )=> tableAllColumns -> ^( TOK_SELEXPR tableAllColumns ) | ( expression ( ( ( KW_AS )? identifier ) | ( KW_AS LPAREN identifier ( COMMA identifier )* RP

hive 判空处理的三种处理方法CASE WHEN语法CASE Statement使用方式一SELECT CASE opt_date --简单case函数:写法简洁 WHEN "年" THEN 1 WHEN "月" THEN 0 ELSE 0 END AS date_typeFROM cl_ods.ods_erp_income_diLIMIT 10;方式二SELECT CASE --case搜索函

bug:Authorization failed:No privilege 'Select' found for inputs本图上set system:user.name=hadoop为错误标注, 不必理会Hadoop环境: CDH 5.11出现bug环境: linux 当前用户 dev, 执行的hive cli解决方式: 修改当前用户的select权限, 如果遇到crea...

需求: hive分区表导入hdfs按天文件夹 按小时文件的数据, 由于历史数据较多, 手动工作量大,采用Linux脚本工具: notepad++--------------------------------------------------------------------------以下  脚本--------------------------------------------...