zhangliushi的博客

JOIN连接是SQL常用的关联方式，但他们之前连用时可能会出现数据缺失的情况，本文分享生产中的bug案例，目前已有解决方案，但具体原因未知，求各位小伙伴解答。

控制处理

一、题目求下表xxx的跳出率跳出率=访问一个页面后离开网站的次数/总访问次数visit_datesession_idurl2021-01-01 08:23:2412637858678https://aaaaa2021-01-01 08:23:2712637858678https://aaaaa/678998992021-01-01 08:26:0212637858678https://aaaaa/123509802021-01-01 08:33:29

项目场景：某个字段需要根据一定规则切分后行转列，并带出其他字段。

hiveql标准时间转北京时间

文章目录前言一、底层调优（一）本地模式二、HQL代码调优三、参数调优前言记录Hive调优经验，持续更新中，欢迎交流讨论。一、底层调优（一）本地模式如果Hive输入的数据量非常小时，Hive使用本地模式在单台机器上处理所有任务，不触发job，对于小数据集来说执行时间可以明显缩短。<property> <name>hive.exec.mode.local.auto</name> <value>true</value>

项目场景：项目场景：数仓维度表问题描述：提示：这里描述项目中遇到的问题：例如：数据传输过程中数据不时出现丢失的情况，偶尔会丢失一部分数据APP 中接收数据代码：@Override public void run() { bytes = mmInStream.read(buffer); mHandler.obtainMessage(READ_DATA, bytes, -1, buffer).sendToTarget();

ON CONCAT(t1.sale_date, '-01') = CAST(CONCAT(t2.sale_date, '-01')AS DATE) + INTERVAL 1 YEARON CONCAT(t1.sale_date, '-01') = ADD_MONTHS(CONCAT(t2.sale_date, '-01'),12)

当主表的联结条件与右表为一对多的关系时，使用CONCAT_WS(’,’, COLLECT_SET(字段名))把右表的多个字段值合成一个字段值。

当某个字段含有多个元素，需要把多个元素分解开时，可以使用炸裂函数，形成一对多的形式。

文章目录一、ROW_NUMBER()（一）代码样例（二）取值逻辑及适用场景二、RANK()（一）代码样例（二）取值逻辑及适用场景三、DENSE_RANK()（一）代码样例（二）取值逻辑及适用场景一、ROW_NUMBER()（一）代码样例SELECT uid ,uname ,update_time ,ROW_NUMBER() OVER(PARTITION BY uid ORDER BY update_time DESC) AS rnFROM xxxWHERE pt_

文章目录前言一、基础知识（一）Hadoop生态系统中的Hive（二）Hive的特点二、Hive底层（一）Hive组成模块（二）Hive执行过程三、参考书籍前言分享Hive基础知识，记录本人对其底层的理解。一、基础知识（一）Hadoop生态系统中的HiveHive可以将大多数的查询转换为MapReduce任务（job），方便用户使用类SQL语言查询存储在Hadoop集群中的数据。（二）Hive的特点Hive不是一个完整的数据库。Hadoop以及HDFS的设计本身约束和局限性地限制了Hi

脚本中含有多个左联结操作，可以先根据过滤条件把右表做成临时表再左联结临时表获取数据，关联时利用map join，调整小表大小限制将小表加载进内存运行，不相关联的临时表也可以利用并行参数提高性能。

（一）以某些字段分组进行开窗，可以配合其他函数统计各分组数据的情况。# 以同一个user_id和同一个check_flg为一组（比如“001已审核”是第一组，“001未审核”是第二组），在同一组数据中以score大小进行降序排序。ROW_NUMBER() OVER(PARTITION BY user_id , check_flg ORDER BY score DESC) AS rn # 以同一个user_id为一组（比如“001”是第一组，“002”是第二组），求user_id的数量。

一、并行参数XXX二、小文件参数XXX三、负载均衡XXX

归纳HiveQL常用函数，分享其在数据仓库开发中的案例。函数说明SUM()求和COUNT()求数量SUBSTR()截取字符串MAX()取最大MIN()取最小ROW_NUMBER()排序取值LOWER()转小写UPPER()转大写RLIKE/NOT RLIKEB是否在A里（支持正则）LIKE/NOT LIKEB是否在A里（不支持正则）COALESCE(参数.........

一、先求每个字段最长字符SELECT MAX(length_xxx)FROM( SELECT LENGTH(xxx) AS length_xxx FROM yyyy WHERE pt_d = '20210101') t1;