Hive-窗口函数入门

最新推荐文章于 2024-06-24 19:03:33 发布
最新推荐文章于 2024-06-24 19:03:33 发布
阅读量98 收藏
点赞数
分类专栏： 总结 笔记 文章标签： hive sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bwf317/article/details/110454655
版权
博客围绕Hive SQL展开，给出订单数据，介绍建表、加载数据操作。通过SQL语句实现求每个人订单明细和总量、指定窗口查询、按百分比取数据、特定时间购买顾客查询、顾客购买明细及月购买总额查询等功能，还提及month函数使用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

给出数据：姓名，日期，花费
jack,2020-01-01,10
tony,2020-01-02,15
jack,2020-02-03,23
tony,2020-01-04,29
jack,2020-01-05,46
jack,2020-04-06,42
tony,2020-01-07,50
jack,2020-01-08,55
mart,2020-04-08,62
mart,2020-04-09,68
neil,2020-05-10,12
mart,2020-04-11,75
neil,2020-06-12,80
mart,2020-04-13,94
数据存于/data/orders中
建表：
create table tb_orders(
name string ,
ctime string ,
money double
)
row format delimited fields terminated by ‘,’ ;
load data local inpath “/data/orders” into table tb_orders ;

select * from tb_orders ;
±----------------±-----------------±-----------------+
| tb_orders.name | tb_orders.ctime | tb_orders.money |
±----------------±-----------------±-----------------+
| jack | 2020-01-01 | 10.0 |
| tony | 2020-01-02 | 15.0 |
| jack | 2020-02-03 | 23.0 |
| tony | 2020-01-04 | 29.0 |
| jack | 2020-01-05 | 46.0 |
| jack | 2020-04-06 | 42.0 |
| tony | 2020-01-07 | 50.0 |
| jack | 2020-01-08 | 55.0 |
| mart | 2020-04-08 | 62.0 |
| mart | 2020-04-09 | 68.0 |
| neil | 2020-05-10 | 12.0 |
| mart | 2020-04-11 | 75.0 |
| neil | 2020-06-12 | 80.0 |
| mart | 2020-04-13 | 94.0 |
±----------------±-----------------±-----------------+

– 求每个人的订单明细和总量
思路：
①select * from tb_orders order by name;
②select
name ,
count(1)
from
tb_orders
group by name ;

±------±-----+
| name | _c1 |
±------±-----+
| jack | 5 |
| mart | 4 |
| neil | 2 |
| tony | 3 |
±------±-----+

整合：
with x as (
select * from tb_orders order by name
),
y as (
select
name ,
count(1) cnt ,
sum(money) total_money
from
tb_orders
group by name
)
select
x.*,
y.cnt,
y.total_money
from
x
join
y
on
x.name = y.name
order by x.name , x.ctime
;

结果：
±--------±------------±---------±-------±---------------+
| x.name | x.ctime | x.money | y.cnt | y.total_money |
±--------±------------±---------±-------±---------------+
| jack | 2020-01-01 | 10.0 | 5 | 176.0 |
| jack | 2020-01-05 | 46.0 | 5 | 176.0 |
| jack | 2020-01-08 | 55.0 | 5 | 176.0 |
| jack | 2020-02-03 | 23.0 | 5 | 176.0 |
| jack | 2020-04-06 | 42.0 | 5 | 176.0 |
| mart | 2020-04-08 | 62.0 | 4 | 299.0 |
| mart | 2020-04-09 | 68.0 | 4 | 299.0 |
| mart | 2020-04-11 | 75.0 | 4 | 299.0 |
| mart | 2020-04-13 | 94.0 | 4 | 299.0 |
| neil | 2020-05-10 | 12.0 | 2 | 92.0 |
| neil | 2020-06-12 | 80.0 | 2 | 92.0 |
| tony | 2020-01-02 | 15.0 | 3 | 94.0 |
| tony | 2020-01-04 | 29.0 | 3 | 94.0 |
| tony | 2020-01-07 | 50.0 | 3 | 94.0 |
±--------±------------±---------±-------±---------------+
指定窗口为整个表

select

  • ,
    count(1) over() – 整个表
    from
    tb_orders ;

±----------------±-----------------±-----------------±----------------+
| tb_orders.name | tb_orders.ctime | tb_orders.money | count_window_0 |
±----------------±-----------------±-----------------±----------------+
| mart | 2020-04-13 | 94.0 | 14 |
| neil | 2020-06-12 | 80.0 | 14 |
| mart | 2020-04-11 | 75.0 | 14 |
| neil | 2020-05-10 | 12.0 | 14 |
| mart | 2020-04-09 | 68.0 | 14 |
| mart | 2020-04-08 | 62.0 | 14 |
| jack | 2020-01-08 | 55.0 | 14 |
| tony | 2020-01-07 | 50.0 | 14 |
| jack | 2020-04-06 | 42.0 | 14 |
| jack | 2020-01-05 | 46.0 | 14 |
| tony | 2020-01-04 | 29.0 | 14 |
| jack | 2020-02-03 | 23.0 | 14 |
| tony | 2020-01-02 | 15.0 | 14 |
| jack | 2020-01-01 | 10.0 | 14 |
±----------------±-----------------±-----------------±----------------+

– 指定窗口大小是一个人
select

  • ,
    count(1) over(partition by name) ,
    sum(money) over(partition by name)
    from
    tb_orders ;

±----------------±-----------------±-----------------+
| tb_orders.name | tb_orders.ctime | tb_orders.money |
±----------------±-----------------±-----------------+
| jack | 2020-01-01 | 10.0 |
| tony | 2020-01-02 | 15.0 |
| jack | 2020-02-03 | 23.0 |
| tony | 2020-01-04 | 29.0 |
| jack | 2020-01-05 | 46.0 |
| jack | 2020-04-06 | 42.0 |
| tony | 2020-01-07 | 50.0 |
| jack | 2020-01-08 | 55.0 |
| mart | 2020-04-08 | 62.0 |
| mart | 2020-04-09 | 68.0 |
| neil | 2020-05-10 | 12.0 |
| mart | 2020-04-11 | 75.0 |
| neil | 2020-06-12 | 80.0 |
| mart | 2020-04-13 | 94.0 |
±----------------±-----------------±-----------------+
限制窗口大小：
这里 order by ctime 和rows between unbounded preceding and current row 起始效果是一样的，写一个就可以

select

  • ,
    sum(money) over(partition by name order by ctime rows between unbounded preceding and current row )
    from
    tb_orders ;

分开写：
①
select
*,
sum(money) over (partition by name order by ctime)
from
tb_orders;

②
select
*,
sum(money) over (partition by name rows between unbounded preceding and current row)
from
tb_orders;

这三个结果都一样：
±----------------±-----------------±-----------------±--------------+
| tb_orders.name | tb_orders.ctime | tb_orders.money | sum_window_0 |
±----------------±-----------------±-----------------±--------------+
| jack | 2020-01-01 | 10.0 | 10.0 |
| jack | 2020-01-05 | 46.0 | 56.0 |
| jack | 2020-01-08 | 55.0 | 111.0 |
| jack | 2020-02-03 | 23.0 | 134.0 |
| jack | 2020-04-06 | 42.0 | 176.0 |
| mart | 2020-04-08 | 62.0 | 62.0 |
| mart | 2020-04-09 | 68.0 | 130.0 |
| mart | 2020-04-11 | 75.0 | 205.0 |
| mart | 2020-04-13 | 94.0 | 299.0 |
| neil | 2020-05-10 | 12.0 | 12.0 |
| neil | 2020-06-12 | 80.0 | 92.0 |
| tony | 2020-01-02 | 15.0 | 15.0 |
| tony | 2020-01-04 | 29.0 | 44.0 |
| tony | 2020-01-07 | 50.0 | 94.0 |
±----------------±-----------------±-----------------±--------------+

** 起始行 unbounded preceding
当前行 current row
前n行 n preceding
后n行 n following
结束行 unbounded following**

– 上一行和当前行 – order by ctime 起始行和当前行
select

  • ,
    sum(money) over(partition by name order by ctime rows between 1 preceding and current row )
    from
    tb_orders ;

– 上一行 当前行 和下一行
select

  • ,
    sum(money) over(partition by name order by ctime rows between 1 preceding and 1 following )
    from
    tb_orders ;

lag 向前n行的数据 ：lag(字段，偏移量，默认值（可省略）) 没值的补NULL

select

  • ,
    lag(ctime ,1) over(partition by name order by ctime)
    from
    tb_orders ;

±----------------±-----------------±-----------------±--------------+
| tb_orders.name | tb_orders.ctime | tb_orders.money | lag_window_0 |
±----------------±-----------------±-----------------±--------------+
| jack | 2020-01-01 | 10.0 | NULL |
| jack | 2020-01-05 | 46.0 | 2020-01-01 |
| jack | 2020-01-08 | 55.0 | 2020-01-05 |
| jack | 2020-02-03 | 23.0 | 2020-01-08 |
| jack | 2020-04-06 | 42.0 | 2020-02-03 |
| mart | 2020-04-08 | 62.0 | NULL |
| mart | 2020-04-09 | 68.0 | 2020-04-08 |
| mart | 2020-04-11 | 75.0 | 2020-04-09 |
| mart | 2020-04-13 | 94.0 | 2020-04-11 |
| neil | 2020-05-10 | 12.0 | NULL |
| neil | 2020-06-12 | 80.0 | 2020-05-10 |
| tony | 2020-01-02 | 15.0 | NULL |
| tony | 2020-01-04 | 29.0 | 2020-01-02 |
| tony | 2020-01-07 | 50.0 | 2020-01-04 |
±----------------±-----------------±-----------------±--------------+

select

  • ,
    lag(ctime ,1 , ‘自定义默认值’) over(partition by name order by ctime)
    from
    tb_orders ;

±----------------±-----------------±-----------------±--------------+
| tb_orders.name | tb_orders.ctime | tb_orders.money | lag_window_0 |
±----------------±-----------------±-----------------±--------------+
| jack | 2020-01-01 | 10.0 | 自定义默认值 |
| jack | 2020-01-05 | 46.0 | 2020-01-01 |
| jack | 2020-01-08 | 55.0 | 2020-01-05 |
| jack | 2020-02-03 | 23.0 | 2020-01-08 |
| jack | 2020-04-06 | 42.0 | 2020-02-03 |
| mart | 2020-04-08 | 62.0 | 自定义默认值 |
| mart | 2020-04-09 | 68.0 | 2020-04-08 |
| mart | 2020-04-11 | 75.0 | 2020-04-09 |
| mart | 2020-04-13 | 94.0 | 2020-04-11 |
| neil | 2020-05-10 | 12.0 | 自定义默认值 |
| neil | 2020-06-12 | 80.0 | 2020-05-10 |
| tony | 2020-01-02 | 15.0 | 自定义默认值 |
| tony | 2020-01-04 | 29.0 | 2020-01-02 |
| tony | 2020-01-07 | 50.0 | 2020-01-04 |
±----------------±-----------------±-----------------±--------------+

lead 向后n行的数据 lead（字段，偏移量，默认值（可省略））没值的补NULL
select
*,
lead(ctime,1) over(partition by name order by ctime)
from
tb_orders;

±----------------±-----------------±-----------------±---------------+
| tb_orders.name | tb_orders.ctime | tb_orders.money | lead_window_0 |
±----------------±-----------------±-----------------±---------------+
| jack | 2020-01-01 | 10.0 | 2020-01-05 |
| jack | 2020-01-05 | 46.0 | 2020-01-08 |
| jack | 2020-01-08 | 55.0 | 2020-02-03 |
| jack | 2020-02-03 | 23.0 | 2020-04-06 |
| jack | 2020-04-06 | 42.0 | NULL |
| mart | 2020-04-08 | 62.0 | 2020-04-09 |
| mart | 2020-04-09 | 68.0 | 2020-04-11 |
| mart | 2020-04-11 | 75.0 | 2020-04-13 |
| mart | 2020-04-13 | 94.0 | NULL |
| neil | 2020-05-10 | 12.0 | 2020-06-12 |
| neil | 2020-06-12 | 80.0 | NULL |
| tony | 2020-01-02 | 15.0 | 2020-01-04 |
| tony | 2020-01-04 | 29.0 | 2020-01-07 |
| tony | 2020-01-07 | 50.0 | NULL |
±----------------±-----------------±-----------------±---------------+

select
*,
lead(ctime,1,‘向后自定义默认值’) over(partition by name order by ctime)
from
tb_orders;

±----------------±-----------------±-----------------±---------------+
| tb_orders.name | tb_orders.ctime | tb_orders.money | lead_window_0 |
±----------------±-----------------±-----------------±---------------+
| jack | 2020-01-01 | 10.0 | 2020-01-05 |
| jack | 2020-01-05 | 46.0 | 2020-01-08 |
| jack | 2020-01-08 | 55.0 | 2020-02-03 |
| jack | 2020-02-03 | 23.0 | 2020-04-06 |
| jack | 2020-04-06 | 42.0 | 向后自定义默认值 |
| mart | 2020-04-08 | 62.0 | 2020-04-09 |
| mart | 2020-04-09 | 68.0 | 2020-04-11 |
| mart | 2020-04-11 | 75.0 | 2020-04-13 |
| mart | 2020-04-13 | 94.0 | 向后自定义默认值 |
| neil | 2020-05-10 | 12.0 | 2020-06-12 |
| neil | 2020-06-12 | 80.0 | 向后自定义默认值 |
| tony | 2020-01-02 | 15.0 | 2020-01-04 |
| tony | 2020-01-04 | 29.0 | 2020-01-07 |
| tony | 2020-01-07 | 50.0 | 向后自定义默认值 |
±----------------±-----------------±-----------------±---------------+
（1） 查询前20%时间的订单信息

NTILE(n) 数据分成n分，可实现按百分比取出数据

例：取出20%，也就是总数的五分之一
select
name ,
ctime ,
money
from
(select

  • ,
    ntile(5) over(order by ctime) as num
    from
    tb_orders)t
    where num =1 ;
    ±------±------------±-------+
    | name | ctime | money |
    ±------±------------±-------+
    | jack | 2020-01-01 | 10.0 |
    | tony | 2020-01-02 | 15.0 |
    | tony | 2020-01-04 | 29.0 |
    ±------±------------±-------+

（2）查询在2020年4月份购买过的顾客及总人数
select
*
from
tb_orders where substring(ctime , 0 , 7) = ‘2020-04’ ;
±----------------±-----------------±-----------------+
| tb_orders.name | tb_orders.ctime | tb_orders.money |
±----------------±-----------------±-----------------+
| jack | 2020-04-06 | 42.0 |
| mart | 2020-04-08 | 62.0 |
| mart | 2020-04-09 | 68.0 |
| mart | 2020-04-11 | 75.0 |
| mart | 2020-04-13 | 94.0 |
±----------------±-----------------±-----------------+

select
name,
count(1) over()
from
(
select
distinct name
from
tb_orders where substring(ctime , 0 , 7) = ‘2020-04’
)t ;

（3）查询顾客的购买明细及月购买总额
select

  • ,
    sum(money) over(partition by name , substring(ctime ,1 ,7))
    from
    tb_orders ;

±----------------±-----------------±-----------------±--------------+
| tb_orders.name | tb_orders.ctime | tb_orders.money | sum_window_0 |
±----------------±-----------------±-----------------±--------------+
| jack | 2020-01-05 | 46.0 | 111.0 |
| jack | 2020-01-08 | 55.0 | 111.0 |
| jack | 2020-01-01 | 10.0 | 111.0 |
| jack | 2020-02-03 | 23.0 | 23.0 |
| jack | 2020-04-06 | 42.0 | 42.0 |
| mart | 2020-04-13 | 94.0 | 299.0 |
| mart | 2020-04-11 | 75.0 | 299.0 |
| mart | 2020-04-09 | 68.0 | 299.0 |
| mart | 2020-04-08 | 62.0 | 299.0 |
| neil | 2020-05-10 | 12.0 | 12.0 |
| neil | 2020-06-12 | 80.0 | 80.0 |
| tony | 2020-01-04 | 29.0 | 94.0 |
| tony | 2020-01-02 | 15.0 | 94.0 |
| tony | 2020-01-07 | 50.0 | 94.0 |
±----------------±-----------------±-----------------±--------------+

month(ctime)month函数(对日期格式有要求):
±---------------------------------------------------+
| tab_name |
±---------------------------------------------------+
| month(param) - Returns the month component of the date/timestamp/interval |
要求格式为：日期，时间戳，定时器类型

select
month(ctime)
from
tb_orders;

±-----+
| _c0 |
±-----+
| 1 |
| 1 |
| 2 |
| 1 |
| 1 |
| 4 |
| 1 |
| 1 |
| 4 |
| 4 |
| 5 |
| 4 |
| 6 |
| 4 |
±-----+

select

  • ,
    sum(money) over(partition by name , month(ctime))
    from
    tb_orders ;

±----------------±-----------------±-----------------±--------------+
| tb_orders.name | tb_orders.ctime | tb_orders.money | sum_window_0 |
±----------------±-----------------±-----------------±--------------+
| jack | 2020-01-05 | 46.0 | 111.0 |
| jack | 2020-01-08 | 55.0 | 111.0 |
| jack | 2020-01-01 | 10.0 | 111.0 |
| jack | 2020-02-03 | 23.0 | 23.0 |
| jack | 2020-04-06 | 42.0 | 42.0 |
| mart | 2020-04-13 | 94.0 | 299.0 |
| mart | 2020-04-11 | 75.0 | 299.0 |
| mart | 2020-04-09 | 68.0 | 299.0 |
| mart | 2020-04-08 | 62.0 | 299.0 |
| neil | 2020-05-10 | 12.0 | 12.0 |
| neil | 2020-06-12 | 80.0 | 80.0 |
| tony | 2020-01-04 | 29.0 | 94.0 |
| tony | 2020-01-02 | 15.0 | 94.0 |
| tony | 2020-01-07 | 50.0 | 94.0 |
±----------------±-----------------±-----------------±--------------+

hive窗口函数最全总结
数据挖掘+大数据研发+算法学习
09-02 1万+
hive窗口函数使用
hive之窗口函数理解与实践
热门推荐
xiepeifeng的专栏
01-13 4万+
rt_data表存放了当天每半小时的店铺销售数据 ------------------------------------------------------------ 1.统计截止到当前时间段的店铺累计销售金额 select shop_id, stat_date, ordamt, sum(ordamt) over(partition by shop_id order by stat_da
Hive 窗口函数的相关讲解和代码展示
Brave_heart4pzj的博客
12-16 4115
一、窗口函数的概念 在不同的窗口执行的函数 在深入研究Over字句之前，一定要注意：在SQL处理中，窗口函数都是最后一步执行，而且仅位于Order by子句之前 可以想象成sql的输出结果，就是窗口函数输入的结果。 主要的函数有： over() partition_by order_by window函数 row_number() rank() dense_rank() lag()lead() ...
学习 Hive（十）：窗口函数
u012501054的博客
11-27 298
窗口函数语法： Function() OVER ([PARTITION BY <...>] [ORDER BY <...>] [Window Specification]) PARTITION BY定义窗口分区，控制哪些数据行和当前数据行在同一个分区。 ORDER BY定义窗口排序，控制分区内的排序方式，决定了当前行在分内的位置。 Window Spec...
hiveSQL基本语句四----各种窗口函数
抱富的博客
03-01 971
一、累计计算 1、sum(…) over(…)
hive-窗口函数入门到精通
S1124654的博客
06-23 404
hive窗口函数入门到精通
hive的窗口函数详解_hive函数chr
最新发布
2401_84301352的博客
06-24 863
sum(col) over() : 分组对col累计求和，over() 中的语法如下count(col) over() : 分组对col累计，over() 中的语法如下min(col) over() : 分组对col求最小max(col) over() : 分组求col的最大值avg(col) over() : 分组求col列的平均值first_value(col) over() : 某分区排序后的第一个col值。
hive窗口函数入门
鸭梨的博客
12-27 239
窗口函数over简介 先来看一下这个需求：求每个部门的员工信息以及部门的平均工资。在mysql中如何实现呢 SELECT emp.*, avg_sal FROM emp JOIN ( SELECT deptno , round(AVG(ifnull(sal, 0))) AS avg_sal FROM emp GROUP BY deptno ) t ON emp.deptno = t.deptno ORDER BY deptno; select emp.*,(select avg(
apache-hive-2.3.3-bin.7z
11-28
4. **增强的SQL支持**：Hive 2.3.3增强了对ansi SQL标准的支持，包括窗口函数、CUBE、ROLLUP等高级SQL特性。 5. **安全性**：Hive 2.3.3加强了安全性，支持Kerberos认证、SQL标准授权和行级权限控制。 **使用步骤...
Hive-入门学习之 hive 简介和安装 (1)
桂林算啦粉的博客
08-31 4168
1 Hive 简介 1.1hive 是什么 是由Facebook开源用于解决海量结构化日志的数据统计(海量的结构化数据的运算分析) . 是基于hadoop的一个数据仓库工具(服务性的软件) ,可以将结构化的数据文件映射为一张表 ,并提供类似SQL查询 . 本质是将 Hive SQL转化成 MapReduce程序或者spark程序 . 1.2基本流程/原理如下 : Hive处理的数据存储在 HDFS Hive分析数据底层的实现是 MapReduce / spar...
数据仓库工具 hive的入门（五）HQL操作之--函数
weixin_43904810的博客
06-05 707
**HQL操作之–函数 提示：本文章内容取自来源： 拉勾教育大数据高薪训练营 文章目录前言HQL操作之--函数第 1 节 系统内置函数日期函数字符串函数数学函数条件函数UDTF函数第 2节 窗口函数(重点)over 关键字partition by子句order by 子句排名函数序列函数 前言 提示：本文章对于初学者准备，希望对大家有所帮助。如果有什么建议和疑问，请留言给我，我会不断完成完善。 HQL操作之–函数 第 1 节 系统内置函数 -- 查看系统自带函数 show functions; -
hive数据仓库
qq_44676946的博客
03-15 3490
数据仓库-Hive 数据仓库 1.1. 基本概念 英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。 数据仓库是存数据的，企业的各种数据往里面存，主要目的是为了分析有效数据，后续会基于它产出供分析挖掘的数据，或者数据应用需要的数据，如企业的分析性报告和各类报表等。 可以理解为：面向分析的存储系统。 1.2. 主要特征 数据仓库是面向主题的（Subject-Oriented ）、集成的（Integ
掌握大数据--Hive全面指南
jixiangendless的博客
01-09 2725
Hive全面指南
Hive练习题之窗口函数入门使用
weixin_43648241的博客
07-25 351
原始数据（ 姓名，订单时间，金额） jack,2020-01-01,10 tony,2020-01-02,15 jack,2020-02-03,23 tony,2020-01-04,29 jack,2020-01-05,46 jack,2020-04-06,42 tony,2020-01-07,50 jack,2020-01-08,55 mart,2020-04-08,62 mart,2020-04-09,68 neil,2020-05-10,12 mart,2020-04-11,75 neil,2020-
Hive中查询当月第一天的函数trunc()
bwf317的博客
12-03 9575
查询当月第一天 例： select trunc(‘2020-12-03’，‘MM’) – ‘2020-12-01’ 查询当前季度第一天 例： select trunc(‘2020-12-03’，‘Q’) – ‘2020-10-01’ 查询当年第一天 例： select trunc(‘2020-12-03’，‘YEAR/Y/YYYY’) – ‘2020-12-01’ ...
clickHouse-高阶函数arrayMap()
bwf317的博客
12-08 6524
arrayMap(参数1，参数2) 参数1：参数1是一个函数，规定了对数组中元素的操作行为 参数2：是一个数组 例：arrayMap(x->x*10,[1,2,3,4]) x表示数组中每一个元素， ->后面的表达式表示对数组中每一个数据的操作 （ 这里将x替换成y，依然能实现功能，所有x只是一个代理符号可以替换成其他的符号） 把数组中每个数乘以10 SELECT arrayMap(y -> (y * 10), [1, 2, 3, 4]) ┌─arrayMap(lam
HDFS上传文件流程 ：
bwf317的博客
11-23 3381
①首先客户端向NameNode发出请求：我要向HDFS传一个数据 ②NameNode 收到请求验证此时可以接受上传的数据，然后向客户端返回确认信息OK你准备好就开始吧。 ③客户端得到确认后就开始对要上传的数据进行切块处理，blk0,blk1… ④客户端向NameNode通知，我要开始传数据了，告诉我传哪？此时NameNode会检查整个HDFS存储情况，分析确定将blk 存在哪，生成一个虚拟目录进行记录，然后将这个位置信息返回给客户端。 ⑤客户端的到具体路径后开始联系DataNode节点，告知将要开始发送数据
clickHouse-高阶函数arrayCount()
bwf317的博客
12-08 3371
clickHouse-高阶函数arrayCount()求数组中元素的个数 SELECT arrayCount(x -> x, [1, 2, 3, 4])； ┌─arrayCount(lambda(tuple(x), x), [1, 2, 3, 4])─┐ │ 4 │ └───────────────────────────────────────────────┘ 1 rows in set. Elaps
clickhouse-集成引擎，从HDFS,MySQL,Hive等数据源中读取数据
bwf317的博客
12-07 2549
HDFS引擎 在CH中创建HDFS 表引擎，就可也把HDFS 中的数据映射到创建的表中，对表中数据进行操作。 创建HDFS引擎： create table tb_ch_hdfs( uid String, name String, city String, age UInt8 )engine =HDFS(“hdfs://linux01:8020/ch/data/”,“CSV”) --文件路径（可以用/*.CSV指定文件夹下多个文件） 文件格式 MySQL数据库引擎，和MySQL表引擎 M..
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值