24、BigQuery SQL 高级用法与数组操作全解析

BigQuery SQL 高级用法与数组操作全解析

1. 向查询传递结构体参数

在 BigQuery 中,可以通过构造结构体参数将结构体传递给查询,示例代码如下:

bigquery.StructQueryParameter( 
    "bicycle_trip", 
    bigquery.ScalarQueryParameter("start_station_id", "INT64", 62), 
    bigquery.ScalarQueryParameter("end_station_id", "INT64", 421)
)

需要注意的是,不能对表名、列名或查询本身的其他部分进行参数化。如果使用 --dry_run 运行参数化查询但未传入所需参数,响应将包含所有参数的推断类型。

2. SQL 用户定义函数(UDF)

2.1 临时 UDF

为了实现更细粒度的查询重用,可以将 SQL 查询中的一组操作重构为用户定义函数(UDF)。例如,要查找按星期几统计的过夜租赁数量(过夜租赁指开始时间戳和结束时间戳落在不同日期的租赁),可以定义临时 SQL UDF:

CREATE TEMPORARY FUNCTION dayOfWeek(x TIMESTAMP) AS 
( 
  ['Sun','Mon', 'Tue', 'Wed', 'Thu', 'Fri', 'Sat'] 
      [ORDINAL(EXTRACT(DAYOFWEEK
SQL中进行JSON提取有多种方法,不同的数据库系统有不同的实现方式。 SQL Server 2008提供了几种内置JSON函数用于处理JSON字符串,例如JSON_VALUE可从JSON文本中返回标量值,JSON_QUERY可从JSON文本中返回对象或数组,JSON_MODIFY可修改JSON文本中的值,OPENJSON可将JSON文本转换为SQL表格式[^2]。 在HiveSQL里,可使用get_json_object和json_tuple来提取json串内容。例如要获取前3个内容,可使用如下代码: ```sql select json_data ,get_json_object(json_data,'$.price') as price ,get_json_object(json_data,'$.inquiry_params') as inquiry_params ,get_json_object(json_data,'$.params.cateId') as cateId ,t1.text1 ,t1.text2 ,t1.text3 from ods.ods_table1 a lateral view json_tuple(json_data,'price','inquiry_params','cateId') t1 as text1,text2,text3 where get_day='2024-08-10'; ``` 这里get_json_object函数可根据指定的JSON路径提取对应的值,json_tuple函数可一次性提取多个指定键的值[^4]。 另外,JSON_TABLE函数可实现表JSON数据的隐式连接,能从JSON格式的数据中提取结构化信息,并表中的其他字段一起进行查询和过滤。虽然在FROM子句中没有显式的JOIN关键字,但该函数实际上已经完成了这种连接操作[^3]。 对于Google BigQuery数据库,如果要解析多层的Json串,可按需求提取特定的值。例如data表中存储的一条Json串为`[{"active":true,"key":"key1","values":[{"active":true,"value":"value1"}]},{"active":true,"key":"key2","values":[{"active":true,"value":"value2"}]}]`,要取出`values.values`所有的值,即`value1,value2`,可根据其数据结构编写相应的解析代码来实现提取操作[^5]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值