12、BigQuery数据迁移与编程开发全解析

最新推荐文章于 2025-10-30 11:04:13 发布

nice1

最新推荐文章于 2025-10-30 11:04:13 发布

阅读量51

点赞数

CC 4.0 BY-SA版权

分类专栏：解锁BigQuery：数据仓库与机器学习的未来文章标签： BigQuery 数据迁移编程开发

本文链接：https://blog.youkuaiyun.com/nice1/article/details/150059135

解锁BigQuery：数据仓库与机器学习的未来专栏收录该内容

36 篇文章 ¥499.90

订阅专栏¥69.90

会员秒杀 ¥9.9 重磅福利

超级会员免费看

BigQuery数据迁移与编程开发全解析

1. BigQuery数据加载与迁移

BigQuery支持多种语言的客户端库，并且具备流式API。下面是一个使用Python通过流式API加载数据的示例：

# create an array of tuples and insert as data becomes available 
rows_to_insert = [ 
    (u'U. Puerto Rico', 0.18,0.46,23000,1134,32000), 
    (u'Guam U.', 0.43,0.21,28000,1234,33000) 
] 
errors = client.insert_rows(table, rows_to_insert) # API request

当有新数据可用时，会调用BigQuery客户端的 insert_rows() 方法，该方法又会调用REST API的 tabledata.insertAll 方法。数据会被存储在BigQuery的流式缓冲区中，可立即进行查询，但可能需要长达90分钟才能用于导出。

对于将本地数据迁移到BigQuery，有以下几种方法：
- 网络条件好时 ：
- 使用 bq load ：如果网络与Google Cloud的互连速度快，可以使用 bq load 将数据加载到BigQuery。建议先将