使用 Spark SQL Toolkit 实现智能数据操作

最新推荐文章于 2025-11-25 11:37:10 发布

原创最新推荐文章于 2025-11-25 11:37:10 发布 · 660 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#spark #sql #ajax #python

使用 Spark SQL Toolkit 实现智能数据操作

引言

在大数据处理和分析中，Spark SQL 是一个强大的工具。本文将介绍如何使用 Spark SQL Toolkit 与 Spark SQL 进行交互，解决一般性查询并实现错误恢复。注意，尽管该代理正在积极开发中，但所有答案可能并不完全正确。此外，代理在某些情况下可能会对您的 Spark 集群执行 DML 语句，因此在处理敏感数据时请小心。

主要内容

初始化

在开始使用 Spark SQL Toolkit 之前，我们需要进行必要的初始化操作。

from langchain_community.agent_toolkits import SparkSQLToolkit, create_spark_sql_agent
from langchain_community.utilities.spark_sql import SparkSQL
from langchain_openai import ChatOpenAI
from pyspark.sql import SparkSession

# 创建 SparkSession
spark = SparkSession.builder.getOrCreate()
schema = "langchain_example"
spark.sql(f"CREATE DATABASE IF NOT EXISTS {schema}")
spark.sql(f"USE {schema}")
csv_file_path = "titanic.csv"
table = "titanic"
# 从 CSV 文件读取数据并保存为表
spark.read.csv(csv_file_path, header=True, inferSchema=True).write.saveAsTable(table)
spark.table(table).show()

# 使用 API 代理服务提高访问稳定性
spark_sql = SparkSQL(schema=schema)
llm = ChatOpenAI(temperature=0)
toolkit = SparkSQLToolkit(db=spark_sql, llm=llm)
agent_executor = create_spark_sql_agent(llm=llm, toolkit=toolkit, verbose=True)

示例操作

描述表结构

通过代理描述 Titanic 表结构。

result = agent_executor.run("Describe the titanic table")
print(result)

代码示例

以下是一个完整的代码示例，展示如何使用代理运行查询。

# 计算平均年龄的平方根
result = agent_executor.run("whats the square root of the average age?")
print(result)

# 查询年龄最大的幸存者姓名
result = agent_executor.run("What's the name of the oldest survived passenger?")
print(result)