手把手教你用LangChain自动写SQL做数据分析可视化

今天和大家聊一个超实用的AI应用场景——用自然语言直接查询数据库。想象一下,当你需要查"上季度谁写的线上故障最多"时,再也不用对着SQL语句抓耳挠腮,直接说人话就能得到答案,是不是很酷?

本项目使用 OpenAI的模型 以及 LangChain框架,将自然语言查询转换为SQL语句,并从MySQL数据库中获取相关数据。

你先可以提出像 “小王在哪个部门?” 这样的后续问题,并得到准确的答案,系统会确保在整个对话过程中都能保持上下文的记忆力。

下面我就详细和大家说说这个项目的几个关键部分。

准备MySQL数据库

首先呢,你得有个包含数据的 MySQL 数据库,然后就可以用 LangChain 的 SQLDatabase 工具,轻松连接到这个数据库,还能检索它的结构。代码如下:

from langchain_community.utilities import SQLDatabase  
  
mysql_uri = "mysql+mysqlconnector://username:password@localhost:3306/yourdatabase"  
db = SQLDatabase.from_uri(mysql_uri)  

这样就在变量db里创建了数据库的实例。之后,用下面这行代码就能检索数据格式,观察表结构:

schema = db.get_schema()  

第二部分:创建SQL生成链

拿到数据库schema后,接下来就要创建一个把自然语言查询转换成 SQL 查询的流程,也就是创建一个 SQL 生成链。

LangChain 给我们提供了构建这种链的框架,我们把自然语言问题和schema一起传给大模型,它就能自动生成对应的 SQL,然后在数据库上执行。

下面是生成链的代码:

from langchain.prompts import ChatPromptTemplate  
from langchain_openai import ChatOpenAI  
from langchain_core.output_parsers import StrOutputParser  
def generate_sql(question, schema):  
# 定义提示模板,它将指导大语言模型生成SQL  
  template = f"""Based on the table schema below, write a SQL query that answers the user's question:  
{schema}  
Question: {question}  
SQL Query:  
"""  
  prompt = ChatPromptTemplate.from_template(template) # 从模板创建提示  
# 创建OpenAI聊天模型的实例  
  llm = ChatOpenAI()  
# 构建SQL生成链  
  sql_chain = (  
    prompt  
    | llm.bind(stop=["\nSQL Result:"]) # 这告诉模型在 'SQL Result:' 处停止  
    | StrOutputParser() # 将输出解析为字符串  
  )  
# 使用schema和问题调用管道,并返回SQL查询  
return sql_chain.invoke({"schema": schema, "question": question})  

这里面的 template 是提示模板,它能指导大语言模型生成 SQL 查询,给模型提供结构和问题作为上下文,让它生成对应的 SQL 查询。

ChatPromptTemplate 类是根据结构和问题来定义大语言模型提示的模板。

StrOutputParser 能确保大语言模型的输出被解析成字符串,也就是我们要的 SQL 查询。

bind(stop=["\nSQL Result:"]) 能让大语言模型知道在哪里停止生成过程,遇到 “SQL Result:” 就停止,这样输出的结果就很干净,能直接用于 SQL 执行。

查询到回答完整测试

generate_sql 函数生成 SQL 查询后,下一步就是在 MySQL 数据库上执行这个查询,把数据取出来。我们可以写一个简单的 run_query 函数来完成这个操作,代码如下:

def run_query(db,query):  
  return db.run(query)  

这里的 db 就是我们一开始创建的数据库实例,query 是大语言模型链生成的 SQL 查询。

但要注意,GPT偶尔会生成错误语法,建议增加异常捕获机制(篇幅限制暂不展开)

最后:把SQL结果转为自然语言描述

从数据库里拿到原始数据后,我们得给用户生成一个人类能看懂的自然语言响应。这就得利用语言模型的能力,把原始数据转换成容易理解的内容。

我们可以写一个 get_response 函数,它接收 user_question(用户问题)、schema(结构)、sql(SQL 查询)、data(数据)作为参数,代码如下:

def get_response(question, schema, sql,data):  
  template = """根据表结构、问题、SQL 查询和 SQL 响应,提供一个结构化的、人类可读的响应。仅提取响应中可用的字段,并正确格式化它们。  
{schema}  
问题:{question}  
SQL 查询:{query}  
SQL 响应:{response}  
---动态构建输出:---  
名称:一个人或多个人的姓名,  
对于响应中存在的其他字段也类似,并用句子将它们框起来给出一个摘要。  
----------------------------------------  
确保响应是直接的、结构化的,并带有清晰的标签。使用结构化数据组成句子。如果一个字段不存在,则不要包括它。  
    """  
  prompt_response = ChatPromptTemplate.from_template(template)  
  prompt = ChatPromptTemplate.from_template(template)  
  llm = ChatOpenAI()  
  sql_chain = (  
      prompt  
      | llm  
      | StrOutputParser()  
  )  
  # 使用输入值调用管道  
  return sql_chain.invoke({"schema": schema, "question": question, "query": sql, "response": data})  

这个函数确保我们能得到一个自然语言答案。

如何学习AI大模型 ?

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

优快云粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传优快云,朋友们如果需要可以扫描下方二维码&点击下方优快云官方认证链接免费领取 【保证100%免费】

读者福利: 👉👉优快云大礼包:《最新AI大模型学习资源包》免费分享 👈👈

(👆👆👆安全链接,放心点击)

对于0基础小白入门:

如果你是零基础小白,想快速入门大模型是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

👉1.大模型入门学习思维导图👈

要学习一门新的技术,作为新手一定要先学习成长路线图,方向不对,努力白费。

对于从来没有接触过AI大模型的同学,我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。(全套教程文末领取哈)
在这里插入图片描述

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字,我也为大家准备了视频教程,每个章节都是当前板块的精华浓缩。

在这里插入图片描述
在这里插入图片描述

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(全套教程文末领取哈)

在这里插入图片描述

👉4.大模型落地应用案例PPT👈

光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。(全套教程文末领取哈)

在这里插入图片描述

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。(全套教程文末领取哈)
img

在这里插入图片描述

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个,在大模型纵横的时代,不仅大模型技术越来越卷,就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道,我总结了大模型常考的面试题。(全套教程文末领取哈)

在这里插入图片描述
👉学会后的收获:👈
基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习

优快云粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传优快云,朋友们如果需要可以扫描下方二维码&点击下方优快云官方认证链接免费领取 【保证100%免费】

读者福利: 👉👉优快云大礼包:《最新AI大模型学习资源包》免费分享 👈👈

(👆👆👆安全链接,放心点击)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值