Text2SQL之Vanna优化

最新推荐文章于 2025-05-10 11:55:17 发布
最新推荐文章于 2025-05-10 11:55:17 发布
阅读量2k 收藏 3
点赞数 4
分类专栏： 大模型通关打怪之旅 文章标签： Text2SQL 深度学习 人工智能 LLM python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_44193969/article/details/139753975
版权

文章目录

前言

前阵子写了篇Text2SQL的简单介绍，发现其也是RAG只会，写下了Text2SQL之不装了，我也是RAG

最近也一直在做Text2SQL的优化，于是把自己的一些心得，总结于这篇文章。

一、优化方向

既然本质是RAG，那顺着RAG的优化方向走，准没错。

  • 文档增强：
    • 对文档进行摘要：先对摘要进行检索，如果有必要，才深入文档细节
    • 对文档进行QA生成：同时检索文档和生成的QA
    • 数据清洗，去除文档中存在的特殊字符或不相关信息
  • 元数据过滤：例如对query和文档分类，对应类别的query只查找对应类别的文档，能有效提升检索效率和召回率
  • 混合检索：语义检索 + 关键词检索
  • query改写：让LLM对query改写，在嵌入空间中，看似相同的两个问题并不一定很相似
    • 同义词替换：例如，将“LLM”、“大语言模型”和“大模型”标准化为通用术语。
    • 缩写替换<
了解本专栏 订阅专栏 解锁全文
NL2SQL进阶系列(3)：Data-Copilot、Chat2DB、Vanna Text2SQL优化框架开源应用实践详解[Text2SQL]
丨汀、的博客
04-13 4595
NL2SQL进阶系列(3)：Data-Copilot、Chat2DB、Vanna Text2SQL优化框架开源应用实践详解[Text2SQL]
Text2SQL之不装了，我也是RAG
qq_44193969的博客
06-01 1284
这是很典型的Text2SQL的应用场景了，为了实现这一需求，很容想到的是把创建的表和表的描述都放进prompt里，让LLM去根据表的结构生成SQL语句，再利用工具去执行SQL语句，拿到查询结果后，再丢给LLM，让LLM根据给定的内容回答问题。我这里没有对Query-SQL对中的SQL做检索，主要是考虑到用户的Query与SQL语句的相关性并不大，当然，获取数据这里修改成只计算Query的相关性时，你还需要对Query-SQL的向量化部分进行相应修改，应改成只对Query embedding。
Text-to-SQL 工具Vanna + MySQL本地部署 | 数据库对话机器人
sinat_29950703的博客
03-13 1万+
Vanna 是一个基于 MIT 许可的开源 Python RAG（检索增强生成）框架，用于 SQL 生成和相关功能。它允许用户在数据上训练一个 RAG “模型”，然后提问问题，这将生成在数据库上运行的 SQL 查询语句，并将查询结果通过表格和图表的方式展示给用户。简单的说，Vanna是一个开源的、基于Python的、用于SQL自动生成与相关功能的RAG（检索增强生成）框架。RAG最典型的应用是私有知识库问答。
一文搞懂大模型提示工程（Text2SQL、Text2API）
最新发布
AAI666666的博客
05-10 1197
Text2SQL和Text2API的提示工程本质是是将领域知识显式化，通过角色定义和业务知识注入（如数据库Schema、API文档），让模型“理解”自然语言背后的真实意图，并将其转化为可执行的结构化指令。
Text2SQL 微调｜手把手教程 复现 78.9% 准确率
人工智能讲师分享前沿技术
04-29 5416
一个利用 LLMs 实现 Text-to-SQL 解析的项目，主要包含数据处理、模型选择与构建和微调权重等步骤，通过这一系列的处理可以在提高 Text-to-SQL 能力的同时降低模型训练成本，让更多的开发者参与到 Text-to-SQL 的准确度提升工作当中，最终实现基于数据库的自动问答能力，让用户可以通过自然语言描述完成复杂数据库的查询操作等工作。中配置训练的数据文件，json 中对应的 key 的值默认为 example_text2sql，此值即在后续训练脚本 train_sft 中参数。
使用vanna实现Text2SQL
Baker的博客
05-28 1793
这节一起用vanna来实现自然语言转SQL，之前的大模型一直停留在问答阶段，答案基本都是大模型提供的，至多是加点本地知识库，tet，pdf等文档，丰富大模型的内容，但是想要大模型与一些管理系统对接还是无能为力，这节就一起尝试下用vanna对接数据库，将自然语言转成标准的SQL对数据库进行查询。使用vanna之前需要打开vanna的官网申请一个key，如果之前没有注册过的话，还需要先注册一个vanna的账号，注册成功后，在。安装成功后，按照官网的步骤对接vanna,这里使用的是vanna的数据库，
【大模型系列篇】Vanna-ai基于检索增强(RAG)的sql生成框架
木亦汐丫
07-30 7052
Vanna 使用一种称为 LLM（大型语言模型）的生成式人工智能。简而言之，这些模型是在大量数据（包括一堆在线可用的 SQL 查询）上进行训练的，并通过预测响应提示中最有可能的下一个单词或“标记”来工作。Vanna 优化了提示（通过向量数据库使用嵌入搜索）并微调 LLM 模型以生成更好的 SQL。Vanna 可以使用和试验许多不同的LLM，以获得最准确的结果。
Text2SQL-Vanna研究
01-17 1807
Vanna是一个开源的Python RAG（检索增强生成）框架，主要作用是帮助用户基于大型语言模型（LLMs），为其数据库生成精确的SQL查询。它通过在用户数据上训练RAG模型，然后依据用户提问生成可在数据库上执行的SQL查询，整个过程分为训练和提问两个简单步骤。同时，Vanna支持多种LLMs、向量数据库和SQL数据库，既能保证查询的高准确性，又能确保数据库内容的安全私密，还支持用户自定义前端界面，并通过用户反馈进行自我学习以提升查询准确性。
Tool-SQL：基于Agent智能体的Text2SQL解决方案，显著提升Text2SQL效果
2401_85378759的博客
09-04 3185
近期，Text-to-SQL 技术通过整合数据库系统的反馈，有效利用了大型语言模型（LLMs）。尽管这些技术能有效纠正 SQL 查询的执行错误，但在处理数据库不匹配问题上仍显不足，这类问题不会引发执行异常。为此，我们设计了一个辅助工具框架，包括检索器和检测器，专门用于诊断并修正 SQL 查询中的不匹配问题，从而提升 LLM 在实际应用中的查询处理能力。同时，我们推出了 Spider-Mismatch 数据集，专门针对现实场景中的条件不匹配问题。实验显示，我们的方法在少样本环境下，不仅在 Spider 系列数
TEXT2SQL工具vanna本地化安装和应用
wengad的博客
05-10 9648
在待连接的mysql数据库的，demodb数据库中新建表和记录，当然可以在不同数据库里面创建表，并插入不同的数据，根据实际情况可以调整SQL，并调整后续步骤的python代码中连接数据库的内容。这里的脚本chroma使用的local的模型，运行了以下脚本后，会在运行的目录下生成chroma.sqlite3文件，存放训练的数据，别删了，删了那训练数据就没了，要重新来。这里使用的是centos7 ，并有一块11G显存的GeForce GTX 1080 Ti，本文编制的时候，使用的是vanna 0.5.4版本。
Vanna AI：告别代码，用自然语言轻松查询数据库，领先的RAG2SQL技术让结果更智能、更精准！
m0_74825526的博客
02-15 772
Vanna，是一款革命性的AI SQL智能体，可以将复杂的SQL查询简化为日常语义对话。在生成式AI的助力下，Vanna 让数据库查询变得前所未有的简单和直观。它是基于 OpenAI 和 Google 提供的大语言模型（LLM）。Vanna 通过预训练模型，结合你的数据库进行微调，可以快速帮你量身打造一个定制化的AI助手。Vanna 是一个获得 MIT 许可的开源 Python RAG（检索增强生成）框架，用于 SQL 生成和相关功能。GitHub 已经高达7200 颗星??
大模型 LLM RAG在 Text2SQL 上的应用实践
机器学习社区
01-11 4626
在上篇文章中。
Text-to-SQL 工具Vanna进阶|数据库对话机器人的多轮对话
sinat_29950703的博客
03-13 2033
跟数据库对话机器人对话，我可不止一个问题。可能基于第一句问话，还有第二句、第三句问话。。。第N句对话。所以本文测试了多轮对话功能。单轮对话的环境搭建参考博客我的数据是这样。
2 Text2SQL 智能报表方案介绍
qq_28611929的博客
01-20 4238
因此Text-to-SQL也可以被简写为NL2SQL。·输入：自然语言问题，比如“查询表t_user的相关信息，结果按id降序排序，只保留前10个数据”·输出：SQL，比如“SELECT*FROMt_userORDERBYidDESCLIMIT10”
Text2SQL（NL2sql）对话数据库：设计、实现细节与挑战
weixin_44733966的博客
12-09 7039
随着信息技术的迅猛发展，人机交互的方式也在不断演进。在数据驱动的时代背景下，用户对信息查询和数据分析的需求日益增长。传统的数据库查询语言如SQL（结构化查询语言），虽然功能强大且高效，但因其语法复杂、门槛较高，限制了非技术人员直接与数据库进行交互的能力。为了弥合这一差距，Text2SQL（或称NL2SQL，自然语言到SQL）技术应运而生。Text2SQL旨在将用户的自然语言问题转换为等价的SQL查询语句，使数据库能够理解和响应人类语言形式的请求。
Data+AI新玩法：Text2SQL让数据查询变得如此简单！
ith321的博客
10-17 2440
Data+AI新玩法：Text2SQL让数据查询变得如此简单！
9个优秀的Text2Sql（Chat2Sql）开源项目、资源
热门推荐
人工智能讲师分享前沿技术
06-11 1万+
随着大模型能力逐步强大、场景越来越丰富，从Text到sql或者从Chat到sql的方案也十分火热，这个方案主要是利用大模型将自然语言转化为可以执行的Sql语句，进行数据分析，并根据结果实现报告生成或者可视化展示。这种方案提高了领导们随时想要报告的效率，缓解了应对向上汇报的焦虑，在许多决策支持、大屏展示等场景中非常见效。 本文主要收集了几个比较优秀的Text2Sql相关的开源项目或者资源，供借鉴。
Text2SQL学习整理（一） 综述
u011426236的博客
12-17 2230
Text2SQL是近年来NLP领域一个比较热门的研究方向，该任务历史悠久，应用和落地性很强。该任务是在已知数据库的表名、列名其从属关系（这些统称为数据库的Schema）的前提下，将人类的自然语言问句（Question）转化为对应的数据库查询SQL语句。
text2sql版本框架
01-07
### Text2SQL 版本框架对比及特点 #### Chat2DB Chat2DB 是一款专注于自然语言到结构化查询语言转换的工具。该平台不仅支持标准 SQL 的生成，还特别注重用户体验和交互性[^1]。其主要特点是： - **多轮对话能力**：允许用户通过多次交流逐步完善查询条件。 - **可视化界面**：提供直观的操作面板帮助用户构建复杂查询。 ```python from chat2db import Client client = Client() response = client.query("What is the total sales amount?") print(response) ``` #### SQL Chat SQL Chat 致力于简化数据访问流程，使非技术人员也能轻松操作数据库资源。核心优势在于： - **易用性强**：无需掌握复杂的编程技巧即可完成日常的数据检索需求。 - **广泛适配性**：能够对接市面上主流的关系型数据库产品如 MySQL, PostgreSQL 等。 ```sql SELECT * FROM orders WHERE order_date BETWEEN '2023-01-01' AND '2023-12-31'; ``` #### Wren AI Wren AI 利用了先进的机器学习算法来提升文本解析精度，从而提高最终生成 SQL 语句的质量。特色功能有： - **高准确性**：经过大量真实场景下的训练优化，有效减少误判情况发生。 - **自定义扩展**：支持开发者根据业务逻辑定制专属规则集以增强灵活性。 ```json { "intent": "find", "table": ["employees"], "columns": ["name", "position"], "conditions": {"department": "sales"} } ``` #### Vanna Vanna 平台强调对企业级应用场景的支持，在处理大规模并发请求方面表现出色。亮点如下： - **高性能架构设计**：采用分布式计算技术确保即使面对海量数据也保持高效响应速度。 - **安全机制健全**：内置多重防护措施保障敏感信息安全无虞。 ```bash vanna query "How many active users do we have this month?" ```
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ToTensor

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值