Text2SQL研究（一）-Chat2DB体验与剖析

已于 2024-05-03 16:59:34 修改
阅读量2.9k 收藏 24
点赞数 26
CC 4.0 BY-SA版权
分类专栏： 人工智能 文章标签： 人工智能 Text2SQL
于 2024-02-07 15:15:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/IT_Fly/article/details/136065564
本文介绍了作者在Text2SQL领域的研究，通过Chat2DB在车辆订单业务上的实践，详细阐述了Chat2DB的安装配置、数据库连接以及SQL生成过程。通过对源码的剖析，揭示了Text2SQL的核心在于根据表结构和用户问题生成prompt。总结了Text2SQL技术的关键点，包括构建业务简库、自组Prompt和选择大模型，并提及了用户数据权限的处理策略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

概要

近期笔者在做Text2SQL的研究，于是调研了下Chat2DB，基于车辆订单业务做了一些SQL生成验证，有了一点心得，和大家分享一下.：

业务数据库设置

基于车辆订单业务，模拟新建了以下四张表，并添加了一些测试数据
 1. organization：组织表，包含组织id，组织名称，组织分类等3个字段；
 3. vehicle：车辆信息表，包含组织id，车辆id，车牌号码，使用年限等字段;
 4. refueling_order：车辆加油订单表，包含组织id,车辆id，车牌号码，加油时间，加油费用等字段
 5. **driven_distance**：车辆行驶里程表，包含组织id,车辆id，车牌号码，年份，行驶里程等字段

Chat2DB安装设置

  1. docke安装Chat2DB服务， 
    //通过docker，安装运行最新版本的chat2db容器
  docker run --name=chat2db -ti -p 10824:10824 -v ~/.chat2db-docker:/root/.chat2db  chat2db/chat2db:latest
  2. 安装完毕：打开链接登录系统，http://172.21.108.51:10824/login
  3. 配置数据库连接
最低0.47元/天 解锁文章
Text 2 SQL案例 - Chat2DB 体验有感
甘蓝的专栏
08-14 1843
最近阿里巴巴开源了Chat2DB这样一款开源、集成AI的数据库客户端，我也来体验一把。
chat2DB体验
计算之美
08-30 2865
Chat2DB 是一款AI first的数据管理、开发、分析工具，它的核心是AIGC（Artificial Intelligence Generation Code）能力，它可以将自然语言转换为SQL，也可以将SQL转换为自然语言，也可以自动生成报表，极大的提升人员的效率。为了能够最大程度的保证大家的数据安全，我们推荐大家安装我们的 Chat2DB 客户端，通过客户端访问数据库，是本地客户端直连用户的数据库服务器无需经过 Chat2DB 平台。数据安全是企业非常重要的一部分，因为数据是企业的核心资产。
NLP-语义分析（Semantic Parsing）：Text2SQL【“打破人与结构化数据之间的壁垒”，即普通用户可以通过自然语言描述完成复杂数据库的查询工作】
u013250861的博客
04-07 3080
Text to SQL( 以下简称Text2SQL)，是将自然语言文本（Text）转换成结构化查询语言SQL的过程，属于自然语言处理-语义分析（Semantic Parsing）领域中的子任务。，即普通用户可以通过完成复杂数据库的查询工作，得到想要的结果。
一文搞懂大模型提示工程（Text2SQL、Text2API）
最新发布
AAI666666的博客
05-10 1289
Text2SQL和Text2API的提示工程本质是是将领域知识显式化，通过角色定义和业务知识注入（如数据库Schema、API文档），让模型“理解”自然语言背后的真实意图，并将其转化为可执行的结构化指令。
Text2SQL（NL2sql）对话数据库：设计、实现细节与挑战
weixin_44733966的博客
12-09 7233
随着信息技术的迅猛发展，人机交互的方式也在不断演进。在数据驱动的时代背景下，用户对信息查询和数据分析的需求日益增长。传统的数据库查询语言如SQL（结构化查询语言），虽然功能强大且高效，但因其语法复杂、门槛较高，限制了非技术人员直接与数据库进行交互的能力。为了弥合这一差距，Text2SQL（或称NL2SQL，自然语言到SQL）技术应运而生。Text2SQL旨在将用户的自然语言问题转换为等价的SQL查询语句，使数据库能够理解和响应人类语言形式的请求。
总结不同方案实现-LLM数据库查询-即Text2SQL
wangning0714的博客
01-03 4044
让我们从定义机器人的工具开始。表列表 - 我们可以将其放在系统提示符中，以便模型对我们拥有的数据有一定的了解，并且不需要每次都为其执行工具表的列列表，以便模型可以理解数据模式表中列的顶部值，以便模型可以查找过滤器的值SQL查询执行的结果才能得到实际的数据。为了在LangChain中定义工具，我们需要使用@tool装饰器来实现函数。我们将使用 Pydantic 指定每个函数的参数模式，以便模型知道要传递给函数的内容。下面的代码定义了三个工具：execute_sql。
完全免费的 Text2SQL：智能SQL代码生成器，开发者的得力助手
W楠的博客
08-19 594
大家好，我是IT派同学，一名喜欢思考的互联网爱好者。在最近的几个月里，我参与了多个激动人心的项目，这些项目不仅考验了我的技术能力，更激发了我对 AI 的深刻思考。AI的浪潮正以不可阻挡之势席卷整个技术领域，并且我深信，它将是推动未来软件开发的关键力量。在这些项目中，我花费了大量时间编写SQL代码来处理复杂的业务逻辑。虽然对编写 SQL 并不陌生，但面对繁复的SQL语句和无尽的调试，我发现自己仍然需要一种更高效、更智能的方式来简化这一过程。
深入了解Text2SQL开源项目（Chat2DB、SQL Chat 、Wren AI 、Vanna）
热门推荐
weixin_44733966的博客
12-12 1万+
在数据驱动决策的时代，将自然语言查询转化为结构化查询语言（SQL）的能力变得日益重要。无论是小型创业公司还是大型企业，都希望能够更轻松地从海量的数据中挖掘出有价值的见解。然而，对于那些不熟悉SQL或者数据库架构的用户来说，直接编写复杂的查询语句往往是一个巨大的挑战。正是为了解决这一问题，Text2SQL技术应运而生，它允许用户通过简单的自然语言描述来获取他们所需的数据库信息。近年来，随着人工智能和机器学习领域的迅速发展，Text2SQL技术也取得了显著的进步。
Text2SQL 语义解析数据集、解决方案、paper资源整合项目sql
05-14
Text to SQL( 以下简称Text2SQL)，是将自然语言文本（Text）转换成结构化查询语言SQL的过程，属于自然语言处理-语义分析（Semantic Parsing）领域中的子任务。 它的目的可以简单概括为：“打破人与结构化数据之间的壁垒”，即普通用户可以通过自然语言描述完成复杂数据库的查询工作，得到想要的结果。
Chat2DB：AI赋能的多数据库客户端工具，开源领航未来数据库管理
奇遇少年
01-21 1506
Chat2DB：开辟数据库管理的智能新纪元
Text2SQL论文-02：Abstract Syntax Networks for Code Generation and Semantic Parsing
iin729的博客
08-18 639
转载于https://zhuanlan.zhihu.com/p/79486610 这篇文章主要介绍的一种新颖的neural semantic parsing的方法来做code generation，这个特殊设计网络的名字叫Abstract Syntax Network（ASN），是伯克利在2017年的工作。其中有几个亮点： 使用了神经网络的方式生成code 使用了一种语法树来限制神经网络只能生成有效的输出。这种语法树是由一种叫Abstract Syntax Description Language（A
Chat2DB 智能数据库客户端，数据报表工具，自然语言生成SQL，生成报表
06-14
JAVA解析Excel工具；Java解析、生成Excel比较有名的框架有Apache poi、jxl。但他们都存在一个严重的问题就是非常的耗内存，poi有一套SAX模式的API可以一定程度的解决一些内存溢出的问题，但POI还是有一些缺陷，比如07版Excel解压缩以及解压后存储都是在内存中完成的，内存消耗依然很大。easyexcel重写了poi对07版Excel的解析，一个3M的excel用POI sax解析依然需要100M左右内存，改用easyexcel可以降低到几M，并且再大的excel也不会出现内存溢出；03版依赖POI的sax模式，在上层做了模型转换的封装，让使用者更加简单方便
Text2SQL — Part 1: Introduction
asd8705的专栏
04-22 812
Introduction to the conversion of Natural Language to SQL Text to SQL is a system that converts natural language statements to SQL queries. This can help in retrieving information stored in a database by expressing commands in natural language. Text2
Text2SQL 语义解析数据集、解决方案和学术论文资源整合
qq_38334677的博客
05-21 1232
首先，让我们了解一下Text2SQL。简单来说，Text2SQL就是将人类语言（如英语）的查询转化为数据库查询语言（SQL）。例如，对于一个英语查询 "Who is the oldest employee in the company?"，Text2SQL技术的目标就是将这个英语查询转化为一个SQL查询，如 "SELECT MAX(age) FROM employees"。Text2SQL非常有用，因为它使那些没有数据库查询语言知识的人也能方便地获取数据库中的信息。
写SQL太麻烦？免费搭建 Text2SQL 应用，智能写 SQL | OceanBase AI 实践
OceanBase分布式数据库的博客
12-19 2696
本文介绍通过OceanBase与DB-GPT 结合，搭建Text2SQL应用，通过大模型用自然语言生成对应的查询 SQL，不仅可以直接在 OceanBase 数据库中执行该 SQL 获取结果，还能够将得到的查询结果进行可视化展示。
Text2SQL 语义解析数据集、解决方案、paper资源整合项目
古月哲亭
07-05 1188
https://github.com/yechens/NL2SQL Text2SQL 语义解析数据集、解决方案、paper资源整合项目
一文彻底搞懂大模型实战 - 文本到SQL（Text2SQL）
2401_85375186的博客
01-22 6383
Text2SQL技术，即将自然语言查询转换为结构化查询语言（SQL）的技术，正在迅速成为数据库查询的一个关键工具。它使得非技术用户能够通过自然语言与数据库进行交互，极大地提高了数据库操作的便捷性和效率。接下来分两部分：主流数据集、主流实战方法（SQLCoder+DB-GPT-Hub），一起来深入了解大模型实战：Text2SQL。什么是Text2SQL数据集？Text2SQL数据集是指一类专门用于训练Text2SQL（文本到SQL）模型的数据集合。Text2SQL数据集通常包含大量的自然语言查询（
Text2SQL-Vanna研究
01-17 1833
Vanna是一个开源的Python RAG（检索增强生成）框架，主要作用是帮助用户基于大型语言模型（LLMs），为其数据库生成精确的SQL查询。它通过在用户数据上训练RAG模型，然后依据用户提问生成可在数据库上执行的SQL查询，整个过程分为训练和提问两个简单步骤。同时，Vanna支持多种LLMs、向量数据库和SQL数据库，既能保证查询的高准确性，又能确保数据库内容的安全私密，还支持用户自定义前端界面，并通过用户反馈进行自我学习以提升查询准确性。
text2sql方法：NatSQL和DIN-SQL
beingstrong的博客
09-28 1575
text2sql方法：NatSQL和DIN-SQL思路介绍
Chat2DB 与 SQLCoder
02-20
### 特点对比 #### 功能特性 Chat2DB 是一款专注于数据库操作的人工智能工具，能够通过自然语言处理技术让用户以对话形式完成复杂的SQL查询构建工作[^1]。而 SQLCoder 则是一个基于机器学习模型的代码生成功能库，特别擅长于自动生成结构化查询语句 (SQL)，并支持多种编程接口调用方式。 对于 Chat2DB 而言，其核心优势在于交互式的用户体验设计上，允许用户无需编写任何代码即可实现数据检索需求；而对于开发者来说，则提供了更深层次的功能定制选项以及API集成能力。 另一方面，SQLCoder 更加侧重于自动化程度较高的应用场景，在给定一定上下文条件下可以快速生成符合预期的结果集，并且易于嵌入到现有应用程序逻辑当中去执行特定任务。 #### 使用案例分析 当面对非技术人员或者希望减少手动编码量的需求时，Chat2DB 显得尤为有用。它使得业务分析师、产品经理等角色能够在不依赖 IT 部门的情况下自主获取所需的数据洞察力，从而加速决策过程并提高工作效率。 相比之下，如果项目中涉及到频繁变化的数据访问模式或是需要高度优化性能的关键路径部分，则可能更适合采用 SQLCoder 来满足这些严格的要求。由于该工具可以直接与源码相结合，因此非常适合那些追求极致效率和技术灵活性的研发团队使用。 ```python # Example of using a hypothetical API for each tool to generate an SQL query. import chat2db_api from sqlcoder import SqlGenerator query_chat2db = chat2db_api.generate_query("Find all users who signed up last month.") print(query_chat2db) generator = SqlGenerator() query_sqlcoder = generator.from_context( table="users", conditions={"signup_date": "last_month"} ).build() print(query_sqlcoder) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值