Text2SQL研究（一）-Chat2DB体验与剖析

原创 已于 2024-05-03 16:59:34 修改 · 3.1k 阅读 · 24 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #Text2SQL

于 2024-02-07 15:15:31 首次发布
本文介绍了作者在Text2SQL领域的研究，通过Chat2DB在车辆订单业务上的实践，详细阐述了Chat2DB的安装配置、数据库连接以及SQL生成过程。通过对源码的剖析，揭示了Text2SQL的核心在于根据表结构和用户问题生成prompt。总结了Text2SQL技术的关键点，包括构建业务简库、自组Prompt和选择大模型，并提及了用户数据权限的处理策略。

文章目录

概要

近期笔者在做Text2SQL的研究，于是调研了下Chat2DB，基于车辆订单业务做了一些SQL生成验证，有了一点心得，和大家分享一下.：

业务数据库设置

基于车辆订单业务，模拟新建了以下四张表，并添加了一些测试数据
 1. organization：组织表，包含组织id，组织名称，组织分类等3个字段；
 3. vehicle：车辆信息表，包含组织id，车辆id，车牌号码，使用年限等字段;
 4. refueling_order：车辆加油订单表，包含组织id,车辆id，车牌号码，加油时间，加油费用等字段
 5. **driven_distance**：车辆行驶里程表，包含组织id,车辆id，车牌号码，年份，行驶里程等字段

Chat2DB安装设置

  1. docke安装Chat2DB服务， 
    //通过docker，安装运行最新版本的chat2db容器
  docker run --name=chat2db -ti -p 10824:10824 -v ~/.chat2db-docker:/root/.chat2db  chat2db/chat2db:latest
  2. 安装完毕：打开链接登录系统，http://172.21.108.51:10824/login
  3. 配置数据库连接
  4. 配置Custom Ai，笔者设置体验了Chat2DB以及OpenAI
最低0.47元/天 解锁文章
Text2SQL 语义解析数据集、解决方案、paper资源整合项目sql
05-14
Text to SQL( 以下简称Text2SQL)，是将自然语言文本（Text）转换成结构化查询语言SQL的过程，属于自然语言处理-语义分析（Semantic Parsing）领域中的子任务。 它的目的可以简单概括为：“打破人与结构化数据之间的壁垒”，即普通用户可以通过自然语言描述完成复杂数据库的查询工作，得到想要的结果。
Chat2DB 智能数据库客户端，数据报表工具，自然语言生成SQL，生成报表
06-14
JAVA解析Excel工具；Java解析、生成Excel比较有名的框架有Apache poi、jxl。但他们都存在一个严重的问题就是非常的耗内存，poi有一套SAX模式的API可以一定程度的解决一些内存溢出的问题，但POI还是有一些缺陷，比如07版Excel解压缩以及解压后存储都是在内存中完成的，内存消耗依然很大。easyexcel重写了poi对07版Excel的解析，一个3M的excel用POI sax解析依然需要100M左右内存，改用easyexcel可以降低到几M，并且再大的excel也不会出现内存溢出；03版依赖POI的sax模式，在上层做了模型转换的封装，让使用者更加简单方便
Text 2 SQL案例 - Chat2DB 体验有感
甘蓝的专栏
08-14 2001
最近阿里巴巴开源了Chat2DB这样一款开源、集成AI的数据库客户端，我也来体验一把。
NLP-语义分析（Semantic Parsing）：Text2SQL【“打破人与结构化数据之间的壁垒”，即普通用户可以通过自然语言描述完成复杂数据库的查询工作】
u013250861的博客
04-07 3168
Text to SQL( 以下简称Text2SQL)，是将自然语言文本（Text）转换成结构化查询语言SQL的过程，属于自然语言处理-语义分析（Semantic Parsing）领域中的子任务。，即普通用户可以通过完成复杂数据库的查询工作，得到想要的结果。
【珍藏必备】大模型驱动Text2SQL：让小白也能轻松实现自然语言查询数据库
最新发布
Gaga246的博客
10-14 921
Text2SQL技术利用大语言模型将自然语言转换为SQL查询，解决企业数据利用痛点。文章详解其定义、核心组件(自然语言理解、Schema管理、SQL生成等)、处理流程及大模型选择策略。通过Function Calling和代码示例，实现安全可靠的自然语言查询数据库，让业务人员无需SQL技能即可直接探索数据，提升决策效率。
Text-SQL-Chat2DB
01-18 1715
安装后，打开Chat2DB，点击“连接”按钮，选“新建链接”，根据要连接的数据库类型（如MySQL、Oracle等），填写数据库地址、端口、用户名、密码等信息，测试连接成功后，点击“连接”完成数据库连接。他在数据库技术优化、多数据库支持的实现等方面贡献突出，解决了诸多技术难题，为Chat2DB能够高效连接多种类型数据库，如MySQL、Oracle、PostgreSQL等提供了技术保障，提升了产品的实用性和通用性。或在数据分析项目中，利用Chat2DB连接数据仓库，分析用户行为数据，挖掘潜在规律。
深入了解Text2SQL开源项目（Chat2DB、SQL Chat 、Wren AI 、Vanna）
热门推荐
weixin_44733966的博客
12-12 1万+
在数据驱动决策的时代，将自然语言查询转化为结构化查询语言（SQL）的能力变得日益重要。无论是小型创业公司还是大型企业，都希望能够更轻松地从海量的数据中挖掘出有价值的见解。然而，对于那些不熟悉SQL或者数据库架构的用户来说，直接编写复杂的查询语句往往是一个巨大的挑战。正是为了解决这一问题，Text2SQL技术应运而生，它允许用户通过简单的自然语言描述来获取他们所需的数据库信息。近年来，随着人工智能和机器学习领域的迅速发展，Text2SQL技术也取得了显著的进步。
总结不同方案实现-LLM数据库查询-即Text2SQL
wangning0714的博客
01-03 4329
让我们从定义机器人的工具开始。表列表 - 我们可以将其放在系统提示符中，以便模型对我们拥有的数据有一定的了解，并且不需要每次都为其执行工具表的列列表，以便模型可以理解数据模式表中列的顶部值，以便模型可以查找过滤器的值SQL查询执行的结果才能得到实际的数据。为了在LangChain中定义工具，我们需要使用@tool装饰器来实现函数。我们将使用 Pydantic 指定每个函数的参数模式，以便模型知道要传递给函数的内容。下面的代码定义了三个工具：execute_sql。
完全免费的 Text2SQL：智能SQL代码生成器，开发者的得力助手
W楠的博客
08-19 697
大家好，我是IT派同学，一名喜欢思考的互联网爱好者。在最近的几个月里，我参与了多个激动人心的项目，这些项目不仅考验了我的技术能力，更激发了我对 AI 的深刻思考。AI的浪潮正以不可阻挡之势席卷整个技术领域，并且我深信，它将是推动未来软件开发的关键力量。在这些项目中，我花费了大量时间编写SQL代码来处理复杂的业务逻辑。虽然对编写 SQL 并不陌生，但面对繁复的SQL语句和无尽的调试，我发现自己仍然需要一种更高效、更智能的方式来简化这一过程。
chat2DB体验
逻辑君的日常
08-30 3116
Chat2DB 是一款AI first的数据管理、开发、分析工具，它的核心是AIGC（Artificial Intelligence Generation Code）能力，它可以将自然语言转换为SQL，也可以将SQL转换为自然语言，也可以自动生成报表，极大的提升人员的效率。为了能够最大程度的保证大家的数据安全，我们推荐大家安装我们的 Chat2DB 客户端，通过客户端访问数据库，是本地客户端直连用户的数据库服务器无需经过 Chat2DB 平台。数据安全是企业非常重要的一部分，因为数据是企业的核心资产。
Chat2DB
D&k 深蓝色的左手
03-12 341
推荐一款超好用的AI数据库管理工具Chat2DB，支持22种数据库，包括国产的达梦、OpenGuass、OceanBase、TiDB等，还有非关系型MongoDB、Redis等，快来试试吧！🔥 官网：https://chat2db-ai.com/超好用的Sql开发工具，Deepseek等大模型辅助。🔥 邀请码：4lBF8z。
文本转sql
m0_47598093的博客
07-15 1509
功能：Text-to-SQL（或者Text2SQL，text2Code的子任务），顾名思义就是把文本转化为SQL语言，更学术一点的定义是：把数据库领域下的自然语言（Natural Language，NL）问题，转化为在关系型数据库中可以执行的结构化查询语言（Structured Query Language，SQL），因此Text-to-SQL也可以被简写为NL2SQL。SQL Chat 是一个基于聊天的 SQL 客户端，使用自然语言与数据库进行交互，支持对数据库的查询、修改、新增和删除等操作。
Chat2DB：AI赋能的多数据库客户端工具，开源领航未来数据库管理
奇遇少年
01-21 1598
Chat2DB：开辟数据库管理的智能新纪元
Text2SQL论文-02：Abstract Syntax Networks for Code Generation and Semantic Parsing
iin729的博客
08-18 700
转载于https://zhuanlan.zhihu.com/p/79486610 这篇文章主要介绍的一种新颖的neural semantic parsing的方法来做code generation，这个特殊设计网络的名字叫Abstract Syntax Network（ASN），是伯克利在2017年的工作。其中有几个亮点： 使用了神经网络的方式生成code 使用了一种语法树来限制神经网络只能生成有效的输出。这种语法树是由一种叫Abstract Syntax Description Language（A
Text2SQL — Part 1: Introduction
asd8705的专栏
04-22 900
Introduction to the conversion of Natural Language to SQL Text to SQL is a system that converts natural language statements to SQL queries. This can help in retrieving information stored in a database by expressing commands in natural language. Text2
Text2SQL 语义解析数据集、解决方案和学术论文资源整合
qq_38334677的博客
05-21 1286
首先，让我们了解一下Text2SQL。简单来说，Text2SQL就是将人类语言（如英语）的查询转化为数据库查询语言（SQL）。例如，对于一个英语查询 "Who is the oldest employee in the company?"，Text2SQL技术的目标就是将这个英语查询转化为一个SQL查询，如 "SELECT MAX(age) FROM employees"。Text2SQL非常有用，因为它使那些没有数据库查询语言知识的人也能方便地获取数据库中的信息。
写SQL太麻烦？免费搭建 Text2SQL 应用，智能写 SQL | OceanBase AI 实践
OceanBase分布式数据库的博客
12-19 2837
本文介绍通过OceanBase与DB-GPT 结合，搭建Text2SQL应用，通过大模型用自然语言生成对应的查询 SQL，不仅可以直接在 OceanBase 数据库中执行该 SQL 获取结果，还能够将得到的查询结果进行可视化展示。
Text2SQL 语义解析数据集、解决方案、paper资源整合项目
古月哲亭
07-05 1223
https://github.com/yechens/NL2SQL Text2SQL 语义解析数据集、解决方案、paper资源整合项目
Chat2DB 与 SQLCoder
02-20
### 特点对比 #### 功能特性 Chat2DB 是一款专注于数据库操作的人工智能工具，能够通过自然语言处理技术让用户以对话形式完成复杂的SQL查询构建工作[^1]。而 SQLCoder 则是一个基于机器学习模型的代码生成功能库，特别擅长于自动生成结构化查询语句 (SQL)，并支持多种编程接口调用方式。 对于 Chat2DB 而言，其核心优势在于交互式的用户体验设计上，允许用户无需编写任何代码即可实现数据检索需求；而对于开发者来说，则提供了更深层次的功能定制选项以及API集成能力。 另一方面，SQLCoder 更加侧重于自动化程度较高的应用场景，在给定一定上下文条件下可以快速生成符合预期的结果集，并且易于嵌入到现有应用程序逻辑当中去执行特定任务。 #### 使用案例分析 当面对非技术人员或者希望减少手动编码量的需求时，Chat2DB 显得尤为有用。它使得业务分析师、产品经理等角色能够在不依赖 IT 部门的情况下自主获取所需的数据洞察力，从而加速决策过程并提高工作效率。 相比之下，如果项目中涉及到频繁变化的数据访问模式或是需要高度优化性能的关键路径部分，则可能更适合采用 SQLCoder 来满足这些严格的要求。由于该工具可以直接与源码相结合，因此非常适合那些追求极致效率和技术灵活性的研发团队使用。 ```python # Example of using a hypothetical API for each tool to generate an SQL query. import chat2db_api from sqlcoder import SqlGenerator query_chat2db = chat2db_api.generate_query("Find all users who signed up last month.") print(query_chat2db) generator = SqlGenerator() query_sqlcoder = generator.from_context( table="users", conditions={"signup_date": "last_month"} ).build() print(query_sqlcoder) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值