大主子表关联的性能优化方法

【摘要】

主子表是数据库最常见的关联关系之一,最典型的包括合同和合同条款、订单和订单明细、保险保单和保单明细、银行账户和账户流水、电商用户和订单、电信账户和计费清单或流量详单。当主子表的数据量较大时,关联计算的性能将急剧降低,在增加服务器负载的同时严重影响用户体验。作为面向过程的结构化数据计算语言,集算器 SPL 可通过有序归并的方法,显著提升大主子表关联计算的性能。 下面就来乾学院一探究竟:大主子表关联的性能优化方法。

一、        原理解释

所谓主子表关联计算,就是针对主表的每条记录,按关联字段找到子表中对应的一批记录。以订单(主表)和订单明细(子表)为例,两者以订单ID为关联字段。下图显示了关联计算过程中对主表中一条记录的处理情况,红色箭头代表没找到对应记录(不可关联),绿色箭头代表找到了对应记录(可关联):

                                              undefined

假设订单(主表)有m条记录,订单明细(子表)有n条记录,在不考虑优化算法时,主表中每一条记录的关联都需要遍历子表,相应的时间复杂度为O(n)。而主表一共有m条记录,所以整个计算的复杂度就是O(m*n),显然过高。虽然数据库一般会采用hash方案来优化,但在数据量较大或较多表关联时,仍然会面临时难以并行、使用外存缓存数据的问题,性能依旧会急剧下降。

而对于集算器来说,针对大主子表关联算法,可以通过两步来实现显著优化:数据有序化、归并关联。

l   数据有序化

对主表和子表,首先分别按照关联字段排序,形成有序数据。

l   归并关联

首先在主表和子表上分别用指针指向第一条记录,然后开始比对,对于主表的第一条记录,如果子表遇到匹配的记录,则表示可以关联,记录后子表指针前移;如果遇到不匹配的记录,表示主表第一条记录的关联计算完成,此时子表指针不动,主表指针下移一位,指向第二条记录。以此类推……

优化后,单条记录的关联计算可用下图示意:

undefined

可以看到,经过优化,主表中单条记录的关联只需比对部分数据,不再需要遍历子表。事实上,对主表所有记录的关联,才会遍历一次子表,也就是复杂度为O(n)。再加上主表本身会遍历一次,因此整个计算的复杂度就是O(m+n)。

这样,经过集算器优化后,算法的时间复杂度变为线性,而且不再需要生成落地的中间数据,性能自然得到大幅提升。

当然,需要注意的是,有序化本身也会耗费时间,因此这种优化方法不适合只做一次的关联算法。但在实际业务中,关联算法通常会反复执行,这时有序化的开销就是一次性的,完全可以忽略不计。

二、        具体实现

下面还是以订单和订单明细为例,说明集算器优化大主子表关联的方法。

首先进行数据有序化(注意,这是一次性动作)。集算器脚本“数据有序化.dfx”如下:

 

A

B

1

=connect("orcl")

 

2

=A1.cursor("select 订单ID,客户ID,订购日期 from 订单 order by 订单ID")

=A1.cursor("select 订单ID, 产品ID,单价,数量 from 订单明细 order by 订单ID,产品ID")

3

=file("订单.ctx").create(#订单ID,客户ID,订购日期)

=file("订单明细.ctx").create(#订单ID,#产品ID,单价,数量 )

4

=A3.append(A2)

=B3.append(B2)

5

=A1.close()

 

A1连接Oracle数据源,A5关闭数据源。集算器可连接大部分常用数据源,包括数据库、Excel、阿里云、SAP等等。

A2、B2:用SQL语句分别取订单和订单明细,并按关联字段排序。由于数据量较大,无法一次性读入内存,因此这里用到了游标函数cursor。

A3、B3:分别创建组表文件“订单.ctx”和“订单明细.ctx”,用于存储有序化之后的数据。这里需要指定字段名,其中带#号的字段是主键,。数据将按主键排序,且主键的值不可重复。

A4-B4:将游标追加写入组表文件。

 

 

其次,对于通常会反复执行的关联算法,可以用集算器脚本“归并关联.dfx”实现如下:

 

A

B

1

=file("订单.ctx").create().cursor(订单ID)

=file("订单明细.ctx").create().cursor(订单ID,数量)

2

=joinx(A1:主表,订单ID; B1:子表,订单ID)

 

3

=A2.groups(;sum(子表.数量))

 

A1、B1:读入组表文件“订单.ctx”和“订单明细.ctx”。注意组表默认为列式存储,因此只需读入后续计算需要的字段,从而大幅降低I/O。

A2:对有序游标A1、B1进行归并关联,其中“主表”、“子表”是别名,方便后续引用,如果省略别名,后续可以通过默认别名_1、_2引用。注意,函数joinx默认进行内关联,可用选项@1指定左关联,或者@f指定全关联。如果有多个游标都要与A1关联,可用分号依次隔开。

A3:对关联结果进行后续计算,例如汇总产品数量。事实上后续计算可以支持任意算法,也不是本文的讨论范围了。

 

上面介绍了集算器SPL脚本的写法,而在实际执行时,还需要部署集算器的运行环境。有两种部署方式可供选择:内嵌部署和独立部署。

l   内嵌部署

内嵌部署时,集算器的用法类似内嵌数据库,应用系统使用集算器驱动(JDBC)执行同一个JVM下的集算器脚本。

下面是Java调用“归并关联.dfx”的代码

1.     com.esproc.jdbc.InternalConnection   con=null;

2.     try {

3.         Class.forName("com.esproc.jdbc.InternalDriver");

4.           con   =(com.esproc.jdbc.InternalConnection)DriverManager.getConnection("jdbc:esproc:local://");

5.           ResultSet rs =   con.executeQuery("call 归并关联()");

6.     } catch (SQLException e){

7.         out.println(e);

8.     }finally{

9.         if   (con!=null) con.close();

10.   }

在上述JAVA代码中,集算器脚本以文件的形式保存,调用语法类似存储过程。而如果脚本很简单,也可以不保存脚本文件,直接书写表达式,调用语法类似SQL,这时第5行可以写成:

ResultSet rs = con.executeQuery("=joinx(file(\"订单.ctx\").create().cursor(订单ID),订单ID; file(\"订单明细.ctx\").create().cursor(订单ID,数量),订单ID).groups(;sum(_2.数量))");

这篇文章详细介绍了JAVA调用集算器的过程:http://doc.raqsoft.com.cn/esproc/tutorial/bjavady.html

除了使用Java代码,也可以通过报表访问集算器,这时按照访问一般数据库的方法即可,具体可参考《让Birt报表脚本数据源变得既简单又强大》。

 

对于脚本“数据有序化.dfx”,可以用同样的方法执行。不过这个脚本通常只执行一次,所以也可以直接在命令行中执行,windows用法如下:

D:\raqsoft64\esProc\bin>esprocx 数据有序化.dfx

Linux下用法类似,可以参考http://doc.raqsoft.com.cn/esproc/tutorial/minglinghang.html

 

l   独立部署

独立部署时,集算器的用法类似远程数据库,应用系统可以使用集算器驱动(JDBC或ODBC驱动)访问集算服务器。这种情况下,应用系统和集算器服务器通常部署在不同的机器上。

例如集算服务器的IP地址为192.168.0.2,端口号为8281,那么JAVA应用系统可以通过如下代码访问:

st = con.createStatement();

st.executeQuery("=callx(\"归并关联.dfx\";[\"192.168.0.2:8281\"])");

关于集算服务器的部署和使用,详细内容可参考http://doc.raqsoft.com.cn/esproc/tutorial/fuwuqi.html

关于JDBC和ODBC驱动的部署方法,可分别参考

http://doc.raqsoft.com.cn/esproc/tutorial/jdbcbushu.html

http://doc.raqsoft.com.cn/esproc/tutorial/odbcbushu.html

三、        多线程优化

前面介绍了基本的优化思路和实现方法,也就是针对数据本身的优化。而现实中服务器都是多核心CPU,因此可以进一步对上述算法进行多线程优化。

多线程优化的原理,是将主表和子表各分为N段,使用N个线程同时进行关联计算。

原理虽简单,但真正实现的时候,就会发现很多难题:

l   分段效率

想把数据分为N段,就要先找到每一段的起始行号,如果用遍历的笨办法数行号,显然会白白消耗大量的I/O资源。

l   数据跨段

理论上,关联字段值相同的子表记录,应该分到同一段。如果对子表随意分段,很可能形成跨段的数据。

l   分段对齐

更进一步,理论上,子表的第i段数据,应该与主表的第i段数据对齐,也就是主子表关联字段值的范围应该一致。如果两者各自独立分段,则可能导致分段数据难以对齐。

l   二次计算

如果后续计算不涉及聚合,例如只是过滤,那么只需将N个线程的计算结果直接合并。但如果后续计算涉及聚合,比如sum或分组汇总,那就要单独再进行二次计算聚合。

 

好在集算器已经充分解决了上述难题,分段时不会耗费IO资源、关联字段值相同的记录会分在同一段、子表和主表会保持对齐、各种二次计算无需单独实现。

具体来说,首先,数据有序化脚本需要做如下修改(红色字体为修改部分):

 

A

B

1

=connect("orcl")

 

2

=A1.cursor("select 订单ID,客户ID,订购日期 from 订单 order by 订单ID")

=A1.cursor("select 订单ID, 产品ID,单价,数量 from 订单明细 order by 订单ID,产品ID")

3

=file("订单多线程.ctx").create(#订单ID,客户ID,订购日期)

=file("订单明细多线程.ctx").create(#订单ID,#产品ID,单价,数量   ;#订单ID )

4

=A3.append(A2)

=B3.append(B2)

5

=A1.close()

 

B3:生成“订单明细多线程.ctx”时,数据按“#订单ID”分段。这将保证订单ID相同的记录,将来会分到同一段。

归并关联的脚本需修改如下:

 

A

B

1

=file("订单多线程.ctx").create().cursor@m(订单ID)

=file("订单明细多线程.ctx").create().cursor@m(订单ID,数量;;A1)

2

=joinx(A1:主表,订单ID; B1:子表,订单ID)

 

3

=A2.groups(;sum(子表.数量))

 

A1:@m表示对数据分段,形成多线程游标(也叫多路并行游标)。其中线程数量是默认值,由系统参数“最大并行数”决定,也可手工修改。例如希望生成4线程游标,A1应写成:

=file("订单多线程.ctx").create().cursor@m(订单ID ;;4)

B1:同样生成多线程游标,并与A1的多线程游标对齐。

A2-A3:归并关联,再执行后续算法。这两步写法上没变化,但底层会自动进行多线程合并和二次计算,从而降低了程序员的编程难度。

四、        结构优化

在前面算法的基础上,还可以进一步提升计算性能,那就是以层次结构存储数据,直接记录关联关系。

具体来说,先用“结构优化有序化.dfx”生成组表文件:

 

A

B

1

=connect("orcl")

 

2

=A1.cursor("select 订单ID,客户ID,订购日期 from 订单 order by 订单ID")

=A1.cursor("select 订单ID, 产品ID,单价,数量 from 订单明细 order by 订单ID,产品ID")

3

=file("多层订单.ctx").create(#订单ID,客户ID,订购日期)

 

4

=A3.append(A2)

=A3.attach(订单明细,#产品ID,单价,数量)

5

 

=B4.append(B2)

6

=A1.close()

 

B4:在主表的基础上附加子表,命名为订单明细。与主表不同的是,子表默认继承了主表的主键,因此可以省略订单ID,只需要写另一个主键产品ID。这样,2个表写在了一个组表文件中,从而才能形成层次结构。

B5:向子表写入数据。

此时,组表“多层订单.ctx”将按层次结构存储,逻辑示意图如下:

#订单 ID

#产品 ID

单价

数量

客户 ID

订单日期

10248

   

VINET

2012-07-04

 

17

14

12

  
 

42

9

10

  
 

72

34

5

  

10249

   

TOMSP

2012-07-05

 

14

18

9

  
 

51

42

40

  

10250

   

HANAR

2012-07-08

 

41

7

10

  
 

51

42

35

  
 

65

16

15

  

…

   

…

…

 

…

…

…

  

可以看到,每条主表记录与对应的子表记录,在逻辑上已经紧密相关,无需额外关联,这样便可大幅提高关联算法的性能。

进行关联计算时,使用以下脚本“结构优化归并关联.dfx”:

 

A

B

1

=file("多层订单.ctx").create()

=A1.attach(订单明细)

2

=A1.cursor@m(订单ID)

=B1.cursor@m(订单ID,产品ID)

3

=joinx(A2:主表,订单ID; B2:子表,订单ID)

 

4

=A3.groups(;sum(子表.数量))

 

A1、B1:打开主表,以及附加在主表上的子表。

A2、B2:以多线程方式分别读取主表和子表。需要注意的是,多层组表里的实表之间天然具备相关性,因此无需特意指定子表和主表的分段关系,代码比之前更清晰简单。

A3,A4:归并关联并执行后续算法,这两步没变化。

五、        数据更新

前面的优化方式都基于库表全量导出为组表文件的情况,但实际业务中数据库表总会发生变化,因此需要考虑数据更新的问题,也就是要将变化的数据定时更新到组表文件中。

显然,更新数据应选择在无人查询组表文件时进行,一般都是半夜或凌晨。而更新的频率,则需要按照数据实时性要求来设定,例如每天一次或每周一次。至于更新的方式,需要按照数据的变化规律来考虑,最常见的是数据追加,有时也会遇到增删改。

下面先看数据追加:

订单和订单明细每天都会产生新记录,假设需要在每天凌晨2点将昨天新增的记录追加到组表文件中。下图显示了2018/11/23新增记录的情况,注意,有些订单(订单ID:20001)并没有对应的订单明细:

订单表

订单明细表

订单 ID 客户 ID 订单日期 19999APK2018/11/2220000APK2018/11/2320001APJ2018/11/2320002APL2018/11/2320003APP2018/11/24

 

订单 ID 产品 ID 单价数量 199991757.1151999916204.516200001364.282000014640.22200021615.242000319245.25

 

把主子表追加到组表文件中的脚本 “追加组文件.dfx”如下:

 

A

B

2

=begin=datetime(elapse(date(now()),-1))

=end=elapse(begin,1)

3

=connect("orcl")

 

4

=A3.query@x("select 订单.订单ID 主订单ID,订单明细.订单ID 子订单ID,产品ID,单价,数量,客户ID,订购日期 from 订单 left  join 订单明细 on 订单.订单ID=订单明细.订单ID where 订购日期>? and 订购日期<=? order by 订单ID,产品ID",begin,end)

 

5

=A4.groups(主订单ID:订单ID,客户ID,订购日期)

=A4.select(子订单ID).new(子订单ID:订单ID,产品ID,单价,数量)

6

=file("多层订单.ctx").create()

 

7

=A6.append(A5.cursor())

=A6.attach(订单明细)

8

 

=B7.append(B5.cursor())

A2、B2:计算昨天的起止时间,以便查询新增数据。函数now获取当前时间点,理论上应该是2018-11-24 02:00:00。A2是昨天的起始时间点,即2018-11-22 00:00:00。B2是终止时间点,即2018-11-23 00:00:00。之所以在集算器中计算起止时间,主要是为了增加可读性和移植性。实际上也可以在SQL中计算。

A4:取出新增的主表和子表记录。这里用一句SQL取两张表的数据,主要是为了提高效率。由于有些订单并没有对应的订单明细,因此用订单左关联订单明细,且将对应不上的订单明细置空。计算结果如下:

 主订单 ID

子订单 ID

产品 ID

单价

数量

客户 ID

订购日期

20000

20000

13

64.2

8

APK

2018/11/23

20000

20000

14

640.2

2

APK

2018/11/23

20001

    

APJ

2018/11/23

20002

20002

16

15.2

4

APL

2018/11/23

A5、B5:拆出新增的主子表记录,结果示例如下:

订单 ID 客户 ID 订单日期 20000APK2018/11/2320001APJ2018/11/2320002APL2018/11/23

 

订单 ID 产品 ID 单价数量 200001364.282000014640.22200021615.24

 

A6-B8:将主表和子表追加到组表文件中。

脚本写完之后,还需要在每天的02:00:00定时执行,这可以使用操作系统内置的任务调度。

在Windows下,建立如下的bat批处理文件,:

"D:\raqsoft64\esProc\bin\esprocx.exe" 追加组文件.dfx

再使用windows内置的"计划任务",定时执行批处理文件即可。

在linux下,建立如下的sh批处理文件,:

/raqsoft/esProc/bin/esprocx.sh synclastday.dfx

再使用crontab命令,定时执行批处理文件即可。

当然也可使用图形化工具定时执行脚本,比如Quartz。

需要注意的是,大多数情况下,能够选择无人使用组表文件的时候进行追加,但有些业务中组表文件全天都要使用,而有些项目对容错要求更高,要求追加失败时再次追加,这类项目就需要更加细致的追加方法,详情可参考《基于文件系统实现可追加的数据集市》。

 

除了追加这种主要的更新方式,业务中也会遇到增删改都存在的情况。

在这种情况下,就需要知道哪些是删除的记录,哪些是修改或新增的记录。如果条件允许,可以在原表中新加“标记”字段,并将维护状态记录在该字段中。如果不方便修改原表,则应当创建对应的“维护日志表”。例如下面两张表,分别是订单和订单明细的维护日志。

订单维护表

订单明细维护表

订单 ID 客户 ID 订购日期标记 11108OKBJ12012/11/23 删除 11107VINET2018/11/26 修改 30000TOMSP2018/11/26 新增

 

订单 ID 产品 ID 单价数量标记 1110817100.110 删除 1110819100.110 删除 1110717200.120 修改 1110718300.130 新增 3000020400.140 新增 3000021500.150 新增

 

根据维护日志更新组表文件,可使用下面的脚本:

 

 

A

B

1

=connect("orcl")

 

2

=订单删除=A1.query("select * from 订单维护where 标记= '删除' ")

=明细删除= A1.query("select * from 订单明细维护where标记= '删除' ")

3

=订单修改新增= A1.query("select * from 订单维护where 标记= '修改' or标记= '新增' ")

=明细新增修改= A1.query("select * from 订单明细维护where标记= '修改' or标记= '新增' ")

4

=file("多层订单.ctx").create()

=A4.attach(订单明细)

5

=A4.delete(订单删除)

=B4.delete(订单删除)

6

=A4.update(订单修改新增)

=B4.update(订单修改新增)

7

=A1.execute("delete * from 订单维护")

=A1.execute("delete * from 订单明细维护")

8

=A1.close() 

 

A2、B2:从数据库查出应删除的记录

A3、B3:从数据查出应修改和新增的记录

A5、B5:对组表进行删除操作。

A6、B6:从组表进行修改新增操作。

A7、B7:清空维护日志表,以便下次继续更新数据。

 

六、        T+0实时计算

通过定时追加,能保证组表文件与昨天的数据同步,从而实现T+1计算,但有时需要进行实时大主表关联,即T+0计算。

对于T+0计算,需要将两种不同的数据源进行混合计算,由于SQL或SP的数据模型较为封闭,因此难以实现混合计算,而使用集算器就非常简单。

比如对组表文件定时追加后,数据库当天又产生了如下新数据:

订单

订单明细

订单 ID 客户 ID 订购日期………20002APL2018/11/2340000VINET2018/11/2640001TOMSP2018/11/2640002HANAR2018/11/26

 

订单 ID 产品 ID 单价数量…………200021615.2440000115005400001260064000213700.274000214800.28

 

可使用如下脚本实现T+0实时计算:

 

A

B

1

=begin=datetime(date(now()))

 

2

=connect("orcl")

 

3

=A2.query@x("select sum(数量) as 总数 from 订单,订单明细  where 订单.订单ID=订单明细.订单ID and 订购日期>=?",begin)

 

4

=file("多层订单.ctx").create()

=A4.attach(订单明细)

5

=A4.cursor@m(订单ID)

=B4.cursor@m(订单ID,数量)

6

=joinx(A5:主表,订单ID; B5:子表,订单ID)

 

7

=A6.groups(;sum(子表.数量):总数)

 

8

=(A3|A7).groups(;sum(总数):总数)

 

A1:算出当天的起始时间点,即2018-11-26 00:00:00。

A3:针对数据库当天产生的新数据,进行关联计算。由于当天数据量较小,因此性能可以接受。

A4-A7:针对组表文件历史数据,进行高性能关联计算。

A8:合并当天和历史,并进行二次计算,以获得最终计算结果。其中符号|表示纵向合并,这是实现混合计算的关键。事实上,这种写法也表明集算器支持任意数据源之间的混合计算,比如Excel与elasticSearch之间。

关于T+0计算更多的细节,可参考相关文章《实时报表 T+0 的实现方案》

相关推荐

AI 对话式自助报表,让用户自己做报表,提升体验还省钱

有些场景可能因为安全问题不方便接入公网 LLM,或者算力紧张而没有 LLM 可用,那仍然可以用上面这种方法来实现对话式的自助报表,当然没有 AI 的帮助就没办法做整体规划了,还需要学习如何写出规范的命令,好在润乾报表的操作页面提供了丰富的帮助和例子,也很容易上手。而 LLM 天生又有幻觉问题,不能保证稳定的输出,做对了还好,如果错了,由于“黑盒”问题,就很难进行局部修改,无从下手,只能推倒重做,而重做又可能引发新的错误,就得一次次盲目反复,导致效率和体验双双崩塌。,正是从这个思路出发,解决了这个难题。

Raqsoft 11

智能问数的不可能三角:灵活、准确、复杂

这不是某个厂商的能力问题,是技术路线决定的宿命。你选哪条路,就得接受这条路的代价。

Raqsoft 278

谈智能问数 Text2SQL 的准确率,先要说清分母是什么

智能问数领域,厂商们动不动就喊“准确率 90% 甚至 95%”。听起来很厉害,但你细问一句“在什么范围测的”,往往就没下文了。就像一个人跟你说“我考试能考 90 分”。你不问问考的是什么、范围是什么、难度如何,就敢信他能帮你解决实际工作问题?

Raqsoft 117

AI 报表工具尽是挂着羊头还落不了地的 ChatBI,就没真搞报表的吗?

总结来说,ChatBI 是 AI 化的 BI,BI 做不了的,它也做不了,而且它现在还被幻觉和黑盒困扰,自己分内的事情都做不明白,报表工具想利用 AI 的红利,还是得专门针对报表开发探索才可以。则只能处理简单格式和计算,还经常做不明白,AI 生成报表表是个黑盒,一次性生成,没有中间过程,做对了还好,做错了没办法进行局部修改,只能重新做,改了旧错又出新错,陷入重复返工的泥潭。一直是数据项目中占比极高的存在,对于开发团队来说,它难度不大,但繁度不小,带来的压力也很大,大量的人工成本都耗费在了报表开发上。

Raqsoft 183

不起眼的报表开发,在 AI 时代仍然是成本无底洞

在项目开发中,报表是个不起眼的一环,因为难度看着不大,还有报表工具兜底,常常被轻视然而,实际开发中才会发现,报表开发远比想象中消耗人力,新的需求层出不穷,旧的报表改个不停,步入 AI 时代,软件开发相关工作整体效率飙升,人力成本显著下降,但在报表开发领域,却没有享受到 AI 红利,开发成本无底洞的难题,依然没能缓解。

Raqsoft 200

应用开发中占比不低的报表为啥很难享受 AI 编程的红利

LLM 需要依靠海量公开文本完成训练,但复杂报表开发是融合数据提取、业务逻辑计算、复杂可视化排版、交互打印的复合型工作,逻辑交织,不能用线性文本简单描述,大模型缺乏训练数据,自然无法支撑专业报表开发。在 AI 编程全面重塑软件开发的当下,企业应用中大量复杂的固定报表开发却难以享受这波技术红利,究其根本,主要受制于两大核心阻碍。这种“LLM+ 规则引擎”的混合架构,既增加了 AI 的自由与灵活,又守住了企业报表场景对 100% 准确率的要求。不过,也有能啃硬骨头的,润乾报表就迎难而上,趟出了一条新路子。

Raqsoft 281

能不能把智能问数(Text2SQL)功能集成进自己的应用?

加载几个 JAR 包,配好配置文件,应用里直接调 JDBC 接口就能跑。不需要单独部署 AI 服务,不需要复杂接口对接,像集成普通报表组件一样,无缝对接到业务系统里。现在智能问数倒是有大把方案,但一个比一个重,动不动就要单独部署一套 AI 服务,挂 GPU 集群,配 AI 工程师,比应用系统本身还复杂,单独用起来都不容易,集成更是痴人说梦。它不是一个独立部署的庞然大物,而是一个轻量的“智能问数引擎”,可以以组件形式直接嵌入到业务系统内部。把智能问数能力做到自己的应用里,不用建 AI 团队,不用买 GPU。

Raqsoft 196

智能问数(Text2SQL)的两大方案及实施成本

现在流行挂个 RAG 知识库,把表结构、字段名、业务术语全向量化存起来,每次查询时现去检索相关片段喂给大模型。只做一件事,把口语化的自然语言转成有规则的自然语言,也就是“规范文本”。然后规则引擎根据预先配置好的业务词典和映射规则,把规范文本编译成 100% 准确的 SQL。核心工作量在配置业务词典,把用户爱说的“华北区”“在途订单”这些词,跟数据库表和字段对上。关键是,规则是写死的、确定的。SQL 怎么生成、逻辑怎么组合,全都写在规则里。出了问题,查规则、改词典、补映射,改完就知道对不对,没有不确定性。

Raqsoft 159

AI 化的自助报表和 ChatBI 有什么区别?

这种白盒机制对 ChatBI 的准确性也有极大帮助,当其他 ChatBI 还在为 LLM 的“幻觉”和错误挣扎时,润乾通过让人类随时介入和纠正,将不确定性限制在可控范围内,既保留了对话的便捷,又守住了数据准确性的底线,让产品真正具备了在企业级复杂场景中可靠落地的底气,这才是让 AI 报表从“玩具”走向“生产工具”的关键所在。然而,当前市面上的 ChatBI 大多是全面基于 LLM 实现的,确实能生成分析图表,但都是一次性输出,AI 化的自助报表已经打包进润乾报表的工具版中,,比如先生成一张简单表。

Raqsoft 121

非高频但真趁手,报表工具这个AI功能太方便了

这种功能平时可能不常用,但一旦遇到复杂报表的批量整改,这种说句话就能全选中修改好的爽快感真的让人离不开。它把原本需要半小时的“体力活”压缩到了几秒钟,这才是报表工具该有的智能化体验。如果报表简单,手动改改也就罢了;但若是面对下面这种几百个格子的复杂大报表,想靠肉眼一个个去“找茬”,行高大于 10 的行标成橙色也是一句话搞定,不用挨个去找去看行高。Copilot 即会自动检索并锁定字体为黑体的所有单元格。报表交付后,再根据用户反馈来修改报表,是很正常的事情。比如上面的任务,只需要两个命令就能完成。

Raqsoft 197

智能问数Text2SQL的JOIN噩梦怎样被DQL终结?

Text2SQL 火了三年,有一道行业级的坎始终迈不过去:多表关联(JOIN)。演示环境里百发百中的工具,一进入企业真实数据环境就频频翻车。在 Spider 这类标准多表数据集上,主流大模型方案的执行准确率仅在 60%-82% 之间;而面对网状交织的企业级复杂模型时,复杂跨表场景的准确率甚至会跌破 30%。现实是,绝大多数企业的业务数据都分散在几十上百张表里,80% 以上的日常查询都涉及多表关联。JOIN 问题解决不了,智能问数就只是演示玩具。

Raqsoft 26

做一个项目就能回本的 AI 报表工具,更多都是赚到

这意味着,只要支付相当于一名工程师一个月的成本,就能在一年内无限量地使用这款专注报表领域二十多年的专业工具,无论你的项目有多成功、服务器如何扩容,都不需要再追加一分钱授权费。某能源行业软件公司,随着项目越来越多,服务器节点也从 5 个猛增到一百多个,但因为采用了润乾报表的工具模式,他们无需再为扩容追加一分钱,一年三万买断企业级全功能版本,还有 AI 提升开发效率,做一个项目轻松回本,多出来的每一个项目,省下的授权费都是企业实打实的纯利润!报表工具卖了这么多年,成本一直不低,项目越多、服务器节点越多,

Raqsoft 156

自助报表 /BI 多维分析从 GUI 到 LUI 的进化

这样就可以极低成本为中小企业提供 AI+BI 的整体解决方案赋能,帮助企业跨越技术鸿沟,轻松迈入省钱又省人力的智能时代。,能够作为轻量级模块无缝嵌入企业现有的 OA、CRM、ERP 等业务系统中,不需要单独部署和管理独立沉重的 BI 系统。,彻底免去了学习专业操作的烦恼,只要能描述清楚分析需求,几乎所有人都能轻松上手,极大的拓宽了数据分析的场景。太过口语化的命令可能工具会识别效果不好,这时候可以请 LLM 帮忙,规范成工具可以理解的语言命令。用户只需直接输入分析需求,系统即可自动理解并进行各种分析。

Raqsoft 232

加上AI Copilot,这成了史上门槛最低的报表工具

目前尚无法像其它 AI 编程领域那样做到 “一句话生成所有复杂报表”的程度,部分工作仍需传统方式操作,但利用 AI 持续优化各个环节,降低使用门槛并解放开发者的生产力,也是报表技术演进中极具意义的进步。开发人员往往需要熟练记忆报表工具的各类函数语法、属性配置与布局设计,不仅前期学习成本高昂,后期也常被束缚于繁琐的重复性工作中,开发效率难以实现质的飞跃。”的深刻转变,极大地降低了报表工具的学习成本与难度,称其为史上门槛最低的报表工具也不算夸张。长期以来,报表开发一直属于不难,但是门槛也不低的任务。

Raqsoft 119

智能问数Text2SQL项目为啥经常是一地鸡毛

它包含字段映射、表间关系、维度层次、度量定义,还有一套可扩展的词汇体系,字段词、比较词、聚合词、宏词、动词……词典够丰富,描述能力才够强,复杂查询才能被准确翻译成规范文本,覆盖范围更广更复杂的查询场景。大模型有幻觉,就不要让它直接生成 SQL,而只是负责翻译成用户可读的“规范文本”,用户确认“是这个意思”之后,不能再由大模型负责执行,而由确定的规则引擎编译成 100% 准确的 SQL,这解决了算不准的问题。语义层不仅要建,还得足够复杂、足够丰富,否则描述能力太弱,用户换种问法就懵了。仿佛怼上数据库就能跑。

Raqsoft 129

搞一套 AI 加持下的对话式 BI 多维分析要多少成本?

LLM 只负责将自然语言转化为规范指令,再由规则引擎 100% 准确执行指令进行分析,避免 LLM 直接生成 SQL 或者报表的幻觉风险,另外 LLM 只负责规范语言命令,Token 费用会很低,LLM 不接触数据,也不存在数据安全问题。近年来,BI 工具很是火热,但高昂的价格始终是绕不开的门槛,无论是国外还是国内厂商,动辄数十万的授权费、按用户数叠加的订阅费,都让许多中小企业望而却步。,已经有很多场景验证过了,有需要的同学也可以去试试,反正软件是用好了才买单的。

Raqsoft 210

智能问数Text2SQL想落地,要在承认 AI 有幻觉的前提下设计方案

Text2SQL落地难,根源在于忽视“幻觉不可根除”这一事实。过度追求模型准确率,导致方案脱离现实。真正可行的路径是承认幻觉存在,通过“AI做语义转写、规则引擎生成查询、人机协同校验”的分层架构,将幻觉限制在可感知、可修正的前端,实现错误可见、可控、可修复。润乾NLQ实践表明:与幻觉共存,而非消灭它,才是企业级落地的关键。

Raqsoft 104

智能问数Text2SQL终于能做到工业级落地

大模型不直接写 SQL,只把问题翻译成“规范文本”,规则引擎再编译成 100% 准确的 SQL。真正烧钱的是后面的调优、修 bug、喂数据、养团队。Text2SQL 火了三年,就卷一个东西——准确率。85%、90%、95%,数字越来越好看。期望太高——又要聊天自然,又要多轮深挖,又要 AI 自己出结论。普通服务器,普通团队,照跑。润乾 NLQ,让智能问数从概念变成每个企业都装得起的工具箱。金融敢用了,医疗敢用了。所以十个智能问数项目,九个半都是一地鸡毛。润乾 NLQ,不卷准确率,卷确定性。

Raqsoft 151

病人手术后 6 月内咨询标记

"手术后 6 个月内有没有咨询过" 要靠拼接功能把咨询记录挂到手术记录上,挂的条件就是 "咨询日期不早于手术日期,且不晚于手术日期加 6 个月",这是一个跨表的区间条件,正好用得上拼接功能的非等值条件参数。条件是跨表的区间判断,写在条件参数里:带 @ 的 dt@ 是基准表(手术)的日期,不带 @ 的 dt 是关联表(咨询)的日期,整个条件读作 "咨询日期不早于手术日期,且不晚于手术日期往后 6 个月"。两份记录后面要分别用于不同的计算:手术记录当拼接的基准表,咨询记录当被挂上去的关联表。

Raqsoft 181

TRAE + SQLazy MCP 自动化编写 SQL 实践

回到开头的问题:学 SQL 到底难在哪?难在它要求你先把业务想法翻译成机器的叙述方式——join 的顺序、子查询的嵌套、窗口帧的定义,都是翻译过程里的损耗和出错点。SQLazy 把这层翻译工作接了过来:你用业务语言描述计算过程,它负责编译成标准 SQL 在数据库执行。而 TRAE + SQLazy MCP 又把写这一步也接了过去:你说需求,AI 生成 SQLazy 脚本、自动造测试数据、自动验证结果,连存量 SQL 都能一键倒译回来。三层简化叠加之后,做一次数据查询的路径变成了:打开TRAE →。

Raqsoft 204

一个 POC 搞 20 题?我写你麻辣鸽……祭出豆包撸 SPL,单机 20 倍干翻 MPP

MPPSPL硬件3节点,288核,1.8T内存,SSD单台虚拟机,16核,64G内存20 个校验总耗时17,450 秒(4.8 小时)624 秒(10 分钟)倍数快 27.9 倍288C1.8T 对 16C64G,4.8 小时对 10 分钟,SPL又一次完胜!(为什么要说“又”?这事前前后后也搞了两周多点,不过一多半时间都花在和客户沟通如何造出合理的测试数据,写 SPL 再调性能的时间也就三五天,这在以前是没法想的,豆包算是立了大功!

Raqsoft 144

股票最长连续上涨区间的起始日期和结束日期

因为上一步已经把记录限定在最长的那一段(或并列的几段)里,所以这里算出来的就是最长连续上涨区间的起始日期和结束日期。生成的组号写入新列 NoRisingDays,同一段内的记录组号相同,组号相同的一批记录就是一段连续的上涨行情。整个计算被拆成取数、排序、分段、计数、取最长、汇总六步,每一步都是一张可以直接查看的中间结果表:第 3 步之后能看到区间号,第 4 步之后能看到每段几天,最长的那一段是哪一段一目了然,不需要把整条 SQL 跑完再去猜中间算错了没有。比较用的是符号“=”,不是 SQL 里的“==”。

Raqsoft 211

调试 SQL 该像调试代码一样

写代码的人这时候会打开调试器,打断点,单步走,每个变量走到哪一步、变成多少,全看得一清二楚。这和调试 Python、Java 时用的单步是一个东西——区别只在于 SQLazy 的代码结构更简单,没有分支和循环以及子程序,所以用不着断点、step in、step out 那一套,每句代码本身就是一步。要求:按生产线分组,组内按时间排序后,找出编号等于指定字符串(比如 spL1ml82N4o)的记录,以及它们前后各 2 条记录,最后按 id 去重。步骤是给人看、给人调的,SQL 是给机器跑的,各管一段。

Raqsoft 176

CodeBuddy+SQLazy MCP,AI 开发可信 SQL 的正确姿势

对每天和 SQL 打交道的开发者、分析师而言,复杂 SQL 开发始终是效率卡点:多层嵌套逻辑靠人脑硬堆,调试靠逐层拆解子查询,祖传 SQL 接手像 “拆弹”,跨库适配纯又是体力重复。用 AI 写?快倒是真快了,但敢不敢信是另一回事了。说不准几时就出点幻觉、想要审计还得费劲读懂,刚才的麻烦事一件也少不了。写得虽快却不敢直接上生产。,既保留 AI 的效率优势,又守住工程化的可靠底线,让复杂 SQL 编写和审计成本直降 90%。

Raqsoft 176

N 位开发者测完这个无幻觉 SQL 编译器,我们从中学到了什么

SQLazy刚完成后的一段时间,我们把它交给一批开发者,用他们自己的查询来试。反馈整体是正面的,多数人上手就能把工作流跑通,编译出来的 SQL 直接拿去用了。被点名最多的是这几样:生成的 SQL 不瞎编字段、每一步都能点开看、以前不敢动的旧查询也能拿来重做。但痛点也收上来不少,有些还挺扎人。这些痛点不是一回事,我们分了两类看。比如只看重复行、不看唯一行这种取数需求,用去重功能的三个选项可以直接解决;判断一个值属不属于某个集合,用 contain 就行。这一类不用改代码,说清楚就够了。

Raqsoft 113

CodeBuddy+SQLazy MCP 自动化编写和倒译复杂 SQL 实践

** 订单明细 **: 订单 ID(数值), 零件 ID(数值), 供应商 ID(数值), 序号 (数值), 订购数量 (数值), 订购金额 (数值), 折扣率 (数值), 税率 (数值), 退货标记 (字符串), 发货状态 (字符串), 发货日期 (日期时间), 承诺到货日期 (日期时间), 实际到货日期 (日期时间), 发货指示 (字符串), 运输方式 (字符串)尾差由排序第一的国家承担。- ** 零件供应 **: 零件 ID(数值), 供应商 ID(数值), 库存量 (数值), 成本价 (数值)

Raqsoft 149

写SQL,“懒“ 是你这个季度做的最严谨的事

第一次看到 SQLazy 这个名字,不少人心里一合计:SQL 还能 lazy?这工具靠谱吗?我们起这名字时就知道会被问。名字里全是懒,我们天天挂嘴边的却是可审计、零幻觉、合规,听起来自相矛盾。其实懒和严是一件事的两面。

Raqsoft 162

我们造了一个编译器,让你不必再赌 AI 的正确率了

我们造了一个编译器,让你不必再赌 AI 的正确率了。不是因为模型不够准,而是行业一直让它做不该做的事。你有没有遇到过 AI 给的 SQL 能跑、能过检查,上线后才发现边界错了一行,却不报错?

Raqsoft 146

LLM 规划,编译器生成:以工作流为契约的确定性 SQL 生成器

AI已能产出可运行的 SQL,但可运行不等于可审计。在复杂查询上,公开评测显示最先进模型在 BIRD-bench 等基准上的执行准确率常在六成左右徘徊,远未达到可直接评审通过的程度。典型偏差不在语法,而在窗口边界、分区键、聚合口径等较复杂逻辑,尤以会话化、时序 gap、动态透视等场景尤甚。SQL需多层嵌套 CTE 与窗口累加,关联条件隐蔽,改一处需从最内层逐层验证是否影响外层。后果是三重成本叠加:难以 review、难以单步调试、难以跨库移植。

Raqsoft 376

我不再信 AI 生成的 SQL ,我现在信这套做法

为什么我不信任 AI 生成的 SQL 了,不是因为它不通,而是因为它太通——能过语法检查、能执行,却可能在不注意的地方漏洞百出。你有没有遇到过 AI 给的 SQL 通过了语法检查、执行不报错,数据却悄悄错了一行?

Raqsoft 215
上一篇: 优化体系结构 - 数据外置减少中间表
下一篇: 报表性能优化
润乾软件
润乾软件 企业官方账号 企业官方账号
博客等级 码龄15年 153粉丝 1147原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值