- 博客(9)
- 收藏
- 关注
RSS订阅原创 一种企业级数据仓库（基于GreenPlum，离线，T+1）的架构模式，以调用存储过程为基本单元，实现数据ETL
大型企业由于业务数据巨多，尤其金融领域，需要进行复杂的计算、加工，最终得到易于分析决策、大小合适的数据形态，且还要求便于回溯查询。因此，数据仓库应运而生，对应这一需求，以下以GreenPlum产品为例。但是，数据仓库的结构是什么样？或者说，如何将业务系统的数据有序放进GreenPlum数据库中，然后实现有序加工，最终并有效管理这整一个过程呢？
2025-03-30 21:13:28
1068
原创 对SQL基础知识第2版、SQL高级知识第2版、SQL145题第2版-by李岳的书评
很久之间就关注到了公众号“SQL数据库开发”中，发布了SQL基础知识、SQL高级知识两本电子书，其中均为号主李岳所编写的公众号文章，围绕SQL语句的入门、进阶知识，然后进一步将历史发布的SQL训练题汇编为SQL145题的电子书，现在均已经迭代到第二版。注意：虽然，SQL语句几乎是关系型数据库的通用的调取数据的接口了，但是，各个数据库产品所支持的SQL语法还是有略微的不同。而这三本书，是作者基于微软的SQL Server数据库来编写的，
2024-12-03 15:33:21
1991
原创 PostgreSQL9.4.26/Greenplum6.19.4下，“自定义函数不能在Segment上执行”问题的替代解决方案
1/新建一个自定义处理函数如上，不再赘述2/再新建一个函数，设置一个游标变量为select col1::varchar as col1 from test1;3/然后遍历该游标时，调该自定义函数emp.col1=testfunc(emp.col1);4/返回该行，作为结果，直到循环结束(这步返回结果，可能需要再调试，我实战中是直接插入另一个表的)5/调用第二个建立的函数，select * from test_query();得到想要的结果-- 删除临时函数-- 创建函数$$declare。
2024-11-14 16:18:57
420
原创 PostgreSQL9.4.26/MySQL8.0中，将一个字符串中符合正则匹配的所有子字符串，进一步实现替换：递归+正则
有如下的多行字符串示例，如何将其中--开头的行中的英文分号匹配为别的字符，但是非--开头的行中，不动。二者语法基本一样，但是使用捕获组的语法不一样，一个是/1/2，另一个是$1$2。PostgreSQL解法：递归+正则表达式。MySQL8.0解法：递归+正则表达式。
2024-11-14 14:18:07
329
原创 永洪报表9.4.3.2b中，开发一个用户写入数据库的功能
如图所示，我本地安装的永洪个人桌面版10中，本身是有填报参数的，可以支持你直接上传一个表格，将其中数据显示在该表格组件内，然后设置按钮，写上脚本，将数据直接写入到数据库。但是显然，这个功能要花钱的，并且，我之前安装的个人桌面版9，也是同样如此。所以，我现在使用的企业购买的9.4.3.2b版本中，没有该功能，似乎也很合理，官方社区上有人回答说，是需要单独买的。所以，这里我不使用填报参数组件，尽管我之前是拿它去开发的；而使用大量的文本参数组件来作为用户输入的地方。
2024-11-14 11:34:40
1872
原创 使用Python调取数据对拉链表进行增量的更新插入操作
第二天，将对于逻辑上删除的数据，做闭链处理，即end_time设置为当天；新增的数据，做开新链处理，即新增一条，start_time设置为当天、end_time设置为9999-12-31；背景中，需要从一个数据库获取数据，插入到另一个数据库中，所以使用Python来编写一个调度脚本来操作，而不用纯粹的SQL语句。修改的，执行了闭链、开链操作；第一天，全量同步过来的数据，start_time设置为当天、end_time设置为9999-12-31；最后这张表的效果是，1、查历史上每天的数据都是ok的；
2024-11-11 11:35:35
354
原创 PostgreSQL9.4.26/Greenplum6.19.4下，写SQL语句，解析所有存储过程的文本，得到所涉及的表名、字段名
同理，正则表达式中，--开头，换行符\n结尾，中间的字符按最少量匹配，全局替换为换行符\n，此处出现的E可以不加，效果应该相同，只有使用\\n来表示\n时，才需要加。E'\\n'中，这种的写法，表示将后方引号内的\\n转义为\n，以规避需要使用反斜杠\的情况下带来的歧义。含义是，将“单引号'开头，单引号'结尾，中间的字符不含单双引号”，按最多量匹配，得到的子字符串，替换为空。E'\'[^\'"]*\''→→解析→ →E'\'—[^\'—"]*—\''含义：/*开头，*/结尾，中间的字符按最少量匹配。
2024-11-07 14:50:50
1567
2
原创 mysql创建定时任务（作业）去删除表--创建表--再插入数据
在写定时任务（作业）时，我们想在任务体里面写SQL语句时，“先删除AA表，再创建AA表时放入数据，然后再写一些其他的插入语句”，发现删除表和创建表的语句不能放在里面，否则保存不成功，但是按照下图所示，设置了分界符delimiter $后就正常可以保存了；观察一段时间后，也是正常执行的；AA表也如我们愿、不断地删除、重建；
2023-12-26 22:43:19
493
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人