征集:那些慢得让你崩溃的查询跑批

每日跑批任务耗时性能从六分钟优化到半分钟历程及总结 话说做了一个产品需求上线后,涉及到有一个每日凌晨七点跑批任务,跑批查询出来的待处理订单也就1100单作用,但是耗时却花费了5~6分钟,虽说跑批中,又调用外部服务,但是仅仅在空闲时间,鉴于此情况 我觉得这个跑批任务有优化的空间,伴随着一次次性能优化,最终耗时优化到只需平均20多秒就跑批完毕,鉴于此,写一篇自己的优化过程分享给大家。 一、业务概述 话说我们产品需求有个每日凌晨七点,之所以为什么是定时,还要凌晨七点,那是由于在你跑批之前,中后台也有一步步跑批任务,只有等他们跑完任务,我们才能发起跑批调. 阅读详情

7317f0e81fbe82679044ae878dde9d81.png

特征:SQL编写,无问单机/集群、无问商用/开源、无问大牌/新秀

c10886bb72fb7062abd1b53dd85b4698.png

d8d6628ebc0a23c2dd00cec54113fe0c.png

现在为啥跑不快?

硬件不变,提速关键在于设计出计算量更少的算法。

然后再用程序语言写出来。

可惜,SQL受理论限制写不出这些低复杂度的算法,只能干瞪眼。

43d876384e9631a20bf71e22df71d23e.png

fee2db7d178ba16ee58f06c3a0f7c05f.png

90efe7dfdfa90b290f2657a9676f5b1e.png

854f36062241e60a142a867d7502f4d0.png

那,咋样才能快?

嗯,不能再用SQL了。

但也不能用Java,虽然写得出,但会累死人。

用SPL!简单代码实现高性能计算

ef03bc14c5927e55ee1472a56bfbab17.png

dee1fbe3dd82d418b709862be6a9fbef.png

04239f1b86c1bffa29da6ee8e4d5b33a.png

67ca28486642c3b06cf1794bf7c23a4c.png

SPL是啥?为啥管用?

SPL是一款开源程序语言,专门对付结构化数据计算,我们将数十种高性能算法和存储融入SPL中,提速N倍不是梦!

293007b885ebd6b69139e1dac3f62c6a.png

0fa8cd87f378362e9c3490f00d0754fd.png

0319e244ca1da09842c4f3f20b1be3cd.png

0b33bf04e775e2c334fa317d5ab990c7.png

读书少,表骗我啊

看看这些SPL能做而SQL做不了的性能优化算法

性能优化算法:遍历复用

性能优化算法:TopN

性能优化算法:预关联

性能优化算法:外键序号化

性能优化算法:附表

性能优化算法:单边分堆

性能优化算法:有序分组

......

efc19e9cbd5dd8944d9cf4c31e97bd02.png

6d8a92d0b4d4e95150320915fb946c57.png

ee4899785e1972eeeb0f460abe8139e6.png

6a2dfb027959a37f6ac03cc08710b93e.png

看起来不错,真能用吗?

再看看这些案例,自己算算提速多少倍

开源 SPL 优化银行预计算固定查询成实时灵活查询

开源 SPL 将银行手机账户查询的预先关联变成实时关联

开源 SPL 优化保险公司跑批优从 2 小时到 17 分钟

开源 SPL 提速银行用户画像客群交集计算 200+ 倍

开源 SPL 提速保险公司团保明细单查询 2000+ 倍

......

a0c59a57682cbeaca320ce12b4639805.png

5fb24364ceb8951c53712b420b8fd6a0.png

4bf4dd17fab708922de09d21063e3a8c.png

e39abbbc8c2d7c601b6b7b0e4ac0b8d9.png

要不咱试试?

① 往下看,提供问题信息 
② 详细沟通并少量实验 
③ 设计优化方案

f67344f7b486457fe72e6d8e0fede7b9.png

804e5833bbcecd56c8e9fdb5432be37b.png

提供问题信息

请提供您的性能问题信息,让我们帮您提速N倍!

业务场景问题描述,包括

  • 简单的业务背景

  • 查询或跑批请求的发起条件

  • 执行频率

  • 主要痛点,等等

选择关键的特性指标,准确描述业务场景的价值,包括:

  • 数据量(<1亿,1亿-10亿,10亿-100亿,100亿以上)

  • 并发量

  • 目前关键响应时间(_____秒/分钟/小时)、期望响应时间(_____秒/分钟/小时)

更详细、具体的业务细节,包括:

  • SQL或存储过程脚本范例

  • 运行时间或执行计划

  • 数据库结构、例如设计的表结构和数据量

  • 软硬件环境,例如CPU(型号、主频、核数),内存(大小),磁盘(类型,容量),操作系统及版本,数据仓库型号及版本

  • 以及初步分析的问题症结、已经做过哪些优化尝试,等等

e61065f3383e9b962a62fab08ccbded4.png

准备好这些信息,可以扫描二维码,添加技术人员,让我们共同努力解决头疼的性能问题!

如有任何问题,可以致电 156-5234-5401 联系
或者直接把材料mail到:spl@scudata.com,留下您的联系方式,我们会和您联系。

延伸阅读

1

写着简单跑得又快的数据库语言 SPL

2

快出数量级的性能是怎样炼成的

3

做 SQL 性能优化真是让人干瞪眼

4

如何让 JOIN 跑得更快?

征集发起人

2bc3cef487b91b84adf7dbacf1698826.png

北京数速软件技术有限公司

fa18739db43b60f70f8f6740d3908ce3.png

北京润乾信息系统有限公司

机器学习生产化:从Notebook到系统接管的五大硬骨头 机器学习模型部署不是简单封装API,而是将算法嵌入业务系统的全链路工程实践。其核心在于数据契约显性化、时序敏感性保障、特征与预测漂移监控、弹性降级机制及可审计治理框架。在金融、支付、风控等强SLA场景中,92%的故障源于环境假设失效而非模型本身——如特征延迟、类型静默转换、重试雪崩或Fallback不可观测。本文聚焦真实生产环境中的集成验证、性能压测、漂移归因与合规落地,结合金融机构11个上线案例,提供可直接复用的契约定义、三层延迟优化、三棱镜压力测试与Change-as-Code治理方案。 阅读详情

相关推荐

【多V目标轨迹预测】mmTransformer:Multimodal Motion Prediction with Stacked Transformers (CVPR2021)

mmtransformer

leg143730的博客 2096

mysql跑批有时候快有时候慢_最近进行跑批测试的时候遇到了一些Mysql的异常

最新跑批(1) You can't specify target table 'NPLM_LOAN_CONTRACT' for update in FROM clause进行删除或更新的时候,where条件中不能是自己查自己的条件(不能先select出同一表中的某些值,再update这个表(在同一语句中),即不能依据某字段值做判断再来更新某字段的值)如图,应该给子查询多包一层 (2) '137'...

weixin_34515452的博客 227

Python爬虫实战:无限滚动评论区采集完全指南(Playwright):智能滚动、断点续采、增量更新(附CSV导出 + SQLite持久化存储)!

我长期专注 Python 爬虫工程化实战,主理专栏 👉 《Python爬虫实战》:从采集策略到反爬对抗,从数据清洗到分布式调度,持续输出可复用的方法论与可落地案例。内容主打一个“能跑、能用、能扩展”,让数据价值真正做到——抓得到、洗得净、用得上。

喵手的博客 1070

LangFlow吉祥物征集活动开始啦!

LangFlow作为可视化AI工作流工具,让开发者通过拖拽节点快速构建应用,降低技术门槛,提升协作效率。现正式启动吉祥物征集活动,期待一个能体现其开放、直观与创造力精神的卡通形象,为全球AI开发增添温度与个性。

weixin_36184718的博客 1536

飞腾Ubantu22.04.3安装OpenNebula测试

因OpenneBula官方镜像源只有AMD架构的镜像包不存在ARM的镜像包,借此用源码编译进行测试。

坚持就是胜利的博客 1013

zabbix添加IBM服务器SNMPV3监控

本地采用欧冠的是zabbix5.0,服务器型号是SR860,使用snmpv3因为只支持这个,醉了。说明:本地采用欧冠的是zabbix5.0,服务器型号是SR860。

萌新包大人的博客 1986

聚类特征选择:从业务翻译到距离驱动的实战方法论

聚类分析的核心挑战不在算法选型,而在于特征是否真实承载业务语义。由于缺乏标签监督,传统基于方差、相关性或模型重要性的特征筛选方法极易失效——低方差特征可能是关键预警信号,高相关特征可能揭示深层业务耦合。真正有效的无监督特征工程必须以业务可解释性为第一准则,通过业务驱动分组、结构驱动去冗余(如互信息检测非线性依赖)、距离驱动量化贡献(如扰动实验与距离贡献度),实现从原始字段到稳定、鲁棒、可行动特征集的转化。本文聚焦零售、医疗、制造等多行业实战验证的七步法,覆盖时间序列切割、类别型特征编码、长尾分布标准化及动态

weixin_33853827的博客 330

2023年5月青少年软件编程Python等级考试四级真题(含答案和解析)

电子学会,2023年5月,青少年软件编程,Python等级考试,四级真题(含答案和解析)

m0_37554648的博客 905

代码是上午写的,人是下午被开除的

上一篇:面试官是自己前女友,全程被拷问~俗话说得好,“代码写的少,离职少不了”。最近畅游互联网,发现一些离职小技巧,读后,内心被深深地打动了……但是,细细品过之后,发现对我们程序员不太适用了。例如:领导夹菜你转桌,我们程序员一般不和领导在一桌;领导开门你上车,咱程序员都是坐班,一般不出差,出差一般也领导开车;领导 K 歌你切歌,哦~ KTV 唱歌,我一般都躲在角落;领导敬酒你不喝,……;领导听牌你...

Java和Android架构 117

FFmpeg魔改指南:让RTMP协议完美兼容H265的三种方法(含SRS适配技巧)

本文详细介绍了三种让RTMP协议兼容H265编码的FFmpeg魔改方案,包括基于官方补丁的标准改造、Intel的SVT-HEVC集成方案以及金山云的自定义扩展方案。文章重点解析了各方案的实现原理与适配技巧,并提供了在SRS 6.0服务器上进行深度配置和性能调优的完整实战指南,帮助开发者解决H265推流至传统RTMP服务器的兼容性问题。

weixin_29290947的博客 198

HFSS螺旋线圈的设计与仿真

undefined.全局变量在这里进行设置:Project/Project Properties, browse and setup the global variables.undefined.方程中的局部变量设置:HFSS/Design Properties, browse and setup the local variables。按照下图填写曲线的方程内容:fill the parameters according to the setup in the following picture。

johnboat的专栏 3847

软件体系架构课下作业04

  作业要求:阅读《大型网站技术架构:核心原理与案例分析》第五、六、七章,结合《某大型需求征集网站》,分析如何增加相应功能,提高系统的可用性和易用性,撰写一篇1500字左右的博客阐述你的观点。   网站的可用性描述了网站可正常访问的特性,相比于其他的五种特性,网站的可用性十分基础,但却更为关键,称得上是一个网站的立身之本。可用性指标是评价一个网站架构设计的重要指标,它是对网站性能的基本要求...

weixin_30248399的博客 88

Hive数据仓库分层架构实战:4层黄金模型×6大业务场景×万亿级数据优化方案

根据《2023数据中台成熟度报告》,‌78%的ETL任务性能瓶颈‌源于分层设计不合理。本文基于某头部电商平台PB级数据仓库建设经验,结合金融风控、用户画像、实时大屏等核心场景,深度解析‌ODS→DWD→DWS→ADS‌四层架构设计原则,揭秘‌万亿级数据治理方案‌与‌维度建模20大避坑策略‌。

优快云博客专家,领域包括但不限于:AI、大数据、Python、架构师,有合作、课程、问题、疑惑请私信博主 1487

Unity属性锁死原理与四类典型场景排查指南

Unity中的‘属性灰化’并非Bug,而是序列化系统基于所有权判定的保护机制。其本质源于Asset引用管理、Prefab继承链、ScriptableObject生命周期及Inspector重绘时机等底层原理。该机制保障了多层级协作中数据一致性与可追溯性,技术价值体现在防止误覆盖、支持变体分发、维护引用完整性等方面。典型应用场景包括Prefab实例参数调优、策划配置表修改、TA材质参数调试、SO驱动的游戏配置热更等。本文深入剖析Prefab覆盖、Missing Script、ScriptableObject引

weixin_33725807的博客 582

CloudCompare 二次开发:插件中的 PCL 环境配置与编程

在进行 CloudCompare 的二次开发过程中,我们常常需要使用点云库(Point Cloud Library,简称 PCL)来处理和分析点云数据。在 CloudCompare 的界面中,选中一个点云对象,然后点击菜单栏中的 “插件” -> “MyPluginAction”。插件将对选中的点云对象进行体素滤波处理,并更新显示结果。下面我们将展示一个简单的插件编程示例,该示例使用 PCL 对输入的点云数据进行体素滤波处理。方法进行体素滤波处理,并将结果点云赋值给选中的点云对象。文件并点击 “打开”。

2301_79331387的博客 284

apple游客下单逆向分析

Apple游客下单Cookies注册激活流程逆向分析与算法实现

吴秋霖的博客 2004

Azure Synapse实战指南:构建企业级可落地数据中枢

数据中枢是现代数据平台的核心范式,指通过统一元数据、共享计算资源与一致权限体系,实现结构化与非结构化数据的融合处理。其技术原理在于解耦存储与计算,依托Serverless SQL、Dedicated MPP和Spark三层引擎协同调度,并通过ADLS Gen2实现数据虚拟化。这种架构显著提升数据一致性、降低运维复杂度,并支撑实时分析、机器学习与BI自助服务等关键场景。Azure Synapse正是这一理念的工程化落地代表,尤其在确定性执行、跨工具治理与Azure原生集成方面具备独特优势,成为替代烟囱式架构与

weixin_34185320的博客 316

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

机器学习生产化:从模型上线到系统稳定性的工程实践

机器学习模型部署不是算法落地的终点,而是系统工程的起点。在真实业务场景中,模型需面对数据漂移、服务依赖、低延迟约束与高可用要求等多重挑战。其核心已从数学正确性转向系统稳定性、可解释性与可审计性。关键技术价值体现在保障毫秒级响应(如反欺诈<30ms)、构建特征-模型-决策全链路可观测性、实现故障时的优雅降级与自动归因。典型应用场景覆盖金融风控、实时推荐与医疗AI等高后果领域。本文基于Towards AI实战经验,深入拆解生产级ML系统的集成、性能、监控与治理四大支柱。

weixin_34192816的博客 356

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

端侧AI风控模型:隐私优先的轻量级信用评估实践

端侧AI推理是将机器学习模型部署在用户设备本地执行的技术范式,其核心原理在于通过模型压缩、量化与硬件适配,在资源受限终端实现低延迟、低功耗、高隐私的实时决策。相比云端推理,它规避了数据上传风险与网络依赖,显著提升合规性与用户体验。该技术已在金融风控领域形成关键价值——尤其适用于需满足GDPR、CCPA及国内《个人信息保护法》的场景。典型应用包括移动端信用评分、实时反欺诈、离线身份核验等。本文聚焦Android平台,结合TensorFlow Lite与CS230课程知识,详解如何将深度学习模型压缩至500KB

weixin_33851429的博客 872

特征筛选实战:数据工程师的上线前强制安检

特征筛选(Feature Selection)是机器学习工程落地的关键前置环节,其本质是在保障模型性能与业务可解释性的前提下,对高维原始特征进行字段级裁剪。不同于PCA等降维技术的数学投影,它直面数据质量差、计算资源紧、监管合规严、业务逻辑强等真实约束。通过缺失诊断、IV值评估、相关性分析、树模型重要性排序等组合策略,可快速将数百维宽表压缩至数十维可用特征集,显著降低训练耗时、存储开销与线上延迟。本文聚焦金融风控、智能配送、保险核保等典型场景,融合IV值、方差阈值、permutation importanc

weixin_30530939的博客 347

行业视角解读:国产 KES 数据库智能运维发展趋势——大赛来袭,你准备好了吗?

数据库运维这件事,说它没变也对,说它天翻地覆了也对。说没变,是因为 DBA 们半夜被报警叫起来、对着慢查询日志一行行翻、在老板"到底什么时候能恢复"的连环追问中手忙脚乱——这些场景二十年前有,现在依然有。说天翻地覆,是因为 2026 年的国产数据库运维,正在经历一场从"人扛"到"系统扛"的结构性切换。而电科金仓最近搞的一场,恰好提供了一个难得的观察窗口——八条赛道、一个知识图谱底座、面向全社会征集方案。大赛本身只是个活动,但它折射出来的行业信号,值得认真聊聊。

libaike111的博客 374

程序员诊疗所:专治玄学报错

《程序员诊疗所:奇葩报错欢乐指南》用幽默视角解析那些让人抓狂的程序bug,提供系统化解决方案。文章将报错分为硬件玄学(如USB设备导致崩溃)、依赖环境幽灵(Docker时区问题)、语言特性陷阱(JavaScript的0.1+0.3≠0.4)等类别,通过真实案例演示如何用症状观察法、隔离诊断术等技巧快速定位问题,并给出防御性编程建议。最后倡导将报错视为成长机会的调试心态,附赠《调试九法》等实用书单。文末设有"最奇葩报错"互动征集区,让程序员们在会心一笑中提升排错能力。

weixin_53063102的博客 452

JIRA官方:缺陷与事务跟踪

快速跟踪软件缺陷 JIRA的网站页面使测试人员能够快速报告、管理、跟踪缺陷。使用键盘快捷键可以很容易地导航和修改问题。你还可以从IDE直接访问JIRA问题或者通过其它各种桌面客户端、手机客户端、浏览器插件等访问JIRA。 你的个人面板 你可以配置你的个人面板,显示分配给我的问题、查看最近活动或相关问题状态。JIRA支持OpenSoc...

weixin_30544657的博客 608

AWS机器学习工程化:SageMaker流水线实战指南

机器学习工程化是将模型从实验环境可靠、可重复、可持续交付至生产系统的技术体系。其核心在于构建端到端的MLOps流水线,涵盖特征管理、训练编排、模型监控与可解释性保障等关键环节。技术价值体现在提升交付效率、保障数据与模型一致性、降低运维成本并满足合规审计要求。典型应用场景包括金融风控建模、电商实时推荐、供应链销量预测等需高频迭代与强稳定性保障的业务系统。本文基于AWS re:Invent 2020发布的SageMaker Pipelines与Feature Store等能力,深入解析如何落地‘流水线为中心’的

weixin_30983353的博客 318

【金猿产品展】诸葛io:开箱即用的数据分析SaaS工具

诸葛io产品本产品由诸葛io投递数据猿参与评选,更多关于【金猿榜/奖·2019征集评选】的相关信息,请点击这里了解详情丨征案例、征文章、征产品=评企业、评人物、评产品。大数据产业创新服...

数据猿 494

【程序员节征文写作指南】:3大技巧助你打造爆款技术故事

掌握程序员节征文活动技术故事投稿技巧,轻松提升稿件吸引力。本文分享选题定位、叙事结构与技术深度平衡三大实用技巧,适用于个人成长、项目复盘等场景,助力写出打动评委的爆款文章。值得收藏!

BytePulse的博客 395
上一篇: 如何保证数据库和缓存双写一致性?
下一篇: 新来了个技术总监:谁再在 POJO 中使用基本数据类型,以后就不用来了!
公众号-芋道源码
博客等级 码龄10年 1640粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值