平均性能提升70%,盖雅工场基于腾讯云数据仓库TCHouse-D构建实时报表平台

mall 电商项目完整部署---实战 mall 后端 SpringBoot,mall‑admin‑web 后台管理 Vue 前端,mall‑app‑sc 移动端 uni‑app 前端;修改数据库、redis、minio、logstash 地址,容器之间 link 别名:mysql 容器别名。🔔排坑:登录报跨域 / 接口报错,检查 prod.env.js 地址,确认 8080 后端服务正常运行。能打开页面,接口列表展示出来,后端部署完成。,所以打包的时候会自动构建镜像,很慢而且你暂时不需要。,容器数据持久化,删除容器数据不会丢失。 阅读详情

点击蓝字⬆ 关注我们

本文共计3569字 预计阅读时长11分钟

导语

腾讯云数据仓库TCHouse-D助力盖雅工场构建了架构简洁、查询高效的报表平台。目前该平台已经支撑了盖雅工场上千个租户的实时报表需求,报表查询时效性整体可达亚秒级,相较原架构,查询耗时平均降低70%,整体开发效率提升50% ,资源成本降低20%,大幅实现了降本提效,深得各业务及数据部门的认可。

作者:盖雅工场技术中台

公司简介

  • 盖雅工场成立于2009年,是一家以「科技让劳动力更高效」为使命的中国科技企业,致力于为全球企业提供智能化劳动力管理云服务。通过覆盖企业人效管理全生命周期的咨询+SaaS软件+运营服务解决方案,助力企业实现人效提升与数字化转型。

  • 目前,盖雅工场的客户分布在全球32个国家与地区,每天为全球1,800余家客户的600余万员工提供盖雅的服务。

  • 盖雅工场专注于解决企业在劳动用工方面的四大问题:「需要多少人」、「实际多少人」、「干得怎么样」、「怎样找到人」,利用科技手段预测劳动力需求并排班,优化调度劳动力安排并补充灵活劳动力,管理多样化劳动力队伍的出勤与时间,分析并提升劳动力效率与销售效能,同时连接劳动力市场中的企业与一线员工,实现降本增效、满意且合规。

业务介绍及早期痛点


聚合报表服务是盖雅工场最核心的数据服务,为上千SaaS租户提供实时报表,覆盖劳动力人员分布、劳动力流动、离职、考勤、薪酬和审批流等关键业务环节。随着盖雅工场全球化业务的推进,聚合报表服务积累了海量数据,上游数据来自近百个MySQL实例,原始库表数量超5万张,然后需要根据不同场景进行实时分析,向B端用户提供人员分布、流动离职、考勤、薪酬和审批流等实时报表,业务报表数量达到数千张。

1. 早期架构

早期使用自建的 TiDB 和 StarRocks 集群进行支持上述需求。

链路1:自建 Data Migration -> TiDB

链路2:自研 Flink CDC +Kafka -> StarRocks

2. 问题和挑战

随着盖雅工场全球化业务的推进,聚合报表服务积累的数据规模越来越大,查询并发也越来越高,为应对不断增长的查询分析诉求,盖雅自建了多套集群,运维成本和资源成本不断提升。但即便这样,在业务高峰期租户集中查询时,还是存在报表服务访问慢等问题,导致客户体验严重受损。

1) 为了应对实时计算任务,自建了多套 Flink + TiDB/StarRocks 集群,整体计算和分析链路长、维护难度大,且集群异常无原厂支持;

2) 性能不足:月底和月初会带来周期性的业务高峰,TiDB 数据库查询严重性能不足,且集群人工扩容流程冗长、扩容过程持续数小时、期间业务读写均受到影响;

3) 开发效率低+缺乏资源隔离:历史 SQL 代码执行效率低,多张表联合查询并通过 SQL 做权限管控,一个租户 SQL 可能占满 TiDB 集群 CPU;

4) 自研的数据同步服务覆盖场景有限:TiDB集群部署较早版本陈旧,与业务侧数据库 MySQL 8.0版本无法完全兼容性,数据同步异常频率较高;自研的 Flink CDC 同步工具覆盖技术场景有限,需不断迭代满足线上场景;

5) 公司 BI 类产品无统一的数据仓库,搭建了多套数仓库,数据没有实现高效共享,存在资源浪费的情况;

选型思路


为降低集群运维成本、提升实时查询效率,盖雅决定引入一款新的实时数仓来搭建新的数据平台,同时希望新的 OLAP 引擎可以具备以下能力:

1)性能强,可以在海量数据场景下实现快速响应;

2)支持高并发查询,可满足日常业务的报表分析需求;

3)支持 Join 操作,可满足不同业务用户灵活多变的分析需求;

4)具备良好的资源隔离能力,降低不同租户间的业务影响;

5)统一数仓构建,运维简单,缩减运维人力的投入和成本的支出,实现降本提效;

6)社区活跃,在使用过程中遇到问题,可迅速得到解决。

综合以上要求,盖雅快速定位了Apache Doris ,Apache Doris具备强悍的多表Join查询能力、高并发能力,完全可以满足盖雅日常的业务报表分析需求。除此之外,Apache Doris可以同时支持实时数据服务、交互数据分析和离线数据处理多种场景,并且架构简单,可有效降低集群运维成本。

同时,盖雅也了解到腾讯云数据仓库 TCHouse-D 这款产品。作为一款云上的实时数仓产品,腾讯云数据仓库TCHouse-D 100%兼容开源Apache Doris,具备企业级的高可用能力,且提供全托管的产品服务,可很方便的进行精细化集群管理、资源快速伸缩、数据备份恢复、异常监控及巡检定位等操作,同时在业务开发过程中TCHouse-D还会提供专家指导,盖雅基本无需关注集群运维,即可快速完成业务开发上线。

另外在数据同步方面, 腾讯云数据仓库TCHouse-D无缝集成了腾讯云WeData的数据集成 ,通过白屏化操作即可高效实现业务库到TCHouse-D的实时数据同步,并支持自动批量建表、字段类型自动映射、高负载情况下自动限流等功能,有效提升迁移效率并保障业务稳定。

新的架构及方案


基于以上优势,盖雅最终选择与腾讯云大数据合作,并采用腾讯云数据仓库 TCHouse-D + 腾讯云 WeData 来搭建新的实时报表体系,架构如下:

源端 MySQL 数据经过 WeData 的数据集成进行自动数据转换后,入库到 TCHouse-D 中进行聚合分析和实时自定义分析。另外为保障数据安全,针对关键业务还创建了主备集群进行容灾,若主集群发生业务问题,可快速切换至备集群,避免长时间业务影响。

数据流向如下图所示:

应用实践


1.库表设计

  • 考勤业务是盖雅产品的核心功能,而考勤中的一个核心点是“时间”,因此在初期设计阶段,为了更好地发挥腾讯云数据仓库 TCHouse-D 的性能,盖雅技术团队结合专家建议,参考以下实践进行了库表设计:

  • Key列选择:将最常用的查询条件字段加到 key 列,区分度越大、频次越高的查询字段越往前放;

  • 分区设置:基于时间创建Range动态分区,提升查询性能的同时,可支持分区的生命周期管理;

  • 分桶设置:先对表的数据量进行预估,视情况配置分桶数,保障每个分桶大小保持在 1-10G 之间;

  • 索引设置-尽量命中前缀索引:最常⽤的查询字段尽量放在表的最前面,以此命中前缀索引;如果不能,放到分桶字段⾥;

  • 索引设置:大基数列(5000以上,如身份证号)进行“in”或者“=”查询时,选择 BloomFilter 索引;

  • 索引设置:非主键列查询,引入倒排索引进行加速;

  • 副本设置:考虑数据安全,副本数设置为3。

2.表原子替换

在考勤月结期间,考勤员为了获得员工本考勤周期最准确的考勤结果,通常会发起批量重算员工考勤记录的操作。由于此场景下业务表无法设定一个增量字段来存储数据,后端的处理动作是先删除历史数据再写入最新数据(亦即批量全删全写),这给 BI 分析师构建员工每日考勤模型带来了相同困境。早期他们采用全删全写,但势必会存在后端在删除、前端客户在查询的现象,造成无法查看数据的异常。

为解决此场景痛点,数据工程师使用“表原子替换”功能,通过 CREATE TABLE LIKE 语句创建一个相同结构的新表,将新数据导入新表后,即可通过替换操作原子替换旧表,过程中实现数据版本的秒级切换,全程对业务透明。类似的场景,在盖雅的业务中还有很多。

----- 创建新表(保留原表结构)
CREATE TABLE new_table LIKE old_table;  


----- 导入新数据(全量):
INSERT INTO new_table SELECT ...;  


----- 原子替换(零中断切换):
ALTER TABLE old_table REPLACE WITH TABLE new_table 
[PROPERTIES("swap" = "true")]

3.数据管理

数据质量的好坏直接决定了数据同步、数据查询的效率,对后续业务实施尤为重要,所以在数据管理方面,盖雅技术中台制定了约束规范:

  • 数据库/表命名:不支持以数字开头,中划线-命名;

  • 数据表主键:必须有独立的主键且主键列长度需<160(注:特殊场景,如业务表无独立主键而是联合主键,联合主键第一个栏位需存储经常变化的数据,且联合主键栏位总数<=3,联合主键栏位总长度需<160)

  • 业务表管理:禁止修改字段名称(包含栏位字母的大小写互换)

  • 数据存储:栏位中存储的数据总长度需<65533字节,如业务库表中存有图片base64、html等超文本的数据,此类的数据表无法进行同步

4.数据同步

使用腾讯云 WeData 进行MySQL数据实时同步,同步过程中无需进行SQL/代码开发,即可自动进行一键自动建表、字段类型映射、数据精度对齐、DML过滤、DDL同步等操作,大幅降低了操作成本,且过程中WeData会实时监控TCHouse-D的集群负载情况,进行自动限速,保障集群健康。

5.数据备份与恢复

使用TCHouse-D的备份恢复功能周期性的将数据导入到对象存储COS中进行备份,避免数据误删除或丢失的情况发生。比如当因某些原因导致Flink同步任务失败、无法从 Checkpoint进行启动时,可读取最新的数据进行同步,历史缺失数据通过外部表进行修复,使得同步任务能够快速恢复。

6.监控告警

将腾讯云产品(腾讯云数据仓库TCHouse-D、WeData数据集成)两类告警接入盖雅飞书,做到实时预警。

另外对于重要的单表,我们还会通过程序进行比对,如比对业务库数据和TCHouse-D的数据,来进行数据质量、报表质量稽查告警。

收益总结


盖雅工场将自建TiDB+StarRocks完全迁移到腾讯云TCHouse-D上,借助其向量化查询、数据预聚合、丰富的索引等方式实现了查询性能的巨大提升,通过TCHouse-D的集群弹性伸缩能力实现快速扩缩容,并配合合理业务拆分+Workload Group资源组的方式对集群内租户进行资源隔离,充分避免不同租户见的资源抢占。配合WeData数据集成,实现全程自动化同步与智能限流,避免集群过载。

1.性能提升:同配置下TCHouse-D 2.0比TiDB查询效率平均提升70%;

2.弹性伸缩:基于全托管的TCHouse-D+专线实现多云统一数据报表,业务高峰快速水平扩缩容。

3.开发运维降本:统一技术栈,标准SQL开发,开发效率提升50%;无需关注集群运维,运维成本大幅降低;

4.成本降低:通过性能优化和架构整合,TCHouse-D对比TiDB+StarRocks节省20%成本。

未来规划


截至目前,盖雅95%的数据分析类业务已迁移至腾讯云数据仓库TCHouse-D,并得到了很好的效果,深得各数据部门、业务部门的认可。未来盖雅将继续深度加强同腾讯云大数据团队的合作,配合产品的不断更新迭代,进一步提升实时数据处理的能力。近期关注的重点能力包括:

  • 部分列更新:减少不必要的数据写入和锁竞争,降低I/O和CPU开销,实现数据更新和查询性能的双重提升;

  • 异步物化视图:空间换时间,支持分区级数据自动增量刷新,进一步提升复杂查询报表的性能;

  • 基于CCR的主备容灾:通过CCR实现主备集群间的实时同步,降低集群综合负载,提升主备容灾的及时性和易用性;

  • 存算分离:升级至腾讯云数据仓库 TCHouse-D的存算分离版本,降本的同时,进一步提升资源弹性、和资源隔离能力,更好的应对业务波峰波谷问题,并提升不同租户间的资源隔离效果。

最后,感谢腾讯云大数据团队,感谢其对问题的快速响应和积极的技术支持。

END

关注腾讯云大数据╳探索数据的无限可能

⏬点击阅读原文

了解更多产品详情

分享给认识的人吧

Switch游戏安装新思路:抛弃Commander One,试试这款免费的Mac神器OpenMTP 本文介绍了Mac用户安装Switch游戏的新选择——免费工具OpenMTP,对比收费软件Commander One,OpenMTP在MTP连接稳定性和文件管理上更具优势。详细解析了OpenMTP的安装配置、核心功能及实战操作,帮助用户高效完成游戏安装,特别适合已破解并安装DBI的Switch用户。 阅读详情

相关推荐

文华财经公式编程:麦语言简介及基础语法

文华财经公式语言(麦语言)是一种专门用于金融领域的编程语言,它是由文华财经公司开发的。提供了丰富的金融计算函数和数据处理功能,可以用于金融市场的数据分析、模型建立和交易策略的开发。例1:A:CLOSE;// 定义变量A为收盘价(盘中k线没有走完的时候A为最新价)。例2:MA5:=MA(C,5);// 定义收盘价的5周期均线(C为CLOSE简写)。例3:A:=REF(C,1);// 取得前一根k线的收盘价。

超哥量化的博客 1万+

腾讯云推出物理AI平台—格物(XPhysis),让AI从理解世界走向改变世界

2026 腾讯全球数字生态大会大数据专场在深圳举行。腾讯云大数据基础产品总经理程彬在会上推出面向 Physical AI 场景的物理 AI 平台——格物(XPhysis):腾讯云把过去一年服务数十家具身与智驾客户的工程实践,沉淀为多模态 AI 数据湖 TCLake,并进一步推出覆盖物理 AI 工程全链路的 TCLake 格物(XPhysis)平台,致力于"让 AI 从理解世界走向改变世界"。

cloudbigdata的博客 157

全局子程序 参数调用

为什么要子程序: 为了实现程序结构化,我们尽量使用不同功能的功能块来实现一些特定的功能, 子程序接口: 使用过程的注意事项,尤其是数组使用时的注意事项 从一个主程序中可以将参数传递到局部或全局子程序和函数中。 怎样传递参数有 2 种方式: 作为 IN 参数 变量值在主程序中保持不变。 这种传递方式也称为“ 值传递 (Call by Value)”。 作为 OUT 参数 子程序读取并更改该值,然后将新值写回到主程序中。 这种传递方式也称为“Call by Reference”。 举例说明 1 DEF MY

Eric_Yang1024的博客 1095

GPU 平台哪家服务更好?智星云、阿里云、腾讯云,从开机前比到项目结束

如果是个人或小团队,主要做短期训练、AI 内容制作和模型验证,:缺货时可以提前配置并预约,遇到问题有 7×24 小时工单,结束实例前也能明确选择是否保留磁盘。已有企业运维体系、需要提前收到维护通知的团队,可以重点比较;已有腾讯云 CVM 环境、希望沿用现有监控和故障处理流程,则可以优先看。三家的服务侧重点不同。客服回复得快、技术人员能定位故障、平台能及时提供替代资源,是三件不同的事。比较时,最好看:缺货时能否安排资源,任务变慢时能否缩小排查范围,项目结束时能否保住数据并停掉不需要的费用。

weixin_38978741的博客 206

Utrust4701F与Utrust2700R读写器在银河麒麟系统的安装及测试步骤说明

Utrust4701F与Utrust2700R读写器支持银河麒麟系统,广泛应用会员管理、支付管理等领域。本文将重点介绍Utrust4701F与Utrust2700R读写器在银河麒麟系统的安装及测试步骤说明。以上方法适用于主流国产操作系统,如 优麒麟(UbuntuKylin)/ 中标麒麟(NeoKylin) / UOS(统信操作系统)/ 中兴新支点 / 红旗 linux(redflag linux)/ 普华 Linux(I-soft OS) / 威科乐恩 Linux(WiOS)等

华翔天诚科技 1834

Sinutrain下载安装与开启OPC UA---kalrry

Sinutrain 开启 OPC UA 本教程只适用于版本,其他版本配置目录有所改变建议安装到默认路径,否则后期修改路径时候容易忽略细节本教程提供安装包为官方包,网上有些非官方包安装后容易出现授权问题,比如授权管理器无法启动,官方技术会建议你重装系统,很多时候是因为安装包非官方包在首次安装前,建议重启一遍系统。

kalrry 1万+

Debian 11/12 安装 Docker 完整教程(官方源 + 腾讯云实测)

本文基于Debian11/12系统,在腾讯云CVM上实测部署Docker官方稳定版。通过添加官方GPG密钥与软件源,安装Docker核心组件,并配置腾讯云镜像加速及日志轮转(单个日志最大100MB,保留3个),有效防止磁盘被日志占满。全程使用Docker官方源,确保版本稳定安全。适用于云服务器或本地环境,若非腾讯云,可跳过镜像加速步骤,替换为其他国内镜像源。

2501_94567985的博客 245

OpenClaw小白安装全攻略:5000字详解,3分钟上手

为什么值得装 OpenClaw?最近科技圈爆火的 OpenClaw(昵称 “小龙虾”),不是普通 AI 聊天工具 —— 它是能本地部署、直接操控电脑的 AI 智能体,相当于给电脑配了个 “全能助手”:整理文件、自动搜资料、写文档、控制浏览器,甚至对接微信 / 飞书发消息,全程不用手动操作。更关键的是:它免费开源、支持全平台,新手不用懂代码,复制粘贴命令就能装,数据存在本地不泄露隐私。截至 2026 年 3 月,GitHub 星标已破 25 万,券商都出研报推荐,上班族、学生党用它提升效率超香!

通俗易懂学IT 1212

域名证书自动化:acme.sh + 腾讯云/七牛 CDN 部署流水线

用 acme.sh 签发一张多 SAN 证书,靠 --reloadcmd 钩子自动部署到腾讯云 CDN 与七牛 CDN,cron 每 6 小时巡检,附验收命令与踩坑记录。

east4ming的博客 113

5、自适应 RBF 神经网络控制方法解析

本文详细解析了基于RBF神经网络的多种自适应控制方法,包括针对函数未知、参数未知以及存在外部干扰的非线性系统的控制策略。通过李雅普诺夫稳定性理论设计自适应律,确保闭环系统稳定,并结合仿真示例和MATLAB代码实现,展示了方法的有效性。文章还对比了不同控制方法的适用场景,并给出了实际应用流程,为复杂系统控制提供了系统性解决方案。

ol789012的博客 75

SM2 是一种国密算法,用于生成密钥对和加解密。下面是 SM2 生成密钥对和加解密的示例代码,使用 Python 语言编写。

在这个函数中,我们使用公钥对数据进行加密,并返回加密后的结果。其中,我们使用了 OAEP 填充方案和 SHA256 哈希算法。SM2 是一种国密算法,用于生成密钥对和加解密。下面是 SM2 生成密钥对和加解密的示例代码,使用 Python 语言编写。首先,我们需要安装 cryptography 库,它包含了 SM2 算法的实现。使用上述代码,我们可以轻松地实现 SM2 密钥对生成和加解密功能。在这个函数中,我们使用私钥对密文进行解密,并返回解密后的明文。接下来,我们定义一个函数。在这个函数中,我们使用。

2301_78484069的博客 1952

腾讯云发布基于第六代AMD EPYC处理器的SA10云服务器实例

AMD EPYC 9006 系列基于全新 “Zen 6” 核心微架构,并采用先进的 2nm 制程技术,最高可提供 256 个核心和 512 个线程,同时支持 16 通道 DDR5 内存、并支持最高 12,800 MT/s MRDIMM 以及 PCIe 6.0,旨在为下一代云计算、企业应用、高性能计算和 AI 工作负载提供更强大的平台基础。这对于 AI 尤其重要。双方的合作不仅聚焦于处理器本身,更覆盖硬件与软件层面的协同优化,以满足通用企业应用、数据库、游戏、广告与推荐,以及 AI 等多样化工作负载的需求。

szqx2025的博客 375

YOLOv11改进策略【卷积层】| arXiv 2025 YOLO-Master中的稀疏混合专家ES-MoE 动态路由提适配 + 稀疏激活降延迟,突破精度-效率权衡

ES-MoE(Efficient Sparse Mixture-of-Experts)是为解决传统YOLO类实时目标检测器的静态计算冗余问题而提出的稀疏混合专家模块。现有YOLO架构对所有输入场景采用统一的密集计算模式,导致简单场景资源浪费、复杂场景(如密集小目标、遮挡场景)计算不足,难以平衡检测精度与推理速度。ES-MoE引入实例条件自适应计算,通过动态路由机制为不同复杂度的输入分配差异化计算资源,突破传统静态架构的精度-效率权衡限制,同时适配实时检测的轻量化需求。

Limiiiing的博客 465

四川大学alkaerr战队夺冠,第三届腾讯云智能攻防挑战赛收官

从开源大模型的底层去审查、自进化的执行系统环境,到端云协同的本地算力部署,再到针对真实业务场景的漏洞挖掘与多智能体协作,专家们带来了多场技术实践分享。过去一年,AI从“能对话”到“会执行”,以WorkBuddy为代表的AI办公智能体,在个人生产力提效方面的价值已经获得充分验证,同时正在加速落地企业,通过构建坚实可信的安全底座,智能体才能跨越单点工具的限制,成为真正可托付的“数字助理”。,第三届腾讯云智能攻防挑战赛,将挑战从自主渗透、复杂网络突破,推进到多Agent同场攻防。智能攻防挑战赛决赛最终排名。

RPA中国 139

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

腾讯云国际站代理商:CVM公网SSH无法访问,从客户端到服务器逐项排查

腾讯云国际站CVM SSH连接失败常见于安全组、防火墙、SSH服务或认证配置问题。需按“网络→安全组→系统防火墙→sshd服务→账号密钥”顺序排查,区分报错类型(如timeout、denied)精准定位。即使安全组放行,仍可能因系统防火墙、端口未监听或密钥错误导致失败。建议通过VNC登录检查配置,使用ss -lntp、systemctl status ssh等命令验证服务状态,并确保sshd_config中允许相应用户登录。

2601_96000280的博客 341

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

企业级智能体平台怎么选:腾讯云ADP与其他主流技术路线的架构对比

智能体上线后谁来评测、谁来监控、谁来迭代?如果平台本身不带AgentOps,你得自己补,补的成本要算进总投入。

Kari11的博客 404

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

2027数据开发工程师校招准备:SQL、数据仓库、项目与证书怎么排优先级?

数据库系统工程师可作为数据库知识的学习方向,云平台认证适合技术栈明确的目标岗位,数据分析类认证则属于补充,不替代工程实践。截至2026年11月12日,2027届通常对应的2026年9—10月秋招集中阶段已经过去。尚未拿到满意录用结果的同学,应同步关注秋招后续批次、补录及2027年春招,具体以企业公告为准。

cspttty的博客 204

ElasticSearch(一)API的使用

elasticsearch的API使用

qq_40358025的博客 225

企业如何同时管理用电安全、电能质量和节能降碳?从异常溯源看施耐德电气EEO的协同管理价值

通过整合电力运行信息,并结合EEO资产健康模块、EEO电能质量模块与EEO能碳管理模块,企业可以围绕设备、回路和负荷建立更连续的分析流程,使不同专业人员能够基于相互关联的数据开展判断。企业需要进一步核对异常出现的时间、涉及的配电回路、生产负荷变化以及设备运行状态,才能判断问题来自正常的生产调整、设备运行异常,还是需要采取措施的电能质量问题。从关键回路的异常排查入手,逐步完善设备数据、专业分析和治理验证流程,企业可以让用电安全、电能质量与节能降碳从分散的管理任务,转变为相互关联的日常运营工作。

科技,技术,行业类博主 188

京东 Apache Doris 湖仓查询优化实践:从多引擎统一到百万级查询

京东基于 Apache Doris 构建统一湖仓查询引擎,支撑日均百万级查询与 PB 级数据扫描。深入解析 Presto、StarRocks 迁移、分区裁剪、Split 调度、向量化执行及 AI Agent 混合负载优化实践。

SelectDB 439

Day3 - Flink 窗口与时间语义:从滚动窗口到迟到数据处理

水位线是一个特殊的时间戳,代表"小于这个时间戳的数据都已经到齐了比如水位线推进到 10:00:05,就告诉 Flink:10:00:05 之前的数据应该都到了,如果还有晚于这个时间到达但时间戳小于 10:00:05 的数据,就是"迟到数据"。窗口大小固定,窗口之间不重叠,数据只属于一个窗口。时间线: 0 10 20 30 40 50 60窗口1: [--------)窗口2: [--------)窗口3: [--------)窗口4: [--------)

YEEMOLY的博客 278

智能问诊的流程

本文介绍基于FastAPI构建的医疗多Agent系统MediAgent,通过症状分析、诊断推理与治疗建议等模块协同,实现从问诊到报告生成的完整工作流。系统采用前后端分离架构,结合MySQL、RabbitMQ与Docker实现工程化部署,支持异步化验结果接入。虽当前状态暂存于内存,但已具备可扩展性,未来可通过Redis持久化、消息队列联动及医疗安全机制完善,应用于慢病管理、辅助决策等场景,推动AI在医疗流程中的落地应用。

Joey 的工作空间~ 788

最新大数据毕业设计选题推荐-基于大数据的快餐营养摄入与运动消耗关联性分析与可视化-大数据-Spark-Hadoop-Bigdata

本文介绍《基于大数据的快餐营养摄入与运动消耗关联性分析与可视化》系统,采用Hadoop+Spark框架实现数据存储与计算,结合Python+Django与Java+Spring Boot双后端,通过MySQL存储数据,前端使用Vue+ElementUI+Echarts完成可视化。系统涵盖营养摄入、消费画像、运动消耗等分析功能,实现快餐订单数据与运动消耗的关联分析,为计算机专业毕业设计提供技术完整、可落地的大数据项目参考。文末可获取源码。

IT研究室的博客 280

大数据与审计专业哪些证书企业比较认可?

大数据与审计专业选证书,首先要明确就业方向:是进入会计师事务所做财务审计,还是进入企业从事内部审计、风险控制,或向数据审计、信息系统审计发展。不同岗位看重的专业能力不同,证书的价值也应放在具体招聘要求中判断。面向2027年的求职与备考规划,值得重点考虑的有六类:初级会计专业技术资格、注册会计师、审计专业技术资格、CDA数据分析师、国际注册内部审计师和国际注册信息系统审计师。选择时,宜采用“财审基础+数据能力+岗位专长”的组合,而不是单纯追求持证数量。

YangYang9YangYan的博客 316

深入浅出聊聊 Linux 的 PageCache 与系统极致性能

本文深入浅出解析了 Linux PageCache 的核心机制,揭示其如何通过“延迟写、预读读”提升系统性能。以监控告警为切入点,阐明 free -h 中 buff/cache 并非真正占用,真正可用内存由 available 决定。结合 Kafka、Elasticsearch、MySQL 等实战场景,说明中间件如何依赖 PageCache 实现极致性能。强调不可手动清理缓存,并建议合理调优脏页参数,避免卡顿。最终指出:内存满≠危机,而是系统高效运行的体现。

小小默:进无止境 527

CentOS7-Elasticsearch8.15.3-Kibana8.15.3-安装部署笔记

Token 有效期只有 30 分钟,请保存好输出的 base64 字符串并尽快完成 Kibana 对接;本文整理自单机离线部署实践,适用于 CentOS 7 + Elasticsearch/Kibana 8.15.3 场景。只对新登录的会话生效,修改后需重新连接 SSH。结尾,其中包含 elastic 用户初始密码、HTTP 层证书等信息。等字段的集群 JSON 信息,即说明账号、HTTPS、证书均正常。安装成功后,终端会打印安全自动配置结果,以。按交互提示输入两次自定义密码。,保存后重启服务器生效。

遇见bug的博客 197
上一篇: 【专家说】杜俭峰:下一代银行数据体系演进
下一篇: 腾讯云大数据TCIceberg亮相Iceberg全球技术峰会
腾讯云大数据
博客等级 码龄6年 348粉丝 220原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值