存算分离,性能跃升:盖雅工场TCHouse-D 3.0升级实现查询效率再提升60%

mall 电商项目完整部署---实战 mall 后端 SpringBoot,mall‑admin‑web 后台管理 Vue 前端,mall‑app‑sc 移动端 uni‑app 前端;修改数据库、redis、minio、logstash 地址,容器之间 link 别名:mysql 容器别名。🔔排坑:登录报跨域 / 接口报错,检查 prod.env.js 地址,确认 8080 后端服务正常运行。能打开页面,接口列表展示出来,后端部署完成。,所以打包的时候会自动构建镜像,很慢而且你暂时不需要。,容器数据持久化,删除容器数据不会丢失。 阅读详情
作者:  盖雅工程技术中心

一、导语

随着业务规模的快速扩张,盖雅工场面临不断增长的数据规模与越发复杂的实时分析需求等业务挑战。线上运行着的腾讯云 TCHouse-D 2.0 数仓集群面临了极大的压力(计算资源缺乏有效隔离,高峰时段常出现报表查询响应迟滞、性能下降等问题,常规的通过增加临时资源,又存在查询中断、数据异常等异常),导致客户体验严重受损。为解决上述问题,近期盖雅技术团队顺利完成了从腾讯云 TCHouse-D 2.0 数仓升级到 3.0。

目前该平台已经支撑了盖雅工场 上千个租户 的实时报表需求,报表查询时效性整体可达亚秒级,相较2.0架构,查询耗时平均降低 60%,资源成本降低20%,大幅实现了降本提效,深得各业务及数据部门的认可。

二、公司介绍

盖雅工场是一家以「 科技让劳动力更高效 」为使命的中国科技企业,致力于为全球企业提供智能化劳动力管理云服务。通过覆盖企业人效管理全生命周期的 咨询+SaaS软件+运营服务 解决方案,助力企业实现人效提升与数字化转型。

依托「人效九宫格」方法论,盖雅工场围绕企业用工四大核心命题——「需要多少人」「实际多少人」「干得怎么样」「怎样找到人」,构建了全场景产品矩阵:

  • 通过智能排班云实现AI驱动的劳动力预测与灵活调度;
  • 借助实时考勤云与精益工时云精准管控工时成本;
  • 利用激励性薪酬与即时支付系统激发员工效能、通过人效洞察看板掌握实时人效状态;
  • 结合零工管家云与岗位外包服务打通灵活用工生态。同时,通过人效诊断培训与数字化监测服务,为企业提供从战略到落地的闭环支持。

技术层面,盖雅工场以AI+ML智能排班引擎为核心,通过毫秒级分布式计算引擎支撑海量数据处理,并依托多语言、多时段、多币种架构服务全球客户。

在生态层面,盖雅坚持关键零组件战略,通过盖雅I/O 平台和 OpenAPI 平台对接上下游厂商,涵盖核心人事、薪酬、绩效、协同、员工体验、硬件设备等领域头部厂商,为客户一同打造无缝链接的优质体验。

从理念传播到技术赋能,从运营服务到生态整合,盖雅工场始终聚焦劳动力管理的「降本、增效、合规、体验」,现已为超过34个国家与地区的1800多家企业提供全链路人效提升价值。

三、业务介绍及痛点

聚合报表服务作为盖雅工场的核心数据服务,为数千家企业级 SaaS 租户提供高并发、低延迟的实时报表分析能力。其全面覆盖劳动力人员结构、动态流动、考勤核算、薪酬计算、离职分析及审批流程等关键业务环节,为企业运营决策提供实时、准确的数据支撑。随着盖雅工场全球化业务的持续扩展,聚合报表服务承载了近百个 MySQL 实例、超五万张表的数据处理与整合。当前 TCHouse-D 2.0 架构存在资源弹性不足、租户资源竞争、存算耦合难以扩展及缺乏物化视图等核心瓶颈,导致高峰响应延迟、资源利用率低与复杂查询性能不佳等问题,影响了客户服务体验与业务发展。

1)初期架构

初期使用自建的 TiDB 和 StarRocks 集群支持上述业务需求,共有两条链路。

链路1:自建 Data Migration -> TiDB

链路2:自研 Flink CDC +Kafka -> StarRocks

2)2.0架构

随着业务高速发展,盖雅基于原有自建方案平滑升级到 TCHouse-D 2.0。源端 MySQL 数据经过 WeData 的数据集成进行自动数据转换后,入库到 TCHouse-D 中进行聚合分析和实时自定义分析。同时为提升业务连续性,还对关键业务部署了主备双集群容灾方案。当主集群发生故障时,可自动或手动快速切换至备用集群,最大限度缩短业务中断时间,确保数据安全和服务高可用。

3)问题和挑战

随着盖雅工场全球化业务的推进,聚合报表服务积累的数据规模越来越大,查询并发量也随之攀升。在月结等周期性业务场景中,客户业务呈现显著的波峰波谷特征。同时,由于不同客户间的计算资源缺乏有效隔离,高峰时段常出现报表查询响应迟滞、性能下降等问题,导致客户体验严重受损。

  1. 在月结、定时查询等场景中,业务会有显著的波峰波谷,资源需求存在时空差异。现有架构缺乏横向和纵向弹性伸缩能力,难以动态匹配资源需求。这直接导致业务高峰时响应速度下降,低谷时资源闲置,整体服务体验与效率受到制约。
  2. 在当前架构下,由于缺少有效的租户级资源隔离机制,不同租户的计算任务在业务高峰期会集中调度至同一计算组,引发资源竞争。这种资源争抢会导致关键查询任务延迟增加、响应时间波动,进而影响整体服务的性能稳定性和查询效率。同时,也对实时同步链路带来侵害(数据延迟、任务中断)。
  3. 目前为存算一体架构,该架构下计算与存储资源紧耦合,难以根据业务负载的变化实现独立、灵活的扩缩容,在计算密集型业务场景下回造成存储资源的浪费。存储资源不能独立扩展和按需配置,长期来看提升总体成本,并降低系统整体的资源利用率与稳定性。资源的升降配动作,面临着集群不可用状况,造成数据同步任务中断、数据查询异常。
  4. 在当前架构下,由于缺乏物化视图功能,系统在面对大数据量下的复杂分析查询时存在显著的性能瓶颈。复杂查询(尤其是涉及聚合、多表关联的操作)无法借助预计算机制进行加速,每次请求均需进行全量计算与数据扫描,导致查询响应时间普遍延长至分钟级,难以满足实时交互的业务要求。

四、选型思路

为降低集群运维成本、提升实时查询效率,支持高并发下的多维度即席分析能力。盖雅决定引入新的高性能 OLAP 分析型数据仓库来解决越发灵活的查询场景,针对场景的 OLAP 引擎需要满足以下技术特性:

  • 性能强,能够对灵活随机的查询逻辑,对于条件、聚合、关联等查询逻辑都有比较良好的性能支持;
  • 支持高并发查询,开放式系统支持满足数百租户并发的常业务分析需求和洞察报表需求;
  • 分布式结构,能支持海量数据的场景,也易于扩展规模应对数据增长;
  • 具备良好的资源隔离能力,同时支持软隔离和硬隔离,软隔离降低不同租户间的业务影响,硬隔离确保读写查的操作相互之间互不影响;
  • 低 SQL 改造成本,原本在 MySQL 中的查询 SQL 尽量少改造,甚至不改造就能查询,并且还兼顾有很好的性能优化表现;
  • 支持灵活资源弹性,高峰期可以弹性增加某个租户下的资源量,灵活应对月结等场景;
  • 存算分离架构,减少存储和集成任务的冗余,简化架构的同时还减轻对上游的压力;
  • 统一数仓构建,运维简单,缩减运维人力的投入和成本的支出,实现降本提效;
  • Apache 顶级项目,社区活跃,有广泛的用户使用经验基础。

随着盖雅业务规模持续扩张、查询场景愈发灵活,为进一步降低集群运维成本、提升实时查询效率、强化高并发多维度即席分析能力,同时全面匹配分布式扩展、资源隔离、SQL 兼容、弹性伸缩、存算分离、统一数仓等核心技术诉求,盖雅决定将 Doris 从 2.0 升级至 3.0 版本。

存算分离架构可减少存储冗余、简化技术栈、减轻上游压力;资源隔离能力,既能降低多租户间业务干扰,又能保障读写查操作互不影响;灵活的资源弹性扩缩,可轻松应对月结等高峰期流量波动;同时进一步优化查询性能与 SQL 兼容性,让原有 MySQL 查询语句几乎无需改造即可高效运行,搭配更简洁的统一数仓构建与运维体系,显著缩减人力投入与运维成本。全面支撑盖雅多租户高并发报表分析与业务洞察需求,实现性能、稳定性、成本、运维效率的全方位提升,为后续业务高速增长提供更强大的数仓底座。

此外,在公有云生态位面,腾讯云 WeData 提供腾讯云数据仓库的数据集成能力,通过白屏化操作即可高效实现业务库到Doris的实时数据同步,并支持自动批量建表、字段类型自动映射、高负载情况下自动限流等功能,有效提升迁移效率并保障业务稳定。

五、新的架构及方案

腾讯云在2025年在 TCHouse-D 2.0 的基础上,推出了云原生存算分离的新架构(TCHouse-D 3.0)。TCHouse-D 3.0 存算分离版适用的典型业务场景如下:

  1. 成本敏感的海量数据存储场景:如果业务数据量达到 PB 级,或者需要存储大量的历史冷数据,存算分离版本是首选。
  2. 具有明显“波峰波谷”的弹性负载场景:例如电商大促(双 11)、直播高峰、金融日终结算等场景。
  3. 多业务负载隔离(多租户场景):当公司内部有多个部门(如营销、财务、风控)共享同一套数据时。
  4. 湖仓一体与联邦查询加速:已经有大量数据存储在数据湖(Hive, Hudi, Iceberg)中,TCHouse-D 3.0 存算分离版可以作为高性能的计算引擎,直接对接现有的对象存储基座。
  5. 读写分离场景:在实时数仓中,高频的数据写入(Insert/Routine Load)往往会抢占查询业务的资源,需要通过读写分离的方式,保障查询性能不受影响。

盖雅升级到 TCHouse-D 3.0 后,WFM 数仓应用架构图如下,在一份数据的基础上,通过不同的计算组做到资源隔离,保证写入、ETL、查询三者之间相互不影响。

  1. 数据共享:避免数据冗余:多集群共享底层对象存储,均可访问底层数据,避免了冗余数据存储;单位存储成本下降:基于对象存储本身的高可靠性,TCHouse-D 3.0版无需在分布式数仓系统中维护数据副本,同时,也无需预设存储容量大小,按实际使用量付费,因此3.0版本的单位存储成本大幅下降。
  2. 计算隔离:多集群之间的计算资源是完全独立的,可用于隔离不同的工作负载。每个集群可以按需购买不同规格的计算和本地缓存资源,并根据业务负载进行自动弹性。例如:常驻计算组 A 专门承载来自 MySQL 业务库的实时写入负载,而查询负载则分发到弹性计算组 C;计算组 C 可根据月结期间的业务负载高峰进行灵活的升降配,且升配的期间不影响计算组A的实时写入;
  3. 多读多写:多集群在数据读写方面具有独立对等的特性,能够并行写入数据。例如:常驻计算组 A 和 B 均可以写入数据,且一旦数据提交生效,所有集群均可立即查询到最新的数据。同时,计算组A配置了主动同步预热的功能,可以自动将最新的写入数据直接同步到计算组 C 的本地缓存,避免了计算组 C 去远端对象存储读书节的性能损耗,有效提升了计算组 C 的查询性能;
  4. 灵活弹性:在这个架构下,可随时拉起新的专有计算组,为战略客户提供极致的使用体验;当业务波峰波谷呈现强周期性时,可为计算资源配置分时弹性和规则弹性,以进一步提升资源利用率。

点击查看更多腾讯云 TCHouse 3.0 官网详情:腾讯云数据仓库 TCHouse-D 存算分离操作指南-文档中心-腾讯云

六、应用实践

1、引入物化视图,增量刷新,降低高峰期计算压力

腾讯云数仓 TCHouse-D 3.0 对物化视图能力进行持续演进,通过同步与异步两种模式,覆盖了从实时聚合到复杂建模的全场景需求:

  • 同步物化视图(强一致单表模式):核心定位为“实时预计算引擎”。数据随基表同步写入,确保强一致性与零维护成本。该模式专为单表高频、固定维度的聚合分析场景设计,通过预聚合大幅降低查询延迟。
  • 异步物化视图(多表模式):核心定位为“复杂查询加速器”。支持多表 Join 与自定义刷新策略,实现最终一致性。针对超大规模数据,支持分区级增量刷新,显著降低 I/O 开销。该模式是多表关联加速、近实时报表及简化 ETL 链路的理想选择。

在 TCHouse-D 2.0 中,盖雅通过 Dolphin Scheduler 的调度工具,定时调度 ETL 作业,为下游系统准备数据。升级到 TCHouse-D 3.0 之后,针对一些 BI 分析类业务,如“人效洞察”等,采用异步物化视图的方式,来替代之前复杂的 ETL 调度任务,不仅大幅简化了处理过程,还大幅提升了 ETL 的执行效率。

数据处理流程图如下:

典型业务 SQL:

select tt1.personid,
sum(case when classcode='L01' then payhours else 0 end )    '出差',
sum(case when classcode='A02' then payhours else 0 end )    '调休假',
sum(case when classcode='C01' then payhours else 0 end ) '事假',
sum(case when classcode='B01' then payhours else 0 end ) '病假'   ,
sum(case when classcode='A03' then payhours else 0 end ) '婚假',
sum(case when classcode='A06' then payhours else 0 end ) '产假',
sum(case when classcode='A10' then payhours else 0 end ) '工伤假',
sum(case when classcode='J01' then payhours else 0 end )+
sum(case when classcode='J02' then payhours else 0 end )+
sum(case when classcode='J05' then payhours else 0 end )+
sum(case when classcode='K01' then payhours else 0 end ) '年假',
sum(case when classcode='A08' then payhours else 0 end ) '护理假',
sum(case when classcode='A20' then payhours else 0 end ) '路程假',
sum(case when classcode='A04' then payhours else 0 end ) '丧假',
sum(case when classcode='A30' then payhours else 0 end ) '社会活动假',
sum(case when classcode='A12' then payhours else 0 end ) '探亲假',
sum(case when classcode='A05' then payhours else 0 end ) '产检假',
sum(case when classcode='A21' then payhours else 0 end ) '育儿假',
sum(case when classcode='A29' then payhours else 0 end ) '独生子女陪护假',
sum(case when classcode='D01' then payhours else 0 end ) '平时加班',
sum(case when classcode='D02' then payhours else 0 end ) '假日加班',
sum(case when classcode='D03' then payhours else 0 end ) '节日加班',
sum(case when classcode='E02' then payhours else 0 end ) '夜班天数小',
sum(case when classcode='E01' then payhours else 0 end ) '夜班天数大',
sum(case when classcode='I07' then payhours else 0 end ) '实际出勤',
sum(case when classcode='I13' then payhours else 0 end ) '实际出勤工时',
sum(case when classcode='H01' then payhours else 0 end ) '旷工天数',
sum(case when classcode='I11'  then payhours else 0 end ) '应出勤',
sum(case when classcode='D07'  then payhours else 0 end ) '应兑现'
from gaiatest.atdpersonpaycode tt1
inner join gaiatest.atd_attendance_class tt2 
on tt1.paycode=tt2.id
GROUP BY tt1.personid

在考勤月结的业务高峰期,考勤员需通过批量重算来确保员工本考勤周期的结果准确性。由于该业务 SQL 逻辑复杂且数据规模庞大,高频的大规模计算不仅导致查询延迟高,更会引发严重的计算资源争抢,在业务波峰阶段给系统稳定性带来了巨大压力。

为破解这一瓶颈,我们引入了 TCHouse-D 3.0 的异步物化视图方案。首先,在存储层通过按月分区实现按分区的增量刷新;其次,将复杂的业务逻辑计算下沉至物化视图,并配置 5 分钟精度的微批增量刷新。 这一改进将复杂的实时计算转化为轻量级的预取操作,使查询耗时从 3s+ 骤降至 200 ms,在实现性能 15 倍提升的同时,极大地降低了 CPU 与 IO 资源的负载。

改造成异步物化视图后:

create materialized view Monthly_attendance_results 
REFRESH COMPLETE ON SCHEDULE EVERY 5 minute
DISTRIBUTED BY HASH(personid) BUCKETS 3
PROPERTIES 
("enable_nondeterministic_function" = "true") 
as 
select tt1.personid,
sum(case when classcode='L01' then payhours else 0 end )	'出差',
sum(case when classcode='A02' then payhours else 0 end )	'调休假',
sum(case when classcode='C01' then payhours else 0 end ) '事假',
sum(case when classcode='B01' then payhours else 0 end ) '病假'	,
sum(case when classcode='A03' then payhours else 0 end ) '婚假',
sum(case when classcode='A06' then payhours else 0 end ) '产假',
sum(case when classcode='A10' then payhours else 0 end ) '工伤假',
sum(case when classcode='J01' then payhours else 0 end )+
sum(case when classcode='J02' then payhours else 0 end )+
sum(case when classcode='J05' then payhours else 0 end )+
sum(case when classcode='K01' then payhours else 0 end ) '年假',
sum(case when classcode='A08' then payhours else 0 end ) '护理假',
sum(case when classcode='A20' then payhours else 0 end ) '路程假',
sum(case when classcode='A04' then payhours else 0 end ) '丧假',
sum(case when classcode='A30' then payhours else 0 end ) '社会活动假',
sum(case when classcode='A12' then payhours else 0 end ) '探亲假',
sum(case when classcode='A05' then payhours else 0 end ) '产检假',
sum(case when classcode='A21' then payhours else 0 end ) '育儿假',
sum(case when classcode='A29' then payhours else 0 end ) '独生子女陪护假',
sum(case when classcode='D01' then payhours else 0 end ) '平时加班',
sum(case when classcode='D02' then payhours else 0 end ) '假日加班',
sum(case when classcode='D03' then payhours else 0 end ) '节日加班',
sum(case when classcode='E02' then payhours else 0 end ) '夜班天数小',
sum(case when classcode='E01' then payhours else 0 end ) '夜班天数大',
sum(case when classcode='I07' then payhours else 0 end ) '实际出勤',
sum(case when classcode='I13' then payhours else 0 end ) '实际出勤工时',
sum(case when classcode='H01' then payhours else 0 end ) '旷工天数',
sum(case when classcode='I11'  then payhours else 0 end ) '应出勤',
sum(case when classcode='D07'  then payhours else 0 end ) '应兑现'
from gaiatest.atdpersonpaycode tt1
inner join gaiatest.atd_attendance_class tt2 
on tt1.paycode=tt2.id
GROUP BY tt1.personid;

2、存算分离架构下,系统不仅具备良好的弹性伸缩能力,还需针对查询延迟敏感型业务进行优化,确保查询性能不降级

TCHouse-D 3.0 全新的存算分离架构,确保了计算层和存储层都能独立缩扩容,互不干扰。当弹起新的计算节点时,由于计算节点不再存储持久化数据(仅存储本地缓存),新增节点时无需经历漫长的数据副本均衡(Rebalance)过程,即刻就可以参与计算。这与TCHouse-D 2.0 存算一体模式核心的差异在于从“数据迁移”转变为“元数据迁移+按需拉取”。

为避免水平扩容后漫长的数据副本均衡过程,盖雅在 TCHouse-D 2.0 期间主要通过垂直升配来提升集群的处理能力,通常升配过程需要 10 分钟左右,升配结束后恢复实时数据同步链路,还需要大约20分钟左右来追齐数据。升级到 TCHouse-D 3.0 之后,一方面可以通过读写分离的方式,来规避变配对实时写入的影响;另一方面,也通过 3.0 基于负载自动弹性伸缩的能力,轻松应对业务负载的变化,大幅降低人工介入的运维压力。

虽然 TCHouse-D 3.0 存算分离架构支持按需拉取,但远端 I/O 带来的延迟明显高于本地 Cache 命中。为了高效利用有限的本地缓存,TCHouse-D 3.0 采用了 LRU/TTL 等一系列的精细化管理算法。同时还提供“查询触发”、“导入同步”、“主动预热”等方式让数据直接进入本地缓存。其中,“多集群间预热”在多集群(Multi-Cluster)场景下,可以将集群A的热点信息同步给新创建的集群B,让 B 快速从远端加载热数据,消除“冷启动”瓶颈。

譬如盖雅考勤月结业务,对查询响应耗时要求十分极致,在业务峰值期间根据负载情况自适应弹性扩容计算节点时,系统必须在应对流量陡增的同时,确保查询性能“零损耗”。这就要求新扩容的空节点能够实现热数据的快速迁入(Cache Rebalance)与预热,以消除冷启动带来的性能抖动。针对该类极致性能场景,腾讯云数仓 TCHouse-D 研发团队对内核级Cache Rebalance机制进行了深度优化。通过引入异步并发批处理技术,优化了缓存搬迁任务的调度算法。这一改进显著缩短了新节点上线后的数据预热周期,尤其在海量缓存场景下,数据就绪效率实现跃升,确保了集群扩容后的性能平滑过渡。在盖雅生产环境的实测验证中,这一系列优化使缓存重平衡效率提升了 6 倍以上,确保了在业务波峰弹性扩容时,查询性能能够实现平滑无感过渡。

七、收益总结

盖雅在腾讯云 TCHouse-D 2.0 基础上无缝升级至 3.0 版本,依托其全新存算分离架构、软硬结合的资源隔离能力与优化的查询引擎,实现了数仓性能与运维效率的双重飞跃。通过原生支持的弹性资源调度,精准匹配月结等高并发峰值需求,结合进一步增强的 MySQL 协议兼容性,最大化复用存量 SQL 资产,配合全托管模式下的智能运维能力,大幅释放人力成本。

  • 性能再提升:基于 3.0 优化的执行引擎,在多表关联、复杂聚合及高并发即席分析场景下,查询效率较 2.0 版本显著提升,实时性表现更为优异;
  • 极致弹性伸缩:依托存算分离架构,实现计算资源与存储资源的独立弹性扩缩,月结等高峰期可秒级扩容租户资源,潮汐效应下成本控制更精准;
  • 运维与开发提效:完善的资源隔离能力简化了租户管理复杂度,近乎零改造的 SQL 兼容特性进一步提升开发效率,全托管模式下大幅简化运维复杂度;
  • 架构与成本优化:通过存算分离优化存储冗余,结合架构统一与资源按需分配,对比 2.0 版本进一步降低整体集群成本,实现降本提效的最大化。

八、未来规划

截止目前,盖雅大部分数据分析类业务已从腾讯云数据仓库 TCHouse-D 2.0 升级到 3.0,在性能和稳定性上都有明显提升,深得各数据和业务部门的认可。未来,盖雅将与腾讯云大数据团队深化战略协作,共同推进技术产品迭代,共创场景解决方案,持续增强实时数据计算与分析能力。未来关注的重点能力包括:

  • AI Function:TCHouse-D 4.0 新增了 AI_EXTRACT(信息提取)、AI_SENTIMENT(情感分析)和 AI_SUMMARIZE(文本总结)等AI函数。数据分析师可以直接用 SQL 调用大模型(LLM)处理表中的文本,极大地简化了 AI 应用的链路
  • “向量+搜索+分析”三位一体的多模分析:TCHouse-D 4.0 引入了原生向量索引(Vector Index)以及增强型全文检索,可在TCHouse-D 4.0系统内,用一套标准 SQL同时完成:
  • 统计分析(求和、聚合、大宽表)
  • 全文检索(搜日志、搜文档)
  • 向量检索(RAG、搜特征)

最后,感谢腾讯云大数据团队,感谢其对问题的快速响应和积极的技术支持。

Win10系统下海思SS928开发板烧写工具ToolPlatform-1.0.11安装避坑指南 本文详细介绍了在Windows 10系统下安装和配置海思SS928开发板烧写工具ToolPlatform-1.0.11的完整流程与避坑指南。核心解决了JVM内存配置导致的界面卡顿、闪退问题,并提供了驱动安装、硬件连接、镜像烧写的实战步骤,帮助嵌入式开发新手快速搭建稳定的烧写环境。 阅读详情

相关推荐

从Datasheet到可用的Verilog模块:手把手教你为N25Q128 SPI Flash写状态机驱动

本文详细介绍了如何从Datasheet到实现可用的Verilog模块,手把手教你为N25Q128 SPI Flash编写状态机驱动。文章涵盖SPI Flash的核心工作机制、数据手册解析方法、Verilog状态机设计实践以及调试与性能优化技巧,特别适合FPGA开发者和硬件设计工程师参考。

weixin_30596023的博客 177

存算分离,性能跃升:实现查询效率再提升60%

盖雅工场成功升级至腾讯云TCHouse-D3.0,通过存算分离架构实现性能与效率双提升。新架构支持弹性资源调度,精准应对月结等高并发场景,查询耗时平均降低60%,资源成本减少20%。3.0版本增强了MySQL协议兼容性,最大限度复用现有SQL资产,并通过智能运维显著降低人力成本。未来计划深化AI功能应用,探索向量搜索与分析一体化解决方案,持续优化实时数据处理能力。

技术引领业务创新 478

多目标优化NSGA-II(快速精英非支配排序遗传算法)及python实现

文章目录前言一、什么是NSGA-II?二、学习NSGA-II1.快速非支配排序算法2.密度估计3.拥挤比较算子4.主循环5.代码6.总结 前言 NSGA-II适用于复杂的多目标优化问题,是K-Deb教授在2000年在一篇paper《MOEAs — A fast and elitist multi-objective genetic algorithm: nsga2》提出。 Keywords: optimization; multi-objective evolutionary algorithm; no

ricky_blog 9749

ElasticSearch(一)API的使用

elasticsearch的API使用

qq_40358025的博客 226

一口气看完TransformerXL详细解释带代码一:相对位置编码

相对位置编码(Relative Position Encoding)是Transformer模型中用于捕捉序列元素间相对位置关系的一种方法,与绝对位置编码(如BERT中的固定位置嵌入)不同,它直接建模元素之间的相对距离,从而更灵活地处理长序列或不同长度的序列。1. 为什么需要相对位置编码?​。

m0_73426548的博客 1427

双重机器学习 stata教程 手把手教学

双重机器学习(DDML)的stata教程

weixin_59030591的博客 1万+

企业如何同时管理用电安全、电能质量和节能降碳?从异常溯源看施耐德电气EEO的协同管理价值

通过整合电力运行信息,并结合EEO资产健康模块、EEO电能质量模块与EEO能碳管理模块,企业可以围绕设备、回路和负荷建立更连续的分析流程,使不同专业人员能够基于相互关联的数据开展判断。企业需要进一步核对异常出现的时间、涉及的配电回路、生产负荷变化以及设备运行状态,才能判断问题来自正常的生产调整、设备运行异常,还是需要采取措施的电能质量问题。从关键回路的异常排查入手,逐步完善设备数据、专业分析和治理验证流程,企业可以让用电安全、电能质量与节能降碳从分散的管理任务,转变为相互关联的日常运营工作。

科技,技术,行业类博主 188

避坑指南:微信小程序蓝牙广播在iOS上的那些‘坑’(附serviceUuids传值解决方案)

本文深入解析微信小程序蓝牙广播在iOS平台上的开发难点,特别是`serviceUuids`传值解决方案。通过对比iOS与安卓的蓝牙协议实现差异,提供实战编码策略和硬件端配合方案,帮助开发者有效规避兼容性问题,提升蓝牙外围设备开发效率。

weixin_30316097的博客 423

京东 Apache Doris 湖仓查询优化实践:从多引擎统一到百万级查询

京东基于 Apache Doris 构建统一湖仓查询引擎,支撑日均百万级查询与 PB 级数据扫描。深入解析 Presto、StarRocks 迁移、分区裁剪、Split 调度、向量化执行及 AI Agent 混合负载优化实践。

SelectDB 448

Manus创始人深度复盘:AI Agent产品的技术架构与战略转型

成本对比:同样任务处理,中国区单位成本是亚太区的2.3倍。付费转化率:中国区1.2% vs 全球平均4.7%微信/支付宝等超级App的适配代码占比达17%Zstandard:压缩比38%,耗时12ms。每季度需要投入3名高级工程师专职维护兼容性。国际版API平均延迟:180-220ms。中国版特殊部署延迟:480-720ms。信息保持准确率:93%(7天跨度测试)自研算法:压缩比39%,耗时5ms。存储效率:相比纯文本节省68%空间。:本地化部署导致的延迟与费用差异。LZ4:压缩比42%,耗时8ms。

m0_75253143的博客 7147

LeRobot X-VLA:首个适用于任意机器人、任意任务的软提示机器人基础模型

X-VLA是一种基于软提示的视觉-语言-动作模型,通过可学习嵌入向量编码不同机器人配置,实现跨平台统一控制。该框架采用两阶段训练:先在29万次多平台任务中学习通用策略,再通过微调少量参数(仅1%)适配新机器人。实验表明,0.9B参数的X-VLA在6个仿真和3个真实平台上表现优异,如LIBERO任务达93%成功率,布料折叠任务100%完成。其核心创新是将硬件差异视为"任务",用软提示引导Transformer处理异构数据,为机器人基础模型提供可扩展方案。

2506_90492529的博客 1242

Day3 - Flink 窗口与时间语义:从滚动窗口到迟到数据处理

水位线是一个特殊的时间戳,代表"小于这个时间戳的数据都已经到齐了比如水位线推进到 10:00:05,就告诉 Flink:10:00:05 之前的数据应该都到了,如果还有晚于这个时间到达但时间戳小于 10:00:05 的数据,就是"迟到数据"。窗口大小固定,窗口之间不重叠,数据只属于一个窗口。时间线: 0 10 20 30 40 50 60窗口1: [--------)窗口2: [--------)窗口3: [--------)窗口4: [--------)

YEEMOLY的博客 280

ESP-SPARKBOT AI 智能机器人:v1.2 全流程复刻指南

本文介绍 ESP-SPARKBOT AI 智能机器人 v1.2 版本的全流程复刻,包含 PCB 、3D 打印、固件烧录、常见问题解决、参考资料等

举世誉之而不加劝,举世非之而不加沮,定乎内外之分,辩乎荣辱之境,斯已矣。 9261

最新大数据毕业设计选题推荐-基于大数据的快餐营养摄入与运动消耗关联性分析与可视化-大数据-Spark-Hadoop-Bigdata

本文介绍《基于大数据的快餐营养摄入与运动消耗关联性分析与可视化》系统,采用Hadoop+Spark框架实现数据存储与计算,结合Python+Django与Java+Spring Boot双后端,通过MySQL存储数据,前端使用Vue+ElementUI+Echarts完成可视化。系统涵盖营养摄入、消费画像、运动消耗等分析功能,实现快餐订单数据与运动消耗的关联分析,为计算机专业毕业设计提供技术完整、可落地的大数据项目参考。文末可获取源码。

IT研究室的博客 282

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

智能问诊的流程

本文介绍基于FastAPI构建的医疗多Agent系统MediAgent,通过症状分析、诊断推理与治疗建议等模块协同,实现从问诊到报告生成的完整工作流。系统采用前后端分离架构,结合MySQL、RabbitMQ与Docker实现工程化部署,支持异步化验结果接入。虽当前状态暂存于内存,但已具备可扩展性,未来可通过Redis持久化、消息队列联动及医疗安全机制完善,应用于慢病管理、辅助决策等场景,推动AI在医疗流程中的落地应用。

Joey 的工作空间~ 790

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

大数据与审计专业哪些证书企业比较认可?

大数据与审计专业选证书,首先要明确就业方向:是进入会计师事务所做财务审计,还是进入企业从事内部审计、风险控制,或向数据审计、信息系统审计发展。不同岗位看重的专业能力不同,证书的价值也应放在具体招聘要求中判断。面向2027年的求职与备考规划,值得重点考虑的有六类:初级会计专业技术资格、注册会计师、审计专业技术资格、CDA数据分析师、国际注册内部审计师和国际注册信息系统审计师。选择时,宜采用“财审基础+数据能力+岗位专长”的组合,而不是单纯追求持证数量。

YangYang9YangYan的博客 316

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

深入浅出聊聊 Linux 的 PageCache 与系统极致性能

本文深入浅出解析了 Linux PageCache 的核心机制,揭示其如何通过“延迟写、预读读”提升系统性能。以监控告警为切入点,阐明 free -h 中 buff/cache 并非真正占用,真正可用内存由 available 决定。结合 Kafka、Elasticsearch、MySQL 等实战场景,说明中间件如何依赖 PageCache 实现极致性能。强调不可手动清理缓存,并建议合理调优脏页参数,避免卡顿。最终指出:内存满≠危机,而是系统高效运行的体现。

小小默:进无止境 529

CentOS7-Elasticsearch8.15.3-Kibana8.15.3-安装部署笔记

Token 有效期只有 30 分钟,请保存好输出的 base64 字符串并尽快完成 Kibana 对接;本文整理自单机离线部署实践,适用于 CentOS 7 + Elasticsearch/Kibana 8.15.3 场景。只对新登录的会话生效,修改后需重新连接 SSH。结尾,其中包含 elastic 用户初始密码、HTTP 层证书等信息。等字段的集群 JSON 信息,即说明账号、HTTPS、证书均正常。安装成功后,终端会打印安全自动配置结果,以。按交互提示输入两次自定义密码。,保存后重启服务器生效。

遇见bug的博客 198

数据科学与大数据技术大一到大三考证顺序怎么排?

数据科学与大数据技术专业的考证安排,适合跟着课程和求职方向走,而不是跟着证书数量走。大一还在学高等数学、程序设计,大二逐步接触概率统计、数据库,大三开始进入机器学习、大数据平台和专业实习。证书与这些课程衔接起来,备考才容易转化为实际能力。下文推荐6项证书,其中既有基础性考试,也有职业方向认证,不需要全部考完。安排考证顺序的关键,是让每次备考都留下两项成果:一张能够说明学习经历的证书,以及一份能够展示实际能力的作品。

2501_93367079的博客 84

大数据与会计专业考哪些证书对就业有帮助?

大数据与会计专业的学生,选证时容易遇到一个问题:会计类证书强调核算、税法与审计,数据类证书强调处理、分析与表达,究竟应该先考哪一种?

2601_96296664的博客 153

【一次 Elasticsearch 高基数聚合慢查询的定位与优化】

当Elasticsearch聚合查询首次执行慢、后续迅速恢复正常时,问题往往不在数据量本身,而在于全局词典构建开销。通过Profile分析发现,虽聚合耗时仅几十毫秒,但首次请求整体耗时达1秒以上,表明瓶颈在初始化阶段。结合keyword字段使用Doc Values的特性,可推断为首次访问时需加载全局词典(global ordinals),导致延迟。开启eager_global_ordinals可将词典预加载至内存,显著降低首次查询延迟,尤其适用于高基数聚合场景。此案例揭示了“首次慢、后续快”问题的典型根因及

大雪冬至的博客 387

Day2 - Flink DataStream API 与转换算子:从 Source 到 Sink

实现或@Override// 发射数据@Override// 使用用自定义逻辑聚合,比 sum/min/max 更灵活。// 求每个用户的总消费金额reduce 的输入和输出类型必须相同。Flink 会把满足条件的相邻算子合并成一个 Task,在同一个线程里执行,减少线程切换和网络开销。合并条件上下游并行度相同;分区策略是 Forward;没有被用户手动断开。

YEEMOLY的博客 216

过程与答案

36岁,曾在北京996驻场做大数据,靠一碗牛肉面和回西安的五天“虚度光阴”撑起生活。如今AI给出答案,却藏起思考过程。孩子长大,我却停滞。终于明白:真正证明我活过的,不是结果,而是那些无用却真实的瞬间——咸汤里的满足,飞行中的空茫,从“不知道”到“知道”的笨拙旅程。答案可被替代,唯有过程,是人之为人的证据。

shiter编写程序的艺术 180

机房温湿度传感器监控双协议方案:TCP与SNMP融合接入大数据平台

本文提出机房温湿度传感器双协议融合接入方案,通过ModbusTCP(测量面)与SNMP(管理面)协同,实现高频时序数据与设备资产、健康状态的精准采集。采集代理层完成协议归一、标签统一、源优先级合并与时钟对齐,输出统一数据模型,经Kafka流入InfluxDB时序库、CMDB、告警中心等大数据平台。方案解决单协议短板,提升数据质量与系统可扩展性,支撑实时监控、AI预测与运维自动化,实现“细得下来、管得起来”的智慧机房目标。

honsor的博客 242

Flink SQL 窗口表值函数实战:滚动、滑动、累计与会话窗口

在 Flink SQL 中,流数据是无限的,要统计“最近一段时间”的数据,就必须把无界流切分成一个个有界窗口。Flink 1.13 之后引入了窗口表值函数(Window TVF),把窗口本身当作一张表来使用,通过TABLE(...)语法把原表转换成带窗口信息的表,再配合GROUP BY完成聚合。相比早期的语义统一:窗口是一张表,可以像普通表一样查询、过滤、关联。结果可读:窗口表会自动带上window_end三个字段,方便直接输出。性能更好:底层基于窗口聚合算子优化,支持切片共享等机制。

2401_83857914的博客 391

IM即时聊天场景中消息队列实现方案对比与选型实践

引言在当今互联网应用中,IM(即时通讯)系统是支撑用户交互的核心模块之一。无论是在社交类App、企业协作平台,还是在线客服系统中,高效、稳定的消息处理能力直接影响用户体验和系统吞吐能力。然而,IM系统在高并发、异步处理、消息持久化等方面面临诸多挑战,其中消息队列(Message Queue)的选型与实现尤为关键。本文将围绕一个典型IM场景,从算法与数据结构的视角出发,结合具体实现方案,深入分析多种消息队列机制在IM场景中的适用性,并给出选型建议。适合具有5年以上经验的工程师和技术负责人参考。

wuchangjian的专栏 244
上一篇: 加速Data+AI一体化落地!腾讯云WeData首家通过信通院DIOps技术测试
下一篇: 腾讯云ES AI搜索最佳实践:基于ES与Dify的企业级RAG应用方案
腾讯云大数据
博客等级 码龄6年 348粉丝 220原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值