深入腾讯云TBDS:大规模HDFS集群优化实战

腾讯云大数据套件TBDS与阿里云大数据能力产品对比 通过建设数仓,以数据可视化和数据应用的方式赋能业务,TBDS - 数据仓库(简称 TCHouse)提供数据集成和开发处理,完成数仓分层建模,搭配海量数据查询引擎,提升数据查询性能,满足实时/在线数据分析的需要。DataWorks数据治理包含数据治理中心、数据质量、数据地图等多个产品,覆盖数据湖仓中事前、事中、事后的数据生命周期,通过数据治理健康分、质量规则、数据大血缘等能力,将书面的数据治理规范落地成平台化的产品能力,让数据治理不再只是一个 “阶段性项目”,而是一个“可持续的运营项目”。 阅读详情

1e7f109fd9fc0be7c203ec915dc53728.gif

HDFS被设计用来在大规模的廉价服务器集群上可靠地存储大量数据, 并提供高吞吐的数据读取和写入,具备高可用、高容错、高吞吐、低成本、数据本地性等特点。在集群元数据规模不超过8亿且节点数不超过1000时,HDFS可保持稳定的较低RPC响应延迟,以满足客户的特定业务生产场景。

92173fb926506c32820facccfd4a894b.png

图一

如上HDFS架构所示,随着存储数据的积累理论上可以不断扩容DataNode节点,但元数据仍是由单一的NameNode进行管控。数据爆发式的增长和计算需求的提升,单一的HDFS集群往往难以满足高并发、低延迟的计算需求。需要对集群进行持续地横向拓展和优化。

HDFS在腾讯微信、腾讯广告、腾讯金融等产品和业务领域有着广泛应用,节点规模可达10万级、存储规模达EB级,在应用实践中做了针对性的改善。腾讯云TBDS是腾讯大数据能力的私有云产品化,结合内部实践和典型客户的具体情况,对HDFS做了系统的优化。

01

集群横向扩容

单个ActiveNameNode在大规模集群的局限性主要体现在:

1.  数据规模受限,NameNode内存使用和元数据量正相关,具有内存瓶颈。

2.  稳定性受影响,元数据量越大,GC频率越高,客户场景中曾出现CMS GC的promotion fail场景,导致CMS GC进入长时间的串行Full GC,影响外部访问。

3.  故障隔离性差,单一NameNode负载高会影响全局。

而纵向拓展NameNode内存,也会带来其他问题:内存加载服务启动时间长、大堆调试困难不易优化、Full GC时间长易导致整体服务不可用。因此需要进行NameNode的横向扩容。

扩容方案

多NS联邦共享DN

39f2abd34e000e98b86168249c33f16d.png

图二

基于HDFS Federation特性,同一ClusterID下注册多套NameNode,每套都有唯一的NameService和Block Pool负责分管一部分元数据。

多NS独立集群联邦

ef0cd0adbd871c92e7290ce89b2398e3.png

图三

独立HDFS集群分管不同的业务数据,实现降低单集群的元数据量。

3af9448795bcfc853edfd339e3bb4634.png

图四

在两套联邦方案中,为了让客户端业务无感知,我们都需要通过Router(HDFS Router-based Federation)来对外提供统一的HDFS访问视图。

31edccfcf5394ffd42ec2761b674e0fb.png

图五

确保每个NS对应的目录都相互独立且没有子目录的重叠,然后Router层进行同名路径路由表映射,这样客户访问HDFS时,无需指定特定的HDFS schema,只需要访问Router即可转发到对应NS进行目录访问。

Router的优化

Router作为方案中的核心组件,承接着Client端所有请求以及NameNode返回的元数据信息,其性能将影响服务整体质量。

常见的有用NameNodeProxy轻量化服务替换Router,NameNodeProxy可提供统一的NameSpace、具备路由请求、Quota限制等能力。但其不支持认证、单一目录不支持子集群多NameService挂载以及可支持的操作不全面等问题,并不适用于客户真实生产场景。

为了进一步优化Router本身性能,在腾讯云TBDS产品中将Router的响应请求异步化,解耦同步等待时间以提升Router的吞吐量。

参考NameNode RPC response异步化原理的两个重要逻辑:

  • 请求挂起返回。

  • editlog call推送到队列执行。

Router异步化过程如下:

0e3cfceb07b1dd4c3769cbdbc705c4ca.png

图六

1.  类似NameNode异步化过程,将client请求推送到一个call queue队列。

2.  Router Client发送请求给NameNode之后,进入wait阶段。

3.  NameNode处理完后,触发notify唤起call队列线程检查,并返回结果。

4.  另从NameNode返回的是protobuf序列化数据,对于大部分请求而言,不需要protobuf反解,可以直接下推给Client → Router这里,以减少内存消耗。

通过Router联邦横向扩容后累积元数据可达30亿+,并且对外的Router rpc请求仍能保持毫秒级响应。

 02

读写性能优化

基于联邦的横向扩容方案可以满足数据规模和集群规模的增长,但是随着客户的业务拓展,Router管控下的单个子集群访问请求也会不断提升。在这类生产场景中往往会出现NameNode RPC请求响应慢,极端情况下某个RPC请求需要等待好几分钟的情况,而NameNode日志中存在大量同一类型日志:

INFO  namenode.FSNamesystem (FSNamesystemLock.java:readUnlock(194)) - FSNamesystem read lock held for 237962 ms via

RPC变慢的根源在于部分请求长时间持有FSNamesystemLock全局锁,导致其他请求无法及时响应。

NameNode全局锁机制

FSNamesystemLock主要管理集群的目录树、数据块以及节点信息,NameNode通过这把全局锁来控制并发读写。优点锁模型简单、外部依赖少,劣势是制约性能提升,尤其是集群规模和业务请求量增长,锁的持有范围和影响也越大。尽管社区也通过editlog异步化、DU请求采用分段锁等一系列措施来优化读写性能,但并未从根本上解决锁的影响,对于大规模集群难以满足生产场景。因此我们需要一套完善的拆锁方案

拆锁方案

定义分区写锁,不同文件归属于不同分区。写操作时先获取全局锁,然后找到对应分区获取分区锁,并释放全局锁。通过减少全局锁时间跨度,约提升25%写性能。

而我们在腾讯云TBDS产品中采用了树型锁,不仅针对写、也对读操作进行了更细粒度的锁拆分,可以更有效地提升读写性能。

自研拆锁的设计原则

  • 锁用来保护数据,而非保护流程。

  • 对于有transaction语义的流程,需要用单独的锁来保护,且尽量保证没有高耗时操作。

  • 每个INode都用一把锁保护,操作该INode时需要加相应读写锁

    更细粒度的锁替代FSNamesystemLock全局锁,详细参考:

e635e45e1024853be53eba3b92458352.png

图七

例如路径锁分配(蓝色为读锁,红色为写锁):

125b2259e9996424d7a6970ed743fc0b.png

图八

若每个INode都一个INode lock,10亿INode(每个锁100B),预计占用90GB堆内存,易引发内存膨胀,因此我们在腾讯云TBDS产品中设计了LockPool避免锁对象空间浪费。

LockPool 的设计

据统计,非所有INode都会在短时间内被访问

1. 首先通过inodeid作为key在LockPool查找。

2. 若存在对应的key,refCount自增1,直接退出。

3. 若不存在,LockPool中创建一个lock实例。

4. 另单独的Evictor线程循环检查poolSize是否超过高水位,若没有则await等待signal或超时重新判断,若超过则进行evit操作,去除无用的lock,直至低水位。

拆锁效果

b295bf59928d9a57f22cd31d77a74b27.png

图九

分别在读写(4:1)和读写(8:1)的场景下进行测试,优化版本的性能约为原生架构的2倍。在客户现场上线优化版本后,RPC请求的平均延时从数百ms以上降低至10ms以内,请求队列中排队请求数从平均5000以上降低至100以内。

03

应急场景服务快速恢复

在真实的客户生产环境中,当偶发遇到机房断电、机器异常等极端紧急场景时,如何在这类应急场景中如何快速恢复服务显得尤为重要。尽管社区在最新的版本中已经做了大量的重启优化工作,但鉴于生产环境的稳定性和业务的适配性,客户的Hadoop集群也无法直接升级。我们通过分析HDFS重启机制,实现重启速度的合理优化。

HDFS重启速度主要受限于:

  • NameNode串行加载fsimage;大规模集群下该文件可达几十G。

  • 批量启动DataNode携带大量full block report,引发块汇报风暴,导致NameNode无响应。

  • DataNode本身block数量多,加载block信息时间长。

组件重启速度优化方案

针对重启速度主要受限阶段,我们提供了如下的优化方案:

786ebda8f84307664c730b17dff56a9d.png

图十

1.  优化FsImage的加载方式,由串行改成并行

这是因为FsImage本身主要由INODE和INODE_DIR构成,而这两部分内部信息其实是完全独立的(分别记录目录树和父子节点间的信息关系)。可以直接将其进行拆分,形成INODE_SUB_SECTION和INODE_SUB_DIR_SECTION,设计多个线程分别消费不同的SUB_SECTION,实现并行快速加载。

2.  通过ForkJoinPool框架来并行加载block信息

DataNode的数据目录也是彼此独立的,基于线程池并行扫描数据目录实现快速加载block信息。

3.  引入Block Report Lease,避免DataNode集中式进行FBR

在BR Lease机制下,只有那些获得了NameNode所授予的BR Lease的DataNode节点,才能进行块汇报。Lease具有过期时间和分配数限制,从而可按需调整,限制FBR的总量。

基于上述这些优化,在现网应急场景机器恢复时间从数几小时可缩减至20分钟内。

04

客户实践

考虑到客户数据具有业务隔离性,具备新建集群的先天条件,且需要故障隔离和慢节点不影响全局的诉求。

fb5577a3fcb9b5b247bc25ccf652682c.png

图十一

某国有大行采用我们NameNode拆锁优化版本HDFS搭建了多套租户TBDS集群,并基于多NameService独立集群联邦方案代理不同存储计算集群。该部署架构下不仅租户集群本身的读写性能得到成倍提升,并且集群规模和数据规模得到了极大拓展,累积元数据可达30亿+,对外的Router RPC请求仍能保持毫秒级响应。而在应急运维场景中,也能实现数十分钟级别内的服务快速恢复。

05

未来展望

腾讯云TBDS集群拓展性上支持Router按业务扩容,在确保提升集群整体的规模基础上且不损失性能。性能上可进一步优化HDFS NameNode的元数据存储,将元数据分解下沉至外部存储。也可针对DataNode本身全局锁进行拆分,从数据节点优化集群性能,综合考虑磁盘容量、处理线程数基于瞬时监控指标优化DataNode读调度。

未来更多的考虑存储成本和海量存储计算速度,全新一代数据湖仓一体化智能引擎TBDS可通过存算分离架构,将存储和计算独立分开部署,各自以分片的方式保证其自身的可扩展性。存储层可支持HDFS、标准对象存储等,基于统一的计算加速层为计算引擎提供服务。

06

参考

1️⃣https://hadoop.apache.org/docs/r3.2.1/hadoop-project-dist/hadoop-hdfs/Federation.html

2️⃣https://hadoop.apache.org/docs/r3.2.1/hadoop-project-dist/hadoop-hdfs-rbf/HDFSRouterFederation.html

(复制链接到浏览器打开)

大数据应届生求职指南:技术能力提升与实战策略 大数据技术作为处理海量信息的核心手段,其原理基于分布式计算和存储架构,通过并行处理提升数据运算效率。这一技术价值在于能够从复杂数据中提取商业洞察,支撑决策优化。在实际应用场景中,大数据广泛应用于电商分析、智慧城市和工业物联网等领域。对于应届生而言,掌握如Spark和Flink等实时计算框架至关重要,这些热词代表了当前企业的高频需求。通过项目实践和技能优化,求职者可以弥合技术差距,提升在竞争激烈的就业市场中的竞争力。 阅读详情

相关推荐

【信息科学与工程学】【数据中心】第三十五篇 云计算数据中心的学科知识04

编号学科(课程)核心知识点在云计算/云存储/云网络/云安全/云MaaS中的作用代表教材/资料/论文 + 数学方程式列表工业界应用D1421​云原生数据库:TiDB​HTAP(混合事务/分析处理)、分布式SQL、水平扩展、强一致(Raft)、自动故障恢复、与MySQL兼容、TiFlash列式引擎提供弹性扩展的分布式数据库;支撑高并发在线交易与实时分析教材:《TiDB in Action》PingCAP(2020) 论文:《TiDB: A Raft-based HTAP Database》(2017)

weixin_49199313的博客 417

腾讯--TBDS大数据集群迁移实践总结

背景 xx公司属于最早一批使用TBDS(腾讯大数据处理平台)产品的老客户,从2016年开始将业务运行在TBDS。目前客户使用的是早期TBDS版本,与最新release版本在系统总体架构、组件版本等方面相差过大。因为客户需求越来越多,现在使用的老版本大数据集群因为功能较少,导致部分需求无法满足客户新增需求。由于历史遗留原因,老版本升级到新版本代价较高。考虑到客户的大数据集群规模不是很大(TB数据量...

yangbosos的博客 1万+

kali设置安装burpsuite中文版

工具:通过网盘分享的文件:Burpsuite 链接:提取码: jay1。

m0_74786138的博客 5206

Tencent : TBDS

腾讯大数据处理套件(Tencent Big Data Suite,TBDS)是基于腾讯多年海量数据处理经验,对外提供的可靠、安全、易用的大数据处理平台。您可以借助 TBDS 在公有云、私有云、非云化环境,根据不同数据处理需求选择合适的大数据分析引擎和相应的实时数据开发、离线数据开发以及算法开发服务,来构建您的数据仓库、用户画像、精准推荐、风险管控等大数据应用服务。

难得糊涂 1927

描述符链表(Descriptor Chain)是什么?

描述符链表是硬件加速数据传输的核心数据结构,通过链式描述符(包含地址、长度、控制标志等)实现DMA自动批量处理,显著降低CPU负载。其工作原理为:CPU初始化链表后,硬件按序处理每个描述符,完成自动跳转与中断通知。在网卡收包、NVMe存储等场景中应用广泛,优势包括批处理、低延迟和灵活调度。需注意内存对齐、缓存一致性等实现细节,优化手段包括预分配描述符池、环形缓冲区等。该技术是网络/存储领域提升吞吐量的关键方案。

guigenyi的专栏 778

关于并网继电器的继电器自检逻辑及实现方式

对于常规的光伏并网逆变器来说,继电器控制至关重要。继电器一般位于逆变电感后,共模电感前,用于将逆变电压与电网电压脱开,一般国外有双继电器的安规强制认证要求,国内目前只需要单继电器要求(后续应该会有双继电器要求,个人感觉)

weixin_29982209的博客 2620

Tencent : TBDS简介

TBDS可以在公有云、私有云、非云化环境中,根据不同数据处理需求组合合适的存算分析组件,如Hive、Spark、HBase、Flink、Presto、Iceberg、Elasticsearch、StarRocks等,以快速构建企业级数据湖仓。综上所述,Tencent TBDS是一个功能强大、安全可靠、易用灵活的大数据处理套件,可以帮助企业高效地处理和分析海量数据,提升业务效率和决策水平。:支持多种计算引擎,包括Hadoop、Spark和Flink等,用户可以根据实际需求选择最适合的引擎进行数据处理和分析。

IT深耕十余载,大道之简 2420

S32K344 Bootloader实战:一个按键实现从Boot到App的无缝跳转(附完整代码)

本文详细介绍了基于NXP S32K344微控制器的Bootloader开发实战,重点解析如何通过一个硬件按键实现从Boot到App的可靠跳转。内容涵盖内存分区规划、中断向量表重映射、外设初始状态管理等核心要素,并提供了完整的代码示例和调试技巧,适用于汽车电子和工业控制等高可靠性应用场景。

weixin_29192365的博客 309

腾讯云大数据TBDS 助力国有大行一表通业务性能翻三倍!

背景介绍1.腾讯云 TBDS大数据平台介绍腾讯云 TBDS 是腾讯经过多年的大数据实践,面向数据全生命周期,对外提供安全、可靠、易用的一站式、高性能、企业级大数据存储计算分析平台,腾讯云TBDS 已落地金融、政务、能源、工业等多个行业,交付了 1000+ 的私有云大数据项目,腾讯云TBDS 从 2017 年开始支持某国有大行的大数据平台建设,在大规模集群支持、核心业务性能优化、金融级数据安全、...

cloudbigdata的博客 751

AD/Protel老手才知道的PCB过孔查看技巧:3分钟分清通孔、盲孔和埋孔

本文为PCB设计工程师提供了在Altium Designer/Protel中快速鉴别通孔、盲孔和埋孔的实用技巧。通过层叠管理器、高级筛选工具和实战五步法,帮助用户在3分钟内精准识别过孔类型,提升设计效率和电路性能。特别适合处理高密度HDI板卡中的复杂过孔布局。

weixin_29164497的博客 581

深度学习-算法工程师岗位面试常见问题及解答

一、相关的问题 深度学习优化学习方法(一阶、二阶) 一阶方法:随机梯度下降(SGD)、动量(Momentum)、牛顿动量法(Nesterov动量)、AdaGrad(自适应梯度)、RMSProp(均方差传播)、Adam、Nadam。 二阶方法:牛顿法、拟牛顿法、共轭梯度法(CG)、BFGS、L-BFGS。 自适应优化算法有哪些?(Adagrad(累积梯度平方)、RMSProp(累积梯度平方的滑动平均)、Adam(带动量的RMSProp,即同时使用梯度的一、二阶矩))。 梯度下降陷入局部最优有什么解决

nobles007820的博客 2924

HDFS文件读写延迟调优完全指南:从原理到实践

硬件是基础:SSD、万兆网络、充足内存是低延迟的基石配置是关键:短路读取、线程数、数据包大小等参数需精细调整架构是保障:树型锁优化、Hedged Reads等技术突破传统瓶颈监控是眼睛:持续监控RPC延迟、GC暂停等指标,及时发现异常通过本文介绍的优化手段,腾讯云TBDS在客户现场实现了RPC平均延迟从数百毫秒降至10ms以内,请求队列长度从5000降至100以内,读写性能约为原生架构的2倍。这些案例充分说明,系统性的延迟调优能够带来显著的收益。

✨ 欢迎来到【Seal ^_^ 的优快云博客】!✨ 1954

024、反激变换器的短路保护设计

本文详细探讨了反激变换器短路保护的设计要点与实践经验。作者通过实际案例分析了短路时反激拓扑的电流特性,指出初级峰值电流限制是最基础的保护手段,但需配合打嗝模式使用。文章重点剖析了打嗝模式设计的三个关键陷阱:频率设定、退出条件和软启动衔接。同时强调次级侧辅助保护、变压器参数优化、环路响应协调的重要性,并比较了自恢复与锁死方案的适用场景。最后提出实测验证的四个关键点和设计经验:不盲信芯片手册、保护电路独立设计、充分留有余量、进行破坏性测试。全文以工程实践为导向,为反激电源的可靠短路保护提供了系统性解决方案。

Jack010169的博客 245

腾讯TBDS和Cloud Data AI CMP 比较的缺陷在哪里?

腾讯云TBDS与Cloudera CMP在大数据平台选型中存在明显差异:TBDS优势在于深度国产化支持(信创适配、等保合规)、AI原生能力及低成本模型,特别适合国内金融政务场景;而CMP强项在于全球合规认证、Impala的OLAP性能及多云统一管理能力,更适合跨国企业。主要缺陷对比:TBDS存在生态封闭(绑定腾讯云)、跨云能力弱的问题;CMP则面临在华落地困难、许可成本高昂(约5千美元/核/年)及缺乏国产化支持的短板。企业选型需重点考虑业务地域性、合规要求及现有技术栈。

yumgpkpm的专栏 1163

学Simulink——十二脉波整流电路(移相变压器)谐波抵消仿真

Y:Δ = 1:√3(若 DC 同压)— 此处同相电压故 220V(Y)=220V(Δ phase)Y(相电压=220V)、Δ(线电压=380V ⇒ 相=220V,30° 移相)可经 Lbal​=0.5mH(平衡电抗)或直接短(大 L_dc 下均流尚可)✅ 直流输出纹波频率 = 12·f_line(vs 6·f_line)直流输出 → Ldc​=50mH→Cdc​=2200µF→R=30Ω。Line‑Line RMS = 380 V(⇒ 相=220V)Vdc​≈1.35⋅380≈513V(同 6‑脉波)

xiaoheshang_123的博客 60

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

腾讯TBDS和Cloudera Data AI CMP 比较的缺陷在哪里?

腾讯TBDS和Cloud Data AI CMP 比较的缺陷在哪里? 腾讯云 TBDS(Tencent Big Data Suite) 与 Cloud Data AI CMP(Cloud Data AI Platform) 的全面、结构化优劣势对比分析,涵盖架构设计、核心功能、部署模式、生态兼容性、

cmdos的专栏 127

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

腾讯云加速构建云原生数据仓库,助力企业数字化转型

在企业数字化转型的当下,数据仓库的云端构建成为主流趋势,Gartner 预测,到2023年全球3/4的数据库都会跑在云上。 12月20日,腾讯2020 Techo Park开发者大会大数据分论坛在北京召开。腾讯数据平台部数据中心技术总监于洋、腾讯云大数据首席产品架构师高廉墀以及腾讯云大数据团队 Ozone 项目技术负责人陈怡等嘉宾出席大会,并探讨了数据仓库的多元技术,聚焦云端数据仓库的热潮,展现腾讯数据仓库技术架构演进与未来发展。 云原生数据仓库成为风口,助力解决企业数据仓库转型升级 从企业数字化转型

cloudbigdata的博客 547

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

腾讯云大数据平台 TBDS全面升级,加速构建安全可控的大数据生态

8月22日,腾讯云大数据首届“智理无数,心中有数”伙伴交流会在深圳滨海大厦举办。本次会议主要围绕腾讯云大数据平台TBDS产品的全新升级,以及在渠道伙伴中的推广策略及应用实践展开。华云、国双、北明、东华、东方金信、国泰新点、久远银海等数十家核心合作伙伴相关负责人出席本次峰会。腾讯云副总裁王峰对各位伙伴的到来表示热烈的欢迎,并表示将继续推进各伙伴与腾讯云大数据融合应用,培育发展大数据产业聚集高地。“腾...

cloudbigdata的博客 1303

深入腾讯云TBDS: 湖仓架构下存储自动化治理实践

1 、前言2020年,Lakehouse 架构被首先提出,区别于传统数据仓库,Lakehouse 同时吸收了数据仓库和数据湖的优势,试图去融合数仓和数据湖这两者的优势,通过将数仓构建在数据湖上,使得存储变得更为廉价和弹性,同时 Lakehouse 能够有效地提升数据质量,减小数据冗余,使数据分析师和数据科学家可以在同一个存储中对数据进行操作,同时也能为数据平台进行数据治理带来更多的便利性。TBDS...

cloudbigdata的博客 699

腾讯云TBDS:新一代数据湖仓实践,助力企业数据架构升级

导读本次分享主题为 TBDS 新一代数据湖仓助力企业数据架构升级。文中将介绍 TBDS 新一代数据湖仓产品的能力升级,以及 TBDS 新一代产品在企业数据架构实时化、云原生化升级中的实践。主要包括以下几大部分:1.TBDS 新一代数据湖仓架构2.全新架构 全新体验3.环境全面适配4.企业数据架构升级实践案例01TBDS新一代数据湖仓架构腾讯云大数据 TBDS 是一款依托腾讯多年海量数据...

cloudbigdata的博客 665

从数据湖到元数据湖——TBDS新一代元数据湖管理

腾讯大数据TBDS 8月重磅推出了的新一代元数据湖管理系统,提供面向大数据湖仓分析、AI智能的统一元数据管理和治理。翻译一下就是:元数据管理的边界,我们给扩展以及统一了!01元数据管理发展阶段大数据发展多年以来,在元数据上整体可以分成三个阶段。第一阶段是以Hive Metastore为代表的元数据服务,主要提供存储和访问Hive库表等的元数据信息,是首个Hadoop开源的元数据管理服务,几乎成了事...

cloudbigdata的博客 898

腾讯云TBDS获金融信创实验室全项适配认证 打造国产化大数据平台标杆

点击蓝字⬆ 关注我们本文共计1605字 预计阅读时长5分钟近日,腾讯云大数据套件软件TBDS V5.3、数据仓库TCHouse V3.0通过金融信创生态实验室(以下简称“实验室”)的适配验证。本测试基于典型金融业务场景,在全信创环境下,从产品功能、性能、兼容性、可靠性、业务场景等全方面进行了适配验证,取得100%通过,这意味着腾讯云TBDS打造的企业级大数据平台完全满足金融业务系统所需。金融信创生...

cloudbigdata的博客 1303

腾讯云TBDS面向AI时代的多模态智算平台,助力企业AI转型

腾讯云TBDS多模态数据智算平台通过Ray统一计算底座 + 自研Xpark/HyperFrame引擎 + TBDSFS统一存储的三层架构,系统性解决了企业在AI基础设施层面面临的异构算力管理、多模态数据处理、训练推理割裂等核心难题。

cloudbigdata的博客 489

腾讯云TBDS在海量Iceberg的治理之路

Iceberg表写入是动态的,不同表之间数据写入量,更新量,小文件的产生频率等都有很大的差别,这也就表明了需要处理的优化任务具有较大差异,也即不同的任务需要的资源需求不同,如果资源配置不合理则比较容易出现任务因资源不足导致OOM的情况,如果靠人工运维配置则需要非常大的人工运维压力并且使用复杂度高,因此需要一个自适应的资源使用方案,来简化LakeKeeper的使用门槛和降低人工运维的投入度。这些问题不仅影响查询性能,还增加了存储成本和运维复杂度,为Iceberg的治理也带来了比较大的使用成本。

cloudbigdata的博客 861

从“严格模式”到金融级合规:TBDS信创数据库适配实战录

因此,当面临信创数据库的适配需求时,团队的工作不是颠覆性的重构,而是在一个业已经过验证的成熟框架下,为这个新的数据库“方言”开发一个对应的“驱动”或“适配器”。这对客户的长期战略意义是深远的:他们不再被任何单一的数据库供应商锁定,未来无论是需要适配另一款信创产品、拥抱一个新的开源标准,还是迁移到更具成本效益的云数据库,都能够以最小的代价和业务中断风险来完成。因此,无主键表的存在是常态,而非例外。从满足“合规”的抽象概念,到交付可验证的工程杰作,其间的鸿沟需要用一行行坚实的代码和一层层精巧的设计来填补。

cloudbigdata的博客 1097
上一篇: 腾讯云副总裁黄世飞:持续投入“AI for data”,打造轻快易用智能大数据平台...
下一篇: 腾讯云ChatBI:开启智能化BI时代的金钥匙
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值