腾讯云副总裁刘煜宏:大数据平台算力弹性资源池达500万核,国内最强

第六篇 弹性云计算中的资源管理技术 作者:禅与计算机程序设计艺术 1.简介 云计算已经成为当下热门话题之一,随着互联网、移动互联网和物联网等新一代技术的发展,云计算正在向更加复杂、弹性、便利的方向发展。但是在云计算平台上运行的应用越来越多,服务种类也越来越丰富,同时作为一个庞大的系统,其使用的计算、网络和存储能力也会不断增长,如何有效地管 阅读详情

9月11日,在2020腾讯全球数字生态大会上,腾讯云副总裁刘煜宏透露,腾讯云大数据平台的算力弹性资源池达500万核,每日分析任务数达1500万,每日实时计算次数超过40万亿,能支持超过一万亿维度的数据训练。腾讯云不仅已经成为国内算力最强的云厂商,同时也是日实时计算量最大的公司。

腾讯云副总裁 刘煜宏

「 算力资源池达500万核,日实时计算量超40万亿」

基于多年在数字化方面的积累,腾讯云正在把腾讯多年来的能力沉淀对外开放。除了云计算、大数据、AI、安全、LBS、区块链等基础技术服务,以及支付、小程序、企业微信等微信生态的能力对行业开放之外,腾讯云还与合作伙伴一起,为政务、文旅、教育、工业、金融等多个垂直行业提供数字化的解决方案。

作为最重要的基础技术之一,腾讯大数据技术不仅有效支撑腾讯内部所有业务,在疫情期间,还有效支持了人们的线上生活和工作需求。例如微信健康码,通过大数据护航人群的安全流动,阻断疫情的快速传播。另外,还帮助企业微信、腾讯会议、微信小程序、微信支付等应用海量业务数据分析和数据挖掘,助力企业复工复产。

在支撑亿万级业务的过程中,腾讯云的大数据平台也打磨出高可靠高性能的平台能力。目前,腾讯云大数据技术的算力弹性资源池达500万核,算力国内最强,每日分析任务数达1500万,每日实时计算次数超过40万亿,能支持超过一万亿维度的数据训练。

「 效率提升60%,成本降低15%」

腾讯云大数据整体产品矩阵目前已经覆盖了运维、开发、应用三大层面,无论是作为基础设施的弹性分布式计算、神盾联邦计算,场景开发的商业智能分析、云搜等,还是作为大数据应用服务的云图、灯塔增长平台等,目前都以腾讯云产品和服务的形式,面向开发者和企业开放。

据刘煜宏介绍,私有云方面,腾讯云以 TBDS 为主,在公有云方面,以 EMR 和这次重磅推出的全链路的数据开发平台 WeData 为主,这两大产品体系一起构成了腾讯云完整的大数据产品生态。借助这些云上产品,用户都能快速获得腾讯原厂的大数据平台和产品,真正实现“开箱即用”,效率提升60%。

同时,云端优势带来了更低成本的选择。在硬件上,由于采用了最新的定制化服务器星星海服务器,腾讯云大数据平台的性能不仅得到提升,同时成本还得到进一步降低。根据今年的数据,客户平均节省了15%左右的成本,有些甚至达到了30%以上。另外,从架构上,存储计算分离、在线离线混布的大规模应用,让客户充分利用好每一分资源,减少浪费。

「 未来关注安全、智能、统一三大方向」

未来,腾讯大数据平台将会在数据安全、智能化、统一平台三大方向重点发力。据刘煜宏透露,腾讯目前正在研发联合计算平台,实现在保护数据隐私的同时,提供联合数据分析、联合数据建模等能力,实现数据的互融互通,释放数据价值。

智能化方向,作为整个腾讯大数据平台的大脑,腾讯将基于平台本身的日志、事件、指标特征等数据,通过机器学习算法,实现对平台状态的智能分析,达到平台的自动驾驶。

对于下一代大数据平台,腾讯云也将聚焦统一平台的研究,包括大数据和人工智能的统一,以及数据处理和数据挖掘统一,提供一站式数据处理交互体验。

值得一提的是,腾讯云也积极联合大量合作伙伴来构建云上的大数据生态。包括在硬件层面与英伟达、AMD、Intel 等厂商合作优化计算性能,提供高性价比的大数据基础设施。在技术层面,与 Apache 基金会,以及 Elastic 和 Cloudera 等商业化公司展开合作,推动技术演进。

FinOps终极形态:成本预测与弹性资源池联动策略 摘要 针对企业云成本管理痛点,本文提出"自愈式成本引擎"创新方案,通过成本预测与弹性资源池联动实现云成本主动优化。方案采用Prophet时序模型预测72小时成本(误差<8%),结合Karpenter弹性资源池预调度与OpenCost跨部门竞价机制,形成"预测-调度-回收"闭环。核心算法在预测成本超预算90%时自动缩容非核心资源30%并启用竞价实例,闲置资源复用率提升70%。 阅读详情

相关推荐

NLP实践——利用自己的语料进行Mask Language Model预训练

#!/usr/bin/env python # coding: utf-8 # In[1]: import os import json import copy from tqdm.notebook import tqdm import torch from torch.optim import AdamW from torch.utils.data import DataLoader, Dataset from transformers import BertForMaskedLM, BertTo

weixin_44826203的博客 1万+

自建大数据平台迁移腾讯云EMR最佳实践

自建开源大数据平台会随着企业数据的增长遇到:性能慢、扩容周期长、平台稳定性差、运维难、投入成本高等问题。在这里我们将从 EMR 的简介、EMR与自建Hadoop对比优势、自建迁移上云的实践案例来介绍 EMR 是如何解决这些问题的。

cloudbigdata的博客 2900

使用moveit控制机械臂

位置设置:`target_pose.position.x = 0.12`, `target_pose.position.y = 0.41`, 和 `target_pose.position.z = 0.44` 分别设置了机械臂末端执行器的X, Y, 和 Z坐标。设定目标位置:`group.set_pose_target(target_pose)` 这一命令将之前定义的目标位置和姿态设置为当前机械臂组的目标,为接下来的路径规划做准备。在机械臂控制的过程中,设定精确的目标位置和姿态是实现精确操作的关键步骤。

realman_Rop的博客 3688

腾讯技术工程 | 腾讯数据平台部总监刘煜宏:这5大产品平台,展示了腾讯大数据的核心能力...

12月13日,“2017互联网+大数据高峰论坛”在北京中国大饭店拉开帷幕。来自政府、研究机构及高校、企业的大数据专业人士共聚一堂,以“慧聚数据之力,赋能智慧政企”为主题,畅谈大数据的现状及未来。腾讯技术工程事业群数据平台部刘煜宏受邀参加“腾讯慧聚”品牌的发布仪式,并向在场嘉宾介绍了“腾讯慧聚”的5大产品平台。十年磨一剑,砺得梅花香。“腾讯慧聚”是腾讯运用多年技术及经验打造而成...

weixin_34413103的博客 429

手把手教你用OpenCompass评估Qwen1.5-1.8B模型(含数据集配置详解)

本文提供了使用OpenCompass评估Qwen1.5-1.8B-Chat模型的详细实战教程。内容涵盖从创建独立Python环境、下载模型与核心数据集,到编写配置文件、执行评测命令及解读结果的完整流程。重点解析了模型与数据集的配置细节,并分享了性能调优与常见问题排查方法,旨在帮助开发者快速上手系统化的模型评估。

weixin_29228781的博客 139

内存优化--LOGBACK导致内存告警

一.故事背景 由于开辟新市场需要,开发了新的项部署在海外平台,其中最消耗内存的功能是消费kafka消息(最开始预计一天有1千万的量),部署完之后运行一段时间发现出现内存告警问题。 二.分析问题 出现内存告警,(新项目是低配置机器 2C4G * 2台)第一个念头是去查看堆空间设置的情况,看到jvm启动命令中堆空间都是直接指定大小,说明问题不是出在堆空间 -Xmx3g -Xms3g 先不管这些,去查看总的内存使用情况,发现总的内存空间使用将近有92% = 3.68G,那么这多出来使用的0.6

qq_33199919的博客 6053

大智能:大数据+大模型+大算力

在近日举行的“2022中国人工智能产业年会”主论坛上,中国人工智能学会监事长、中国工程院院士蒋昌俊在报告中表示,人工智能的发展已经历了数十年的过程,大模型ChatGPT在今年春节前后突然出现,大家还没有来得及深度思考就已经“扑面而来”。蒋昌俊科学技术的研究约分为两大范式,一是牛顿力学奠定了理论计算的范式,二是开普勒开启数据的范式。之后经历了实验归纳、理论的逻辑推演,以及计算模拟、最近的数据密集型科学发现等。

xxue345678的博客 3553

stm32控制舵机_使用URT-1控制飞特舵机上手教程(SM40BL舵机为例)

使用URT-1控制飞特舵机上手教程(SM40BL舵机为例):1,参阅URT-1使用说明.pdf2, 材料清单:① URT-1驱动板② 连接驱动板与电脑的MINI USB 连接线③ 给舵机供电的电源④ 舵机与舵机连接线⑤ 杜邦线(可选)3,将URT-1驱动板与电脑连接4,安装驱动,参阅文件CH340驱动,检查设备管理器串口号。5,舵机连接URT-1驱动板,驱动板接电源,参考下图:6,打开FD软件进行...

weixin_39564510的博客 3432

使用跨源连接的弹性资源池是什么

跨源连接的弹性资源池是一种技术架构,它允许不同来源的资源在一个池中动态地进行共享和分配。这种方法通常用于优化资源的利用,以实现更高的效率和灵活性。例如,云计算环境中的虚拟机、存储、网络等资源可以被集成到一个弹性资源池中,根据需要进行动态分配,从而满足不同工作负载的需求。这种方法可以提高资源利用率,降低成本,并且使资源的管理和分配更加灵活和便捷。

RSNJZ的博客 177

块存储:AIO的直接写流程注释

提交io流程中aio_write之前函数的注释,可参考“块存储:AIO的直接读流程注释”。

yiyeguzhou100的专栏 1336

Altium Designer(AD24/25)PCB编辑的几种方法介绍

本文介绍了Altium Designer(AD24/25)软件中PCB编辑的四种操作方法:1)通过菜单栏"Place→Component"激活;2)点击工具栏元器件图标;3)右键快捷菜单选择;4)快捷键P+C组合操作。建议初学者先通过菜单栏和快捷菜单熟悉操作,熟练后转为工具栏和快捷键以提高效率。文章配有操作示意图,帮助用户快速掌握PCB元器件放置技巧。

fydar的博客 947

腾讯云EMR智能洞察:让大数据应用分析更“Easy”

引言|当今大数据时代,随着企业数据量的日益增长和数据价值密度的降低,致使挖掘数据价值变得愈加困难。为帮助企业专注于业务数据挖掘,避免在计算过程优化逻辑、调优资源以及其他运维等事项上浪费更多时间,腾讯云大数据平台推出了 EMR 智能洞察功能,使大数据引擎分析过程更轻松,方便,高效。背景随着企业数据规模的不断增长,人工方式分析大数据平台的计算任务、存储和调度性能已经无法满足业务要求。面对每天数以万计的...

cloudbigdata的博客 372

SAP Word 模板与 ABAP XML 数据流合并机制深度解析

Office Open XML 标准把一个.docx拆分成多个部件(document.xml、customXml\item1.xml 等),天然支持命名空间与 XPath;Word 在渲染时,会扫描<w:sdt>(结构化文档标签)与来确定绑定关系;在 ABAP 端,通过简单字符串替换与 XSLT 变换即可完成数据灌入,无需 COM Automation,安全且易于调试。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 373

腾讯云公布大数据平台最新数据,日实时计算量超40万亿

9月11日,在2020腾讯全球数字生态大会上,腾讯云副总裁刘煜宏透露,腾讯云大数据平台的算力弹性资源池达500万核,每日分析任务数达1500万,每日实时计算次数超过40万亿,能支持超过一万亿维度的数据训练。腾讯云不仅已经成为国内算力最强的云厂商,同时也是日实时计算量最大的公司。 腾讯云副总裁 刘煜宏 算力资源池达500万核,日实时计算量超40万亿 基于多年在数字化方面的积累,腾讯云正在把腾讯多年来的能力沉淀对外开放。除了云计算、大数据、AI、安全、LBS、区块链等基础技术服务,以及支付、小程序、企业微信等

程序人生的博客 2348

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

腾讯云大数据发布最新产品矩阵,助力企业整合打通海量数据

9月11日,主题为“释放数字经济发展的新动能”的腾讯全球数字生态大会大数据专场在线上拉开帷幕。腾讯大数据领域的多位顶级专家,与包括 Hadoop 创始人 Doug Cutting 在内的业内顶级大咖,以及众多行业合作伙伴一起相聚云端,共话大数据技术的最新技术演进趋势和应用实践。 「Hadoop 创始人 Doug Cutting 亲自站台」 Doug Cutting 表示,软件成为进步的主要来源,要实现创新,组织需要重视开源的力量。开源不仅可以更快地提升单个技术,对于整个开源社区、开源环境来说..

cloudbigdata的博客 1988

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

白嫖腾讯云 Cloud Studio 免费算力,每月免费 1w 分钟,可部署大模型应用

腾讯云 cloud studio 提供了免费的算力可以在上面搭建属于自己的模型应用,目前注册账号每月享有 1w 分钟的免费额度

3535

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

MNode大揭秘!腾讯云EMR如何实现免运维与计算成本降本超30%

背景当前腾讯云 EMR 集群主要采用 HOST 资源部署, HOST 具备按需使用、易于部署与维护、高度灵活性以及企业自主性强等优势。然而,这要求企业运维人员具备熟练的运维能力。随着企业数据规模的增长和处理计算任务的增多,企业使用云上大数据平台带来了挑战,同时运维成本也在不断的提升。因此,企业也希望可以降低运维门槛,同时也希望提高资源利用率,降低使用成本。鉴于此背景,腾讯云 EMR 推出了托管节点...

cloudbigdata的博客 511

国内GPU算力租用平台

GPU算力租用平台为深度学习、科学计算、图形渲染等领域的研究者、开发者及企业提供了强大的计算支持。在选择GPU算力租用平台时,用户需要综合考虑多个因素,包括平台的性能、成本、可用性、可扩展性、技术支持、安全性及易用性等。以下是对几个国内外知名GPU算力租用平台的详细推荐,每个平台都将从多个维度进行介绍。

jun778895的博客 4974

腾讯云服务器:数字时代的智能算力引擎​

​(故障恢复需数小时)等痛点。腾讯云服务器CVM(Cloud Virtual Machine)通过​。​(平均占IT预算50%)、​。​(扩容周期需3-7天)、​。

2501_91578283的博客 727

智慧之巅:大数据与算力中心的融合演进

在数字化的征途上,大数据与算力中心的融合演进如同一部史诗般的技术交响曲,奏响了智慧时代的最强音。我们见证了数据量的爆炸性增长,从TB到ZB的跃迁,不仅是对存储和处理能力的挑战,更是对创新思维的呼唤。数据处理技术的革新,从批处理到流处理的华丽转身,实时分析技术的崛起,如同夜空中最亮的星,指引着我们探索数据深海的奥秘。算力中心的硬件突破,GPU、TPU等专用硬件的涌现,如同勇士手中的利剑,斩断了计算瓶颈的枷锁。

凡江林的博客 1521

大数据常用度量单位

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Ma...

zhaizhaiben的博客 7254

快速体验!腾讯云算力HAI平台+满血deepseek-R1

近期deepseek继开源V3、R1大模型之后,又开源了Janus-Pro多模态支持,而且还支持app版本、网页版对话。在春节期间更是掀起了一波国产AI的浪潮。但如何更加经济实惠的本地化部署及使用相关大模型,已经有很多文章介绍过了。今天提供一个更加便捷的新选择,腾讯云HAI及TI平台目前已经支持deepseek的R1及V3模型,并且支持从1.5B到70B的参数选项。这篇文章就将介绍下如何快速在HAI平台快速部署deepseek模型。

smallbird108的专栏 1240

数字经济的三大支柱:数据、算法、算力

数据是数字经济时代最重要的生产要素之一,是数字经济的基石,被形象地比作"新时代的石油广义的数据泛指一切客观事物的数字化表示,包括文本、图片、音视频、传感器数据等各类信息,能够被计算机识别、存储和处理。狭义的数据特指经过采集、清洗、加工,能用于分析挖掘的信息资源。大数据技术的发展,让海量、多源、异构、时变的数据资源成为推动经济社会发展的新引擎。数据具有颠覆性的独特属性。一是非竞争性,即数据可以被多次、多方使用而不损耗价值,边际成本几乎为零;

Python_cocola的博客 5256

CI/CD:基于K8s弹性资源池的配置【第一步】自动化创建Jenkins的Agent节点

如何动态的创建Jenkins的Agent节点?需求是想要实现弹性构建,当Jenkins作业启动时按需创建一个构建节点来执行作业。于是研究了下Jenkins的API,分享一下。(点击下面视频可以简单预览效果)待解决问题:以下的代码可以在Pipeline或者ScriptConsole中运行,但是如果Pipeline中存在构建Stage会和agent语句冲突,造成序列化问题。建...

DevOps持续集成的博客 879

CI/CD:基于K8s弹性资源池的配置【第二步】编写Pipeline脚本实现自动化

上一篇文章 CI/CD:基于K8s弹性资源池的配置【第一步】自动化创建Jenkins的Agent节点 我们通过运行Jenkins Groovy脚本来增加了一个Jenkins Agent节点。那么现在思考一个问题,弹性构建的实现方式有多种, 如果我们的实现方式是:运行Pipeline作业时启动一个Jenkins Agent 节点,然后作业结束后回收此节点。该如何实现?大概...

DevOps持续集成的博客 604

腾讯云大数据产品中心总经理刘煜宏:企业全域数据体系建设(附完整PPT)

背景:5月23-24日,以“焕启”为主题的腾讯“云+未来”峰会在广州召开,广东省各级政府机构领导、海内外业内学术专家、行业大咖及技术大牛等在现场共议云计算与数字化产业创新...

腾讯技术工程 1677
上一篇: 持续引领大数据行业发展,腾讯云发布全链路数据开发平台WeData
下一篇: 腾讯云大数据发布最新产品矩阵,助力企业整合打通海量数据
腾讯云大数据
博客等级 码龄6年 348粉丝 220原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值