<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Tencent_BigData的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Tencent_BigData</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Tencent_BigData]]></copyright><item><title><![CDATA[Tencent Kona：OpenJDK贡献全国四连冠，赋能数据科学计算加速]]></title><link>https://blog.youkuaiyun.com/Tencent_BigData/article/details/123916353</link><guid>https://blog.youkuaiyun.com/Tencent_BigData/article/details/123916353</guid><author>Tencent_BigData</author><pubDate>Sat, 02 Apr 2022 11:27:17 +0800</pubDate><description><![CDATA[腾讯Kona 蝉联JDK18中国企业贡献排名第一，连续四次对OpenJDK贡献全国排名第一，本文将介绍Kona在高性能计算引擎方面对OpenJDK社区的贡献。]]></description><category></category></item><item><title><![CDATA[Apache InLong(incubating) 进入1.0 时代]]></title><link>https://blog.youkuaiyun.com/Tencent_BigData/article/details/123137373</link><guid>https://blog.youkuaiyun.com/Tencent_BigData/article/details/123137373</guid><author>Tencent_BigData</author><pubDate>Fri, 25 Feb 2022 17:15:28 +0800</pubDate><description><![CDATA[Apache InLong (incubating) 1.0.0 版本主要特性]]></description><category></category></item><item><title><![CDATA[Apache InLong(incubating) 发布0.11.0版本]]></title><link>https://blog.youkuaiyun.com/Tencent_BigData/article/details/121408399</link><guid>https://blog.youkuaiyun.com/Tencent_BigData/article/details/121408399</guid><author>Tencent_BigData</author><pubDate>Thu, 18 Nov 2021 19:37:49 +0800</pubDate><description><![CDATA[InLong(应龙): 中国神话故事里的神兽，引流入海，借喻 InLong 系统提供数据接入能力。

Apache InLong(incubating) 由原 Apache TubeMQ（incubating）改名而来，伴随着名称的改变，InLong 也由单一的消息队列升级为一站式的数据集成解决方案，支持了大数据领域的采集、汇聚、缓存和分拣功能，用户只需要简单的配置就可以把数据从数据源导入到实时计算引擎或者落地到离线存储。

刚刚发布的 0.11.0-incubating 版本是改名之后的第三个版本，这个.]]></description><category></category></item><item><title><![CDATA[腾讯北大合作的稀疏大模型训练加速方案HET入选国际顶会VLDB]]></title><link>https://blog.youkuaiyun.com/Tencent_BigData/article/details/121408384</link><guid>https://blog.youkuaiyun.com/Tencent_BigData/article/details/121408384</guid><author>Tencent_BigData</author><pubDate>Thu, 18 Nov 2021 19:37:09 +0800</pubDate><description><![CDATA[近日，腾讯TEG数据平台部机器学习团队与北京大学-腾讯协同创新实验室，合作研发了全新的稀疏大模型训练加速解决方案HET，其研究成果《HET: Scaling out Huge Embedding Model Training via Cache-enabled Distributed Framework》已被国际顶会VLDB 2022录用。HET提出了一种新颖的基于Embedding缓存的训练方法，能够显著降低稀疏大模型分布式训练时通信开销，提升模型训练整体效率。

HET目前已正式开源：https://g]]></description><category></category></item><item><title><![CDATA[Firestorm - 腾讯自研Remote Shuffle Service在Spark云原生场景的实践]]></title><link>https://blog.youkuaiyun.com/Tencent_BigData/article/details/121408361</link><guid>https://blog.youkuaiyun.com/Tencent_BigData/article/details/121408361</guid><author>Tencent_BigData</author><pubDate>Thu, 18 Nov 2021 19:36:16 +0800</pubDate><description><![CDATA[图片来源：pexels

背景



Shuffle是分布式计算框架用来衔接上下游任务的数据重分布过程，在分布式计算中所有涉及到数据上下游衔接的过程都可以理解为shuffle。针对不同的分布式框架，shuffle有几种实现形态：

基于文件的pull based shuffle，如MapReduce、Spark。这种shuffle方式多用于类MR的框架，比如MapReduce、Spark，它的特点是具有较高的容错性，适合较大规模的批处理作业。由于实现的是基于文件的shuffle方案，因此失败重跑时只须重..]]></description><category></category></item><item><title><![CDATA[腾讯自研分布式远程Shuffle服务Firestorm正式开源]]></title><link>https://blog.youkuaiyun.com/Tencent_BigData/article/details/121234233</link><guid>https://blog.youkuaiyun.com/Tencent_BigData/article/details/121234233</guid><author>Tencent_BigData</author><pubDate>Tue, 09 Nov 2021 18:40:24 +0800</pubDate><description><![CDATA[11月4日，在2021腾讯数字生态大会上，腾讯宣布开源自主研发的分布式远程Shuffle服务Firestorm。该服务的开源不但可以助推分布式计算的云原生部署，还能解决大数据分布式计算过程中的痛点，提升计算资源的利用率。



图片来源：pixabay

在分布式计算领域，Shuffle过程由于存在着磁盘IO随机读写问题，一直是分布式计算任务的性能瓶颈，除了降低计算任务的运行效率，还降低硬件资源的利用率。同时，由于Shuffle过程对于本地磁盘有容量需求(如Spark计算引擎)，对于计算引擎的云原生化也制造]]></description><category></category></item><item><title><![CDATA[助力成本优化，腾讯全场景在离线混部系统Caelus正式开源]]></title><link>https://blog.youkuaiyun.com/Tencent_BigData/article/details/121234162</link><guid>https://blog.youkuaiyun.com/Tencent_BigData/article/details/121234162</guid><author>Tencent_BigData</author><pubDate>Tue, 09 Nov 2021 18:35:06 +0800</pubDate><description><![CDATA[导读 / Introduction

11月4日，在2021腾讯数字生态大会上，腾讯正式宣布开源全场景在离线混部系统Caelus。

Caelus由腾讯大数据团队联合腾讯多个业务部门共同研发，旨在解决大数据资源缺口问题，通过Caelus在离线混部，扩充大数据任务可用资源，发挥空闲资源更大价值。在腾讯内部，Caelus混部方案已经被大规模应用到广告、存储、大数据、机器学习等多个业务，平均提升30% 资源利用率，节省了上亿成本。

近年来，随着互联网业务的发展，大数据类任务的资源需求呈指数级增长，资源成本问..]]></description><category></category></item><item><title><![CDATA[腾讯蝉联JDK17贡献国内第一，自研Kona JDK两大新版本正式开源]]></title><link>https://blog.youkuaiyun.com/Tencent_BigData/article/details/121147697</link><guid>https://blog.youkuaiyun.com/Tencent_BigData/article/details/121147697</guid><author>Tencent_BigData</author><pubDate>Thu, 04 Nov 2021 17:46:35 +0800</pubDate><description><![CDATA[2021年9月14日，Oracle 正式对外发布新的长期支持版本JDK17。据Oracle官方公告，腾讯Kona JDK再次蝉联JDK17中国企业贡献度排名第一，全球企业贡献度排名第四。在积极参与社区贡献的同时，腾讯继Tencent Kona JDK8、Tencent Kona JDK11开源之后，再次开源Tencent Kona JDK17 以及Tencent Kona JDK11 向量计算版。



积极社区贡献



9月14日，JDK17正式对外发布。据Oracle官方公告，腾讯Kona JDK团队]]></description><category></category></item><item><title><![CDATA[行业首批！基于Angel PowerFL的腾讯云安全隐私计算产品通过 CFCA 评测]]></title><link>https://blog.youkuaiyun.com/Tencent_BigData/article/details/120971189</link><guid>https://blog.youkuaiyun.com/Tencent_BigData/article/details/120971189</guid><author>Tencent_BigData</author><pubDate>Tue, 26 Oct 2021 14:17:18 +0800</pubDate><description><![CDATA[导读 / Introduction

2021年10月19日，中国金融认证中心（CFCA）正式公布首批通过多方安全计算金融应用产品测评产品名单，基于腾讯Angel PowerFL安全联合计算平台打造的腾讯云安全隐私计算产品，凭借出类拔萃的技术、安全与性能表现，成为首批通过该认证的产品之一。



数据是数字经济时代的核心生产要素，它深刻改变着我们的经济形态和生活方式。在数字化转型大背景下，数据的关键地位，敦促着我们既要用好数据，也要保障好数据的安全。随着《中华人民共和国数据安全法》、《中华人民共和国个人..]]></description><category></category></item><item><title><![CDATA[腾讯内部实践分享 | 千节点Alluxio 集群助力游戏 AI 业务]]></title><link>https://blog.youkuaiyun.com/Tencent_BigData/article/details/120821522</link><guid>https://blog.youkuaiyun.com/Tencent_BigData/article/details/120821522</guid><author>Tencent_BigData</author><pubDate>Mon, 18 Oct 2021 10:24:07 +0800</pubDate><description><![CDATA[图片来源：Pexels

本文作者：郑兵、毛宝龙、潘致铮



Alluxio 是一个面向 AI 以及大数据应用，开源的分布式内存级数据编排系统。随着大数据和 AI 业务向 Kubernetes 等容器管理平台迁移，将 Alluxio 作为中间层，为数据查询及模型训练等场景加速，成为各厂商的首选方案。

Alluxio 在游戏 AI 离线对局业务中解决的问题可以抽象为：分布式计算场景下的数据依赖问题，传统的数据依赖的解决方式有：

镜像打包，这种方式隔离性比较好，但使用镜像缓存能力有限，数据更新频繁，每..]]></description><category></category></item><item><title><![CDATA[Apache InLong重磅发布 0.10.0 版本，着力降低用户使用门槛]]></title><link>https://blog.youkuaiyun.com/Tencent_BigData/article/details/120348771</link><guid>https://blog.youkuaiyun.com/Tencent_BigData/article/details/120348771</guid><author>Tencent_BigData</author><pubDate>Fri, 17 Sep 2021 15:15:30 +0800</pubDate><description><![CDATA[导语：Apache InLong 以腾讯内部使用的TDBank为原型，依托万亿级别的数据接入和处理能力，整合了数据采集、汇聚、存储、分拣数据处理全流程，拥有简单易用、灵活扩展、稳定可靠等特性。

Apache InLong(孵化中) 刚刚发布了 0.10.0 版本，该版本是升级为 InLong（中文名：应龙） 后的第二个版本，着力解决InLong应用门槛高问题。该版本吸引腾讯内外 10 多位开发者参与，关闭超过 120 个issue， 开发超过 8 个重要Feature。



Apache InL...]]></description><category></category></item><item><title><![CDATA[自研Java协程在腾讯的生产实践]]></title><link>https://blog.youkuaiyun.com/Tencent_BigData/article/details/120262506</link><guid>https://blog.youkuaiyun.com/Tencent_BigData/article/details/120262506</guid><author>Tencent_BigData</author><pubDate>Mon, 13 Sep 2021 10:53:39 +0800</pubDate><description><![CDATA[导读/Introduction

本文是今年QCon java专场《Java协程在腾讯的生产实践》主题分享，分享团队为腾讯大数据JVM团队。本文主要介绍协程的产生背景、java协程的发展历程、社区官方协程Project Loom的设计与实现，以及腾讯自研协程Kona Fiber的产生背景、设计与实现、性能测试和业务实践。



1. 协程产生的背景



1.1 线程模型

最经典的编程模型是线程模型，它是操作系统层面对cpu的抽象。由于线程模型是一种同步编程模型，它直观、易于理解，因此使用线程模型...]]></description><category></category></item><item><title><![CDATA[联邦学习在腾讯微视广告投放中的实践]]></title><link>https://blog.youkuaiyun.com/Tencent_BigData/article/details/120135813</link><guid>https://blog.youkuaiyun.com/Tencent_BigData/article/details/120135813</guid><author>Tencent_BigData</author><pubDate>Mon, 06 Sep 2021 16:18:22 +0800</pubDate><description><![CDATA[分享人：宋凯 博士

整理者：林宜蓁



导读:

本文从广告主的角度，分享联邦学习实践的经验跟思考。

先介绍业务与技术选型背景：团队项目为用户增长及成本控制，方式为广告渠道投放，投放目标分为拉新、拉活两类。


	拉新时，微视侧端内用户特征稀疏，而广告平台积累大量信息，但仅有有限性的oCPX标准化数据回传。
	
	
	拉活时，微视侧具备用户行为序列等宝贵画像数据，与广告平台特征有互补性，但又无法直接粗暴的与广告平台共享数据。
	
所以，希望微视侧能与广告平台侧利用双方数据，实现收益共赢，但保证数据..]]></description><category></category></item><item><title><![CDATA[腾讯Angel Graph团队刷新GNN最强榜单OGB世界纪录!]]></title><link>https://blog.youkuaiyun.com/Tencent_BigData/article/details/120055275</link><guid>https://blog.youkuaiyun.com/Tencent_BigData/article/details/120055275</guid><author>Tencent_BigData</author><pubDate>Thu, 02 Sep 2021 10:49:27 +0800</pubDate><description><![CDATA[导读/Introduction

近日，在国际顶级图学习标准OGB（Open Graph Benchmark）挑战赛中，腾讯大数据Angel Graph团队联合北京大学-腾讯协同创新实验室，以较大优势在三个最大的OGB分类数据集：ogbn-papers100M、ogbn-products和ogbn-mag三项任务榜单第一！







OGB是目前公认最权威的图学习通用性能评价基准数据集，由斯坦福大学Jure Leskovec教授团队建立并开源，并吸引了斯坦福大学、康奈尔大学、Facebook、N...]]></description><category></category></item><item><title><![CDATA[给Arm生态添把火，腾讯Kona JDK Arm架构优化实践]]></title><link>https://blog.youkuaiyun.com/Tencent_BigData/article/details/119733563</link><guid>https://blog.youkuaiyun.com/Tencent_BigData/article/details/119733563</guid><author>Tencent_BigData</author><pubDate>Mon, 16 Aug 2021 15:06:50 +0800</pubDate><description><![CDATA[Arm架构以其兼具性能与功耗的特点，在智能终端以及嵌入式领域得到了广泛的使用，不断扩大其影响力。而在PC端以及数据中心，之前往往是x86架构在其中发挥着主要的作用。最近，随着人工智能、云计算等技术的兴起，5G网络的不断成熟，万物互联的时代是的应用的需求越来越多样化，使得对于芯片架构的需求也越来越多样化。

Arm架构在提供可靠性能的基础上，低功耗、低开销的特点使得它被越来越广泛的应用到数据中心和云计算中，成为其中必不可缺少的重要组成部分。亚马逊投入大量精力自研Arm服务器，并应用到AWS服务中，最多实现了成]]></description><category></category></item><item><title><![CDATA[北大腾讯联合共建Angel4.0，自研深度学习框架“河图”融入生态]]></title><link>https://blog.youkuaiyun.com/Tencent_BigData/article/details/119531503</link><guid>https://blog.youkuaiyun.com/Tencent_BigData/article/details/119531503</guid><author>Tencent_BigData</author><pubDate>Mon, 09 Aug 2021 10:00:26 +0800</pubDate><description><![CDATA[近日，北京大学-腾讯协同创新实验室（以下简称：实验室）宣布，北京大学与腾讯大数据团队将联合共建Angel4.0——新一代分布式深度学习平台，面向拥有海量训练数据、超大模型参数的深度学习训练场景，为产业界带来新的大规模深度学习破局之策。

实验室成立于2017年，主要在人工智能、大数据等科研领域展开前沿探索和人才培养，由北京大学计算机系副主任崔斌教授担任实验室主任，腾讯公司副总裁、数据平台部总经理蒋杰出任副主任。



实验室打造的Angel分布式机器学习平台（https://github.com/Angel]]></description><category></category></item><item><title><![CDATA[Angel 3.2.0新版本出炉！图计算能力再次加强]]></title><link>https://blog.youkuaiyun.com/Tencent_BigData/article/details/119325219</link><guid>https://blog.youkuaiyun.com/Tencent_BigData/article/details/119325219</guid><author>Tencent_BigData</author><pubDate>Mon, 02 Aug 2021 14:59:18 +0800</pubDate><description><![CDATA[Angel项目的3.2.0版本发布啦！

Angel是腾讯首个AI开源项目，经过多个版本迭代，于2019年在Linux基金会顺利毕业。作为面向机器学习的第三代高性能计算平台，Angel提供了全栈的机器学习能力，并致力于解决高维稀疏大模型训练以及大规模分布式图计算的问题。









在3.1.0的版本中，Angel首次引入了图计算能力，提供了大量开箱即用的图算法，得到了业界广泛的关注和使用。本次版本发布，Angel继续加强了图计算的能力，相较于上个版本，我们做了很多优化并提供了一些新的特性，感兴趣的话]]></description><category></category></item><item><title><![CDATA[「星火计划沙龙视频」云原生数据湖专场]]></title><link>https://blog.youkuaiyun.com/Tencent_BigData/article/details/119105877</link><guid>https://blog.youkuaiyun.com/Tencent_BigData/article/details/119105877</guid><author>Tencent_BigData</author><pubDate>Mon, 26 Jul 2021 11:28:23 +0800</pubDate><description><![CDATA[7月15日，腾讯大数据星火计划技术沙龙第9期《腾讯大数据云产品——云原生数据湖专场》于线上直播。本次沙龙围绕云原生数据湖架构的背景价值展开，详细介绍了腾讯云原生数据湖解决方案，为大家解读了数据湖计算和统一元数据的技术架构。

以下是本次沙龙的直播回放，欢迎收看。




获取讲师PPT，请关注微信公众号“腾讯大数据”，并在后台发送关键字“星火计划-9”。


...]]></description><category></category></item><item><title><![CDATA[星火计划 | Apache InLong一站式大数据接入平台沙龙火热报名中]]></title><link>https://blog.youkuaiyun.com/Tencent_BigData/article/details/118897512</link><guid>https://blog.youkuaiyun.com/Tencent_BigData/article/details/118897512</guid><author>Tencent_BigData</author><pubDate>Mon, 19 Jul 2021 15:38:49 +0800</pubDate><description><![CDATA[导语：随着数据的增长以及业务场景的多元化，消息中间件已经成为IT架构中不可或缺的组件。它可以降低系统间的耦合性与复杂度，提升系统稳定性，为大数据时代的数据采集提供巨大助力。



腾讯大数据在2013年自研了分布式消息中间件系统TubeMQ，并在2019年将其开源，贡献给Apache社区。TubeMQ致力于实现大数据场景下海量数据的高性能存储和传输，承受了腾讯内部日均数十万亿的海量数据场景考验，在性能、稳定性及成本方面优势显著。



近期，团队在TubeMQ已有能力的基础上扩展出数据接入全链路的能力，将其]]></description><category></category></item><item><title><![CDATA[万字长文！深度剖析《数据安全法》下多方数据协同应用和隐私计算发展趋势]]></title><link>https://blog.youkuaiyun.com/Tencent_BigData/article/details/118670045</link><guid>https://blog.youkuaiyun.com/Tencent_BigData/article/details/118670045</guid><author>Tencent_BigData</author><pubDate>Mon, 12 Jul 2021 10:44:36 +0800</pubDate><description><![CDATA[本文作者：程勇



《数据安全法》的表决通过标志着国家鼓励数据依法合规利用、保障数据依法有序流通，明确国家实施大数据战略，推动以数据为关键生产要素的数字经济发展。《数据安全法》强调数据安全与开发利用平衡，保障数据安全与促进数据开发利用并重，在规范数据安全监管与治理的同时，也给多方数据协同应用带来了新的发展机遇。

在此形势下，亟需有效的技术和业务模式创新来实现合规的多方数据协同应用，达到数据安全和数据开发利用的平衡。隐私计算将成为平衡数据安全与应用发展的关键技术支点。本文主要探讨在《数据安全法》框架下..]]></description><category></category></item></channel></rss>