抖音支付十万级 TPS 流量发券实践

动手点关注 干货不迷路 👆

背景

近几年春节期间,抖音都会为用户带来各式各样的春节活动,每年都会有数亿用户参与其中。2022 年春节,抖音支付也参与了春节活动,面向海量用户发放抖音支付券,帮助用户在抖音春节活动中获得更好体验。对抖音支付来说,这是一个很大的挑战,因为之前抖音支付团队没有真正意义上经历过春节活动这种量级的应用场景,这对抖音支付营销系统是极大的考验。

抖音支付营销系统简介

当前营销系统分层及架构如下:

9dd59bd8d759ff9b0122ad170d9f65c7.png

营销团队业务主要分为三大方向,营销投放、营销活动、营销资产。营销投放主要负责营销权益触达,将营销利益点曝光给用户,营销活动主要负责营销玩法的建设以及权益发放,营销资产则主要负责用户营销资产的管理,比如优惠券、立减的发放及使用等。对于春节发券,链路是由营销活动对接春节主会场玩法,调用营销资产接口将支付券发放到用户手中。

挑战

  • 春节活动并发量大,同时参与领券的人数会非常多,高峰期对系统造成的冲击会非常大。

  • 春节活动面向全国用户,受众非常广,用户体验非常重要,因此发券动作耗时需要尽可能的低。

  • 春节活动参与人数基数非常大,春节期间预计发放的支付券数量也会非常多,资金安全需要重点保障。

方案

性能保障

异步发券-提升接口响应速度

考虑到支付券使用大多在抖音电商场景,且春节期间用户线上购物流量较小,用户领到券后立即使用的概率较低,只需要保证用户领券到实际感知券(查看券或使用券) 的时间延迟可控,那么用户体验就不会受到影响,因此我们采用了异步发券的模式,营销收到上游发券请求后,落单后立即返回,通知上游受理成功。

c70ab9933a16eccb1d69eb4ef0c38b39.png

异步发券带来的一个问题是用户领券后感知到领券成功,实际券最终没有发给用户,大部分为库存不足、风控拦截等原因。针对这个问题,我们与运营同学做了讨论,春节期间营销活动库存会尽量配置的足够多,风控拦截率会降到最低,除异常刷单用户外均不做拦截,尽量降低异步发券失败的可能性。

双层本地队列-提升处理能力,平滑流量

将流量异步化后,因为活动流量大都是心电图的结构,波峰波谷很明显,我们借鉴了生产者-消费者模型,引入了队列来平滑流量。一开始我们考虑了 RocketMQ,但一旦在活动发券核心链路上引入了额外的中间件,便对其产生了依赖,需要额外考虑它的可用性和容灾方案,且 RocketMq 属于远程队列,生产者消费者之间的延迟也不易控制,因此我们设计了一套本地队列模型,来规避上述问题。

778824d60ebb6c8f06caa9d9a3f5e521.png

本地队列模型如上,队列消费端逻辑首先会从分布式限流器获取令牌,获取成功后再从队列中获取数据,新建一个 goroutine 处理活动发奖逻辑,之后重复此流程。

虽然队列本身有削峰的作用,但还是不能精确控制消费速率,当上游流量过大时,队列消费端消费速率也会随之上升,有打崩系统的风险,所以还是需要限流层做较为精准的流量控制,但仅靠接口维度的限流粒度又太粗,所以在业务逻辑层又引入了一层业务限流。这里的分布式限流器使用的支付自研的分布式限流组件,优先会从本地获取令牌,当本地令牌不足时,会从远程批量拉取令牌到本地。

另外这个模型我们使用了双层队列,第一层队列用于保护营销活动层,基于营销活动处理能力设置限流;活动决策通过后,再将请求放入第二层队列,第二层队列的限流则是基于营销资产的系统承载能力来设置。通过双层队列,可以规避掉营销活动和营销资产间的容量差异,两方系统吞吐量都可以最大程度地发挥出来。

库存扣减优化-减热点,降压力

出于性能的考虑,营销资产的券批次库存放在了 Redis,目前营销资产库存操作的逻辑是:收到一个用户的发券请求->读取 Redis,查看发放的券批次库存是否充足->写入 Redis,扣减券批次库存。

为了使 Redis 集群流量均匀,不同券批次的库存数据被打散到了不同的 Redis 分片上,但是当在一段时间内集中发放某一券批次时,流量仍然会大量偏移到一个分片内,造成 Redis 数据热点问题。如果想办法能将某个券批次多次零散扣减库存的操作合并到一起,那么数据热点问题就可以会得到较大的缓解。

21224a9169e01481759405f26ae08de9.png

合并发券逻辑如上图所示,营销活动尝试首先从二层队列中非阻塞地获取 N 条发券请求数据,如果可以拿到,则将这些数据打包发送到营销资产,如果从队列中拿到的数据小于 N 条,说明此刻队列没有更多的数据,直接将券尽快发出;如果获取不到数据,则随机睡眠一小段时间之后,重新尝试获取,如果经过有限次重试后仍获取不到数据,则结束此次循环。

营销资产收到合并发券的请求后,会尝试对请求中相同券批次的发券请求进行合并,扣减库存时进行集中扣减,比如之前为 N 个不同用户发放同一券批次 A,每次库存减 1,需要对 Redis 进行 N 次写操作;合并发券后,只需对 Redis 进行 1 次写操作,库存扣减 N 即可。

另外,扣减库存前的校验逻辑,实际上不需要每次都去访问 Redis,这次校验本身只是一个前置校验,最终扣减是否成功还是取决于之后扣减操作的执行结果,校验的最大作用是在 Redis 库存不足后能将不必要的扣减动作拦截掉,并不需要十分精准,因此我们考虑在应用本地内存维护了一份券批次的库存信息,定时将 Redis 库存信息同步到本地,发券时只需要在本地内存简单校验库存信息即可,不需要再访问远程的 Redis。

优雅退出-完善系统鲁棒性

使用本地队列进行数据处理的一大弊端是内存易失性会使数据无法持久性地存储,在应用重新发布或升级时,本地队列中的发券数据有可能会丢失,用户发券请求无法得到正常处理。

为了内存中的数据不丢失,我们需要能够感知到应用退出的信号,在应用退出前将内存中的数据处理掉。因此我们调研了字节云应用实例的生命周期,在实例终止时,首先会将当前应用实例从服务注册中心中摘除,此操作执行后意味着当前实例不再接收新的外部流量;之后会发送 SIGINT 退出信号给业务进程。应用收到 SIGINT 信号后,不再消费队列中剩余的发券请求数据,而是将这些数据发送到远程队列中,由当前仍存活的其他应用实例来消费这些数据。

fb388c21c8971ac75c67689acf904621.png
兜底补偿-保证最终一致性

尽管已经实现了应用优雅退出,但是在极端情况下,比如 panic、oom、物理机宕机等异常情况引起的应用退出,应用是接收不到 SIGINT 信号的,也就无法执行优雅退出的业务逻辑。因此我们额外增加了兜底补偿机制,通过定时任务扫表,将卡在中间状态时间较久的数据重新投递到本地队列中进行处理。

622786c5e3305e0c0eed4b9c8cbf8991.png

既然有了定时任务做兜底补偿,那么优雅退出逻辑是否还有存在的必要呢?其实还是有必要的,当应用上线过程中会发生频繁的应用重启,此时很可能存在大量本地队列的请求未得到处理,如果仅依赖定时任务兜底处理,那么用户从领券到实际收到券的时延可能会非常大,有可能会造成用户体验变差。因此优雅退出和兜底补偿是一个互补的关系,优雅退出最大程度保证用户体验,兜底补偿保证数据的最终一致性。

绿色通道-提升用户体验

异步发券的假设是用户从领券动作发生,到实际感知到券的存在,中间是有一段时间缓冲的,但是用户有可能领到券后直接进入春节钱包查看,如果此时异步发券还未完成,有可能会造成客诉。针对这种情况,我们与上游春节主端做了约定,当用户领券后短时间内进入春节钱包查看优惠券时,上游会再次调用发券接口,并增加绿色通道的标识,我们收到这个标识后会将异步发券变更为同步,优先为当前用户发券,保证用户体验。

资金防控

除了性能方面的保障,资金安全也需要重点关注,在本次春节发券活动中,我们主要做了以下防控措施。

幂等校验

每一次发券动作都会生成一个全局唯一的序列号,发券时会将序列号作为唯一索引落入数据库中,当发生用户连续点击领券或网络异常重试等情况时,相同序列号由于唯一索引冲突落库无法成功,从而避免重复发券带来的资金损失。

用户维度领取限制

通过序列号进行幂等校验可以解决一部分问题,但对于一些较为专业的黄牛党来说,可能会绕过这个限制,通过伪造序列号的方式绕过幂等校验。对于这种情况,我们维护了一份用户券批次的领取数据,发券会校验每个用户是否达到了领取上限,未达到领取上限则会正常发券,同时对用户领取记录进行更新,否则终止发券动作。

券批次组互斥

用户维度领取限制主要防止同一用户多次领取同一批次的可能性,但是在整个春节活动中,运营同学可能会发放多个用途不同的券批次,但是发放的群体有可能会重叠甚至是同一批,如果对用户多次发放不同批次的券,有可能会拉高营销成本。基于以上原因,我们抽取出了券批次组的概念,处于同一组的券批次,营销目的基本是一致的,比如都是拉新、促活或留存的目的,当用户领取了券批次组内的一种券后,用户便不可以再领取组内的其他券批次,即组内的券批次间为一种互斥关系,通过这种方式避免造成营销费用重复补贴。

4d7eb3db5c9e9d2661a26b70a74e2028.png
库存防超卖

上文提到过,营销券批次的库存数据存放在了 Redis,每次对 Redis 进行库存扣减时,可能会存在网络超时、失败等异常情况,造成扣减库存的结果处于未知状态。当这种情况出现时,我们选择"容忍",认为发券失败,直接结束发券逻辑,不做回滚处理;扣减库存成功后,再为用户实际发券,如果发券失败,此时可以尝试回滚 Redis 库存,因为已经确定本次请求成功扣减了库存,但是回滚失败,不再做额外的重试处理。

85579536ef3ebd2db13d6c5ec368f7b4.png

上述方案,有可能造成库存少卖,但这种较保守的策略可以有效防止库存超卖的可能性,可以看做在数据一致性和可用性之间的一种取舍与平衡。

风控平台接入

在发券链路中,我们也接入了字节内部的风控平台,风控平台会采集分析用户及设备等信息,通过风险评估将黄牛及恶意用户识别出来,拦截发券动作,避免潜在的资损产生。

数据监控与核对

除了以上的资金防控措施外,我们还对发券活动做了大量监控,包括券批次发券量,券批次发券速率、本地队列堆积情况、本地队列消费者速率等等,当监控数据出现同比或环比异常时会及时报警并人工介入排查。另外,当券批次发放完毕后,我们会再次核对数据的一致性,包括比对用户发放券张数与库存消耗数量是否一致、校验单用户是否超过券批次领取上限等等。

总结

经过以上方案的优化,我们顺利的支撑了今年的春节主会场发券活动,并取得了不错的效果:

  • 系统上

    • 营销整体对外可承接十万级 TPS 的发券吞吐量。

  • 业务上

    • 春节期间发放了数千万张抖音支付、DOU 分期券,支持了抖音支付、DOU 分期两大核心业务的活动诉求。

    • 99%的券可以在 0.5s 内发放到用户账户中,异步发券实际延迟很低,用户体验较好,符合业务预期。

后续规划

经过今年春节活动流量的考验后,营销沉淀下了不少经验和系统能力,不过仍有需要后续持续迭代和完善的地方:

  • 异步发券能力标准化。我们初步尝试了异步发券并应用在春节活动中,取得的效果不错,可以预见之后的 618、双十一等大促节日仍会有很多适合异步发券的场景,因此我们准备将营销对外的发券接口标准化,将异步发券作为一种可选能力,与接入方、场景等关联起来,做到发券模式的灵活选择与配置。

  • 本地队列模式推广。本次设计并实现的双层本地队列,很好地完成了发券任务处理,任务执行相比远程队列时延更低,队列分层、限流、优雅退出、补偿等辅助功能对系统鲁棒性也有较好的保障,后续我们会将此模块抽象成一个通用的小框架,使其可以支持更多适合异步处理的业务场景。

相关推荐

2024 抖音欢笑中国年(五):Wasm、WebGL 在互动技术中的创新应用

前言随着 Web 前端技术的不断发展,越来越多的新兴技术方案被引入到 Web 开发中,其中 Wasm 和 WebGL 作为前端领域的两大利器,为开发者带来了更多的可能性。本文将结合2024 年抖音欢笑中国年的部分项目,重点介绍如何利用 Wasm 和 WebGL 对目前流行的一些前端互动技术(比如 Lottie、渲染引擎、动画图片等)进行创新和实践,利用 Wasm 和 WebGL 等新技术方案的特性...

字节跳动技术团队官方博客 2万+

2024 抖音欢笑中国年(四):渲染技术实践与探索

作者:陈瑞、欧阳浩铸、王武俊、倪梵云前言抖音在2024年春节期间推出了欢笑中国年系列活动,为用户带来了全新的体验和乐趣。而SAR Creator则为该项目研发工作提供了重要的技术支持。SAR Creator是一款基于 Typescript 的高性能、轻量化的互动解决方案,目前支持了浏览器和跨端框架平台,服务于字节内部的各种互动业务。这些绚烂多彩的互动场景当然也离不开实时渲染技术的支持,因此本文将专...

字节跳动技术团队官方博客 2万+

2024 抖音欢笑中国年(三):编辑器技巧与实践

前言本次春节活动中,我们大部分场景使用内部的 SAR Creator互动方案来实现。SAR Creator 是一款基于 TypeScript 的高性能、轻量化的互动解决方案,目前支持了Web和字节内部跨端框架平台,服务于字节内部的各种互动业务,包括但不限于抖音春节、抖音直播礼物、抖音UG活动等。SAR Creator 编辑器支持了图形化界面,提供了各类完善的系统(光照、动画、脚本等)供用户快速便捷...

字节跳动技术团队官方博客 1万+

2024 抖音欢笑中国年(二):AnnieX互动容器创新玩法解析

本文基于24年抖音春节活动业务背景,介绍了字节跨端容器AnnieX在游戏互动套件上的探索,致力于提升容器在游戏互动场景的优化能力。业务背景AnnieX作为字节一方游戏统一容器,服务字节内部电商、直播、UG等跨端场景业务。在字节一方游戏互动场景,有大量的一方游戏业务对容器有特定的流量、端能力和游戏优化的诉求。因此我们不断深入互动游戏业务特点,为字节游戏提供完善游戏端能力和流量运营能力,同时提供游戏互...

字节跳动技术团队官方博客 1万+

2024 抖音欢笑中国年(一):招财神龙互动技术揭秘

字节跳动旗下的抖音等 App 在 2024 年春节期间推出了欢笑中国年系列活动,在实现增长业务目标的同时,为用户带来了全新的体验和乐趣。「招财神龙」是其中的一个重要玩法。前言本次春节活动,使用到了字节内的主要前端、跨端、互动技术产品。主要涉及:跨端框架提供了首屏直出的方案使其具有较短的首屏时间,能够大大提升业务加载成功率。跨端框架也提供了 Canvas 作为 SAR Creator 等渲染引擎的...

字节跳动技术团队官方博客 1万+

Monorepo 解决方案 — 基于 Bazel 的 Xcode 性能优化实践

背景介绍书接上回《Monorepo 解决方案 — Bazel 在头条 iOS 的实践》,在头条工程切换至 Bazel 构建系统后,为了支持用户使用 Xcode 开发的习惯,我们使用了开源项目 Tulsi 作为生成工具,用于将 Bazel 工程转换为 Xcode 工程。但是在使用的过程中,我们发现了一些问题,其中影响较大的是,Xcode 工程卡顿:对于头条这种大型项目来说,Xcode 卡顿一直是本地...

字节跳动技术团队官方博客 1万+

抖音 ANR 自动归因平台建设实践

背景介绍本文在 2024 年初最新一期『抖音客户端基础技术大揭秘』技术沙龙活动中已做过专题分享,本次将内容重新整理文章进行分享。公众号后台回复技术沙龙可查看沙龙回放及 PPT~抖音作为一个超大型的应用,我们在 ANR 问题治理上面临着很大的挑战。首先对于存量问题的优化,由于缺少有效的归因手段,一些长期的疑难问题一直难以突破解决,例如长期位于 Top 1 的 nativePollOnce 问题。同时...

字节跳动技术团队官方博客 2万+

CVPR 2024 | CAMixerSR 动态注意力分配的超分辨率加速框架

背景随着相关技术和应用的发展,比如超高清屏幕、虚拟现实(VR)等沉浸式体验的增加,用户对超高分辨率图像和视频的需求变得越来越强烈。在这些场景中,图像的质量和清晰度对于提供最佳的用户体验至关重要。超高分辨率不仅能提供更清晰、更真实的视觉效果,还能在一定程度上增强人们的互动和沉浸感,在一些VR场景中我们需要8K甚至16K的才可以满足需求。然而要生成或者处理这些超高分辨率的内容,对算力的要求也是与日增长...

字节跳动技术团队官方博客 1万+

CVPR 2024 | Modular Blind Video Quality Assessment:模块化无参视频质量评估

无参视频质量评估 (Blind Video Quality Assessment,BVQA) 在评估和改善各种视频平台并服务用户的观看体验方面发挥着关键作用。当前基于深度学习的模型主要以下采样/局部块采样的形式分析视频内容,而忽视了实际空域分辨率和时域帧率对视频质量的影响,随着高分辨率和高帧率视频投稿逐渐普及,特别是跨分辨率/帧率视频转码档位画质评估场景中,这种影响变得更加不可忽视。在本文中,我们...

字节跳动技术团队官方博客 1万+

2024 AI & 前端:回首展望,光芒未至,破晓之前!

前言回望 2023 年,ChatGPT 的突然爆火,让 AI 无疑成为最为值得注目的新兴领域之一,我们也一起见证了生成式 AI 的寒武纪大爆发。这一年来,国内外的生成式 AI 、大模型和相关产品以令人眼花缭乱的速度更新迭代,新的创业浪潮风起云涌。在这 AI 浪潮下,也让我们有了新的开发思考,探索着在各个环节中“前端 & AI”的应用场景。勇于探索的前端开发者们已经开始挥舞着 AI 的“魔法...

字节跳动技术团队官方博客 1万+

Kotlin 云端差分缓存技术

本文由字节跳动 Buildinfra 团队出品。在我们的工程上线 Monorepo 全源码后,Kotlin 编译成了整个编译中最耗时的步骤,全源码过程中大量的 BuildCache Miss 导致我们的编译数据落后原来多仓二进制时代很多,且业界没有相关的解决方案。本篇文章我们来具体阐述下 BuildInfra 团队自研的解决方案 - Kotlin 云端差分方案的原理和技术实现。一、Monorepo...

字节跳动技术团队官方博客 1万+

字节跳动基础架构SRE-Copilot获得2023 CCF国际AIOps挑战赛冠军

近日,2023 CCF国际AIOps挑战赛决赛暨“大模型时代的AIOps”研讨会在北京成功举办,活动吸引了来自互联网、运营商、科研院所、高校、软硬件厂商等领域多名专家学者参与,为智能运维的前沿学术研究、落地生产实践打开了新思路。决赛中,从初赛两百多支队伍中脱颖而出的十支入围队伍分别展示了各自的方案,并进行了现场答辩,评审专家从选题方向、创新性、实用性、完整度和实验复现结果等多角度进行了综合评定,最...

字节跳动技术团队官方博客 2万+

字节跳动百万级Metrics Agent性能优化的探索与实践

背景metricserver2 (以下简称Agent)是与字节内场时序数据库 ByteTSD 配套使用的用户指标打点 Agent,用于在物理机粒度收集用户的指标打点数据,在字节内几乎所有的服务节点上均有部署集成,装机量达到百万以上。此外Agent需要负责打点数据的解析、聚合、压缩、协议转换和发送,属于CPU和Mem密集的服务。两者结合,使得Agent在监控全链路服务成本中占比达到70%以上,对Ag...

字节跳动技术团队官方博客 1万+

西瓜视频RenderThread引起的闪退问题攻坚历程

背景影响西瓜之前存在过一类RenderThread闪退,从堆栈上看,全部都是系统so调用,给人的第一印象像是一个系统bug,无从下手。闪退集中在Android 5~6上,表现为打开直播间立即闪退。该问题在2022年占据Native Crash Top5,2023年更是上升到到Top1。因此有必要投入时间和精力再重新审视一下这个问题。在历经多周的源码分析和排查后,逐步明确了问题根因并修复,最终取得了...

字节跳动技术团队官方博客 2万+

字节电商双11 大促容量保障是如何做的?

前言Rhino 简介Rhino是字节自研全链路容量评估产品,致力于构建完整的全链路容量评估解决方案(覆盖:容量预估->资源准备->数据准备->容量验证->监控->分析->决策->处理反馈);围绕容量在稳定性、成本、效率 三方面提供业务全方位基础支撑。Rhino 目前已经成为字节各业务容量评估主流解决方案,并且历年来在业务大型活动稳定性保障中(抖音春节项目、...

字节跳动技术团队官方博客 10万+

使用火山引擎 APMPlus 解决抖音Top 1 Java 崩溃的通用优化方案

背景近3个月,抖音 Android 版面临一个多次触发线上报警的崩溃问题,全量版本和灰度版本的异常数据激增,该问题不仅容易触发报警,更成为了 Java Top 1 崩溃问题,带来巨大困扰,急需攻坚解决。本文展现了具体的分析过程、优化思路和解决方案,同时提供了已集成该方案的实用工具。初步分析多维特征我们以某发版期间数据为例进行分析:机型方面:比较分散,有聚集部分samsung sm-s9180 占比...

字节跳动技术团队官方博客 2万+

用 Addon 增强 Node.js 和 Electron 应用的原生能力

前言Node.js Addon 是 Node.js 中为 JavaScript 环境提供 C/C++ 交互能力的机制。其形态十分类似 Java 的 JNI,都是通过提供一套 C/C++ SDK,用于在 C/C++ 中创建函数方法、进行数据转换,以便 JavaScript / Java 等语言进行调用。这样编写的代码通常叫做 Bindings。此外还有基于 C ABI Calling Convent...

字节跳动技术团队官方博客 2万+

火山引擎 ByteHouse 的增强型数据导入技术实践

作为企业数字化建设的必备要素,易用的数据引擎能帮助企业提升数据使用效率,更好提升数据应用价值,夯实数字化建设基础。数据导入是衡量OLAP引擎性能及易用性的重要标准之一,高效的数据导入能力能够加速数据实时处理和分析的效率。作为一款OLAP引擎,火山引擎云原生数据仓库ByteHouse源于开源ClickHouse,在字节跳动多年打磨下,提供更丰富的能力和更强性能,能为用户带来极速分析体验,支撑实时数据...

字节跳动技术团队官方博客 1万+

打造企业级智能问答系统的秘密:如何使用云数据库 PostgreSQL 版实现向量检索

本文就如何利用火山引擎云数据库 PostgreSQL 版和大语言模型技术(Large Language Model,简称 LLM),实现企业级智能交互式问答系统进行介绍。通过本文,你将会了解交互式问答系统的原理,学习 PostgreSQL 的向量化存储和检索技术,以及大语言模型交互技术等。背景在大数据的浪潮下,众多企业建立了自己的知识库,以便于信息检索和知识查询。然而,随着知识库内容的膨胀,传统的...

字节跳动技术团队官方博客 2万+

抖音大型直播的画质优化实践

面临挑战随着抖音内容生态的不断丰富,越来越多的大型赛事在抖音平台进行直播,世界杯/春晚/亚运会等各项赛事节目引来大量用户观看。卡塔尔世界杯期间,抖音提供的稳定高质直播画面为观众带来了完美的观赛体验,决赛的 PCU 高达 3700W+。不同赛事节目涉及链路众多,且不同赛事之间存在差异,如何保障各链路的画质稳定并进一步提升画质,是一个巨大的挑战。如何应对挑战?画质优化链路大型赛事直播涉及链路较长,不同...

字节跳动技术团队官方博客 2万+

抖音直播新一代BVC编码器正式亮相

面临挑战在直播行业发展如火如荼的今天,用户对视频体验的要求也水涨船高。视频基础体验的关键要素包括清晰度、流畅度、低延迟等,而这些要素的“第一性原理”,就是视频本身的编码效率,也就是压缩率。视频编码是整个技术体系的基座,编码效率的显著提升,能够在同等码率下极大提高画质,从而改善用户体验。视频编码效率的重要性不言而喻,但进一步地提升也并非易事,尤其在直播场景中,对编码速度、延迟、码率控制等方面都有很高...

字节跳动技术团队官方博客 7356

Go Metrics SDK Tag 校验性能优化实践

背景Metrics SDK 是与字节内场时序数据库 ByteTSD 配套的用户指标打点 SDK,在字节内数十万服务中集成,应用广泛,因此 SDK 的性能优化是个重要和持续性的话题。本文主要以 Go Metrics SDK 为例,讲述对打点 API 的 hot-path 优化的实践。用户在使用 SDK API 进行打点时,需要传入指标对应的 Tag:tags:=[]m.T{{Name:"foo...

字节跳动技术团队官方博客 1万+

云上智能驾驶三维重建最佳实践

智能驾驶技术的不断发展,正在改变着我们的出行方式和交通系统。作为其中的一个关键技术,三维重建在智能驾驶系统中起着重要的作用。除去车端本身的感知、重建算法,自动驾驶技术的落地与发展需要庞大的云端重建能力支撑,火山引擎多媒体实验室通过行业领先的自研三维重建技术,结合强大的云平台资源与能力,助力相关技术在云端大规模重建、自动标注、真实感仿真等场景的落地与应用。本文重点介绍火山引擎多媒体实验室三维重建技术...

字节跳动技术团队官方博客 6305

火山引擎实时、低延时拥塞控制算法的优化实践

摘要火山引擎智能拥塞控制算法 VICC(Volcano Intelligent Congestion Control)是一种自适应的拥塞控制算法,旨在解决全球不同网络环境下,不同音视频应用对带宽利用率和延时的差异化要求。它结合了传统拥塞控制算法(如 GCC 和 BBR)的优点,并且能够根据不同的网络条件、业务偏好和码率特征进行自适应调整,包括自适应拥塞响应速度、自适应带宽探测幅度、自适应丢包检测策...

字节跳动技术团队官方博客 6735

veImageX 演进之路:Web 图片加载提速50%

背景说明火山引擎veImageX演进之路主要介绍了veImageX在字节内部从2012年随着字节成长过程中逐步演进的过程,演进中包括V1、V2、V3版本并最终面向行业输出;整个演进过程中包括服务端、客户端、网络库、业务场景与优化等多个角度介绍在图像处理压缩、省成本与体验优化的经验与方案;本篇文章重点介绍在web端演进和提供的能力,图片是 Web 站点中的重要元素,图片体积、格式、分辨率以及渲染方式...

字节跳动技术团队官方博客 6589

自研多模态追踪算法 PICO 为「手柄小型化」找到新思路

作者:张韬、林泽一 、闻超 、赵洋研发背景作为头戴的追踪配件,VR手柄可以通过HMD(头戴显示设备)的inside-out光学追踪定位原理,计算出手柄的空间运动轨迹,同时结合6轴传感器实现6DoF空间定位。与此同时,结合手柄控制器的物理按键、马达反馈、摇杆等,用户还能获得逼真、细腻的触觉反馈,进一步增强虚拟现实人机交互的能力以及沉浸感,这也是目前无手柄方案所难以实现的。目前主流VR手柄的追踪技术方...

字节跳动技术团队官方博客 7821

如何利用播放器节省20%点播成本

点播成本节省的点其实涉及诸多部分,例如:CDN、转码、存储等,而利用播放器降本却是很多客户比较陌生的部分。火山引擎基于内部支撑抖音集团相关业务的实践,播放器恰恰是成本优化中最重要和最为依赖的部分。火山引擎的视频团队做了份数据统计,在一个很经典的视频业务中,我们在2022年至2023年大约1年半的时间里,针对这个业务进行了33次成本优化点,其中13次是播放器主导的优化,其余的有12次也是需要播放器强...

字节跳动技术团队官方博客 6176

火山引擎 ByteHouse:ClickHouse 如何保证海量数据一致性

背景ClickHouse是一个开源的OLAP引擎,不仅被全球开发者广泛使用,在字节各个应用场景中也可以看到它的身影。基于高性能、分布式特点,ClickHouse可以满足大规模数据的分析和查询需求,因此字节研发团队以开源ClickHouse为基础,推出火山引擎云原生数据仓库ByteHouse。在日常工作中,研发人员经常会遇到业务链路过长,导致流程稳定性和数据一致性难保障的问题,这在分布式、跨服务的场...

字节跳动技术团队官方博客 6900

抖音集团都在用的画质评估工具,确定不试试吗?

导读本文从抖音集团内部画质评估体系的建设历程着笔,主要分享了画质评测对于业务的重要性、主要应用场景和内部产品的一些典型实践案例。通过分享业务视角遇到的一些问题和我们的解决思路,希望能抛砖引玉,为遇到类似困扰的伙伴们提供有价值的参考。画质评估体系建设历程为何评测画质如此重要?我们通过线上业务大量实验发现,图片画质优劣对点击率、 停留时长等消费类指标有正相关影响,间接影响用户收益指标。因此,建设一套行...

字节跳动技术团队官方博客 7941

VLDB 2023 | CDSBen: 字节跳动 veDB 数据库存储系统性能测试模型

背景随着业务爆炸式增长与云原生技术的日渐成熟,大量云原生分布式数据库产品如雨后春笋般涌现,其中一部分主打 OLTP 场景的分布式数据库强调的是从计算-存储分离架构获得弹性收益;对于业界各种计算-存储分离架构的数据库而言,怎么用真实的端到端数据库 workload 去 benchmark 其底层存储系统一直存在以下难题:对于数据库专用存储系统,不存在如 fio 一样的“事实标准” benchmark...

字节跳动技术团队官方博客 5896
上一篇: 字节跳动开源 Go HTTP 框架 Hertz 设计实践
下一篇: 融合模型权限管理设计方案
 字节跳动技术团队
字节跳动技术团队 企业官方账号 企业官方账号
博客等级 码龄7年 8153粉丝 316原创
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值