如何为百亿数据请求做资源预估

拼多多算法团队招聘:推荐、搜索与广告算法核心技术解析 推荐系统与搜索算法是电商平台的核心技术支柱,通过多模态特征融合和强化学习实现精准匹配。在工程实践中,算法工程师需要平衡点击率、转化率等多目标优化,同时保障毫秒级响应和系统高可用性。拼多多作为头部电商平台,其算法团队面临千万级SKU和9亿用户的挑战,在推荐系统冷启动、语义搜索优化、广告竞价机制等方面持续创新。本次招聘聚焦推荐算法、搜索排序、广告投放等方向,要求候选人具备扎实的机器学习基础和工程实现能力,能够解决电商场景下的实际业务问题。 阅读详情

如何为百亿数据请求做资源预估

收到需求:每天200亿请求,每个请求3k大小,需要4个副本,数据保留5天,数据有3个不同的主题。数据存储在kafka上,需要多少台机器,机器配置是怎样?

基本准则->先考虑要做什么

1.计算磁盘资源:计算一天的存储数据的增量

2.计算并发资源:QPS

3.计算内存资源:计算kafka内存消耗

计算磁盘资源方法

一天一个副本增量: 200亿*3k = 60T

考虑副本数量:60T*4 = 240T

考虑保留天数:240T*5=1200T

按照满负荷算:每台服务器一般12或16个盘,这里取12台: 需要服务器数量 = 1200T/(2T*12个)=50台

需要机器数量:资源磁盘利用率按照50%算: 应对未来的数据增量。 于是,磁盘使用率降低一半,机器数量需要增加一倍 50台 * 2 = 100台。 ( 1200T/(2T12个50%)=100台)

200亿/s的请求,QPS怎么算, 总集群流量是多少, 选择千兆网还是万兆网?

QPS主要计算高峰时间段的QPS数。

二八法则: 80%的请求在20%的时间产生。

00:00-08:00是请求低峰段

08:00-24:00 这16小时是请求高峰段 : 接收的请求 200亿*80% = 160亿请求

高峰期请求量: 这16小时也有高峰段: 16小时20% = 3.2小时 约等3小时 接收 160亿 * 80% = 128亿 的请求

每秒总QPS: 128亿/(3 * 60 * 60)秒 = 118w/s

每台机器QPS:118w/s / 100 = 1.18万/台 ,

总数据流量大小:每条数据大小3k, 单机流量 1.18w * 3k = 34M/s, 计算有4个副本 34M/s4 = 136M/s, 10个消费者,消费者的流量是34M/s10=340M/s。 总流量=生产流量+消费流量=340M/s + 136M/s = 476M/s

集群环境网卡:选择万兆网卡

每台kafka机器内存大小配置

按照上面配置,100台机器,每台磁盘2T*12个。

已知主题是3个,所以总共3个topic。 为了提高每台机器的cpu利用率,生产消费的并行度,每个topic在每台机器分配5个partition, 单个topic有500个partition(100台机器),4个副本,算上副本500*4=2000个partition,3个topic,就是2000 * 3 = 6000个partition

每台机器partiton数量:60个partition(6000个partition/100台机器)

每个分片日志大小是1G/个文件, 按照kafka把数据在内存读写的特点,把1G文件全部进行缓存,需要6000G内存,6000G/100台=60G/台机器。考虑数据读写很快,不需要把1G的内容全部进行缓存,可以50%或者25%放内存。按照50%进行计算, 每台机器内存需要30G。加上kafka的jvm大小(一般配置6G)和操作系统的内存。配置64G的内存。

CPU核心数选型

kafka的工作线程特点,主要工作线程ServerSocket类,内部封装了acceptor,processor, handler线程。

其他是一些后台线程和定时器线程等。

acceptorprocessorhandler
默认线程数138
建议线程数3932

总线程数量大概100-200个。

安装生产经验

4core的机器,跑几十的线程,CPU跑满

8core的机器,跑几十个线程,OK

16core机器,跑100-200个线程

建议16core以上的机器,例如20,24核心。

Spark学习——使用Spark做CTR预估 赛题信息背景 任务描述:基于用户对广告任务的历史行为和广告任务属性,选择合适的算法预测用户在特定上下文下对某个广告任务的点击概率。 尝试解决的问题:提高广告点击转化率预估的准确性 难点:广告任务相对可推用户数量非常少;有行为的广告任务较少,数据非常稀疏;广告任务在投放周期的不同阶段转化率差异较大;存在误点击噪音数据;有效特征识别困难 数据集 - 训练集很大,采用分割方式进行数据集查看 训练集 [‘label’, ‘uId’, ‘adId’, ‘operTime’, ‘siteId’, ‘slotId’, 阅读详情

相关推荐

【信息科学与工程学】【管理科学】第七十二篇 管理层相对基层员工的信息差/资源差/权力差/认知差01

​ CTO调用Vlong−term​,Rstrategic​,Ppolitical​等高层级参数,重新计算Clevel​(X)。​ 将A部门经理对B部门员工的负面评价,在合适的时机透露给B部门经理,激化部门矛盾,HR总监则作为调解者介入,提升话语权。​ 信息经过VP、总监、经理逐级传递,每一级因自身利益、理解偏差、沟通技巧产生噪声,最终形成基层员工的Ei​(t2)。​ 在A面前说B对他有意见,在B面前说A对他的工作配合不力,让两人互相猜忌,PM则成为唯一的信息枢纽和仲裁者。

weixin_49199313的博客 94

系统流量预估、架构设计方案

QPS预估 每日页面浏览次数 pv = ( 总用户量 * 20% ) * 每天大致点击次数 峰值时间qps =( pv * 80% )/ (每天秒数【86400】 * 20%) * (冗余系数【一般2-5】) 80%的请求在20%的时间里 架构配置 各个组件并发能力基线值 LVS 10W qps Nginx 5w qps MQ 10w qps SpringCloudGateWay 5k qps Tomcat 1k qps MySQL 1.5k qps ...

深度 1407

别再手动巡检了!vRealize Operations Manager 8.x 自动化报告配置全攻略(附模板下载)

本文详细介绍了如何利用vRealize Operations Manager 8.x实现自动化巡检报告配置,大幅提升虚拟化运维效率。通过模板定制、智能调度和自动分发等功能,帮助运维团队告别手动生成报告的繁琐工作,实现90%以上的时间节省。文章还提供了实用的配置技巧和最佳实践,助力企业构建高效的自动化报告系统。

weixin_33806859的博客 298

如何合理估算主机配置需求

如何根据业务场景需求合理的评估所需的主机资源

哈利路亚的收藏夹 2682

使用QGIS配准无人机航片

随着无人机在各个行业的普及,无人机航片成为很多应用系统空间数据的重要来源。无人机航片具有成像快、分辨率高、针对性强的优点,广泛用于保险定损、灾情应急监测、设施巡检、农作物面积调查等方面。 然而,由于种种原因,通过无人机拍摄的照片拼接得到的正射航片与其他地理空间数据叠加时经常出现较明显的偏差,需要进行配准以校正其空间位置,因此,本文将使用QGIS的配准工具演示无人机正射航片配准的过程。 01数据情况 本文选用的示范数据为2020年7月中左右无人机拍摄的河北省某地系列照片,经过拼接得到CG...

QGISClass的博客 5250

电价预测的Transformer实战:从注意力机制到超长序列建模

本文深入探讨了Transformer模型在电价预测领域的实战应用,对比了其与LSTM在处理长序列依赖和误差累积问题上的优劣。文章详细解析了自注意力机制的原理,并提供了处理超长序列的位置编码方法、构建专用预测模型的完整PyTorch代码,以及防止信息泄露的关键技巧。通过实战对比,展示了Transformer在并行计算、长距离建模和预测精度上的显著优势,并分享了应对极端波动和提升模型效率的高级优化策略。

f6g7h8i9j的博客 541

如何估算集群所需的存储、计算资源?

编辑:彭文华来 源:大数据架构师(ID:bigdata_arch)彭友们好,我是你的老彭友。最近有位朋友在群里问:怎么预估大数据集群所需的内存容量?这个问题是大数据架构师的高频面试题,但...

weixin_52346300的博客 7484

删除结点

对给定的单链表 L ,设计一个算法,删除 L 中值为 x 的结点的直接前驱结点。 1 由键盘输入值,换行表示输入结束,根据输入建立单链表。 2 输入链表中的一个元素值,从链表中删除这个元素的前驱结点。 3 对删除元素后的链表元素在屏幕上显示。 测试用例1 11 22 33 44 55 66 77↵ 44↵ 期待输出1 11 22 44 55 66 77↵ #include <iostre...

SChenlyx 1619

关于请求量、请求资源、带宽三者之间测算

125Gbps完整写法是125GBits bits per second,意思是125G比特每秒。1byte=8bits,那么125Gbps实际速率=125/8=15.625GBps,下载速率每秒15.625G。 假设每秒的请求量峰值达到了3.3w qp,加载一张500KB的图片是否会出现宕机情况。下载速率每秒转换成KB:15.625G=16000M=16364000KB 计算每秒请求量峰值时可下载图片大小:16364000KB/3.3w qp=496.48KB 经过测算,请求达到峰值时,单机房很难承

lang_niu的专栏 2296

第二十一篇: `man`, `tldr`, `explain` - 授人以渔的“终极指令”

我们已经一起学习了19个(组)关键命令,从nvidia-smi到kubectl。但这只是GPU运维武器库中的一小部分。技术日新月异,新的工具、新的参数会不断涌现。这个系列的真正目的,不仅是教会你使用这19件“兵器”,更是希望你掌握学习任何一件新兵器的方法论。这套方法论就是你的“终极指令”。授人以鱼不如授人以渔。至此,《GPU运维指令集:20个关键命令的战地手册》系列已全部完结。我们从nvidia-smi出发,一路探索了监控、诊断、容器、集群、网络、性能等各个维度的命令,最后用自动化脚本将它们串联,又用。

weixin_42587823的博客 1353

基于哈夫曼编码的图像加密算法matlab仿真

哈夫曼编码是一种常用的无损数据压缩算法,其基本思想是根据字符出现的频率构造一棵哈夫曼树,将出现频率高的字符编码为短码,出现频率低的字符编码为长码,从而实现数据的压缩。在图像加密领域,哈夫曼编码也被广泛应用于图像加密算法中,基于哈夫曼编码的图像加密算法具有加密速度快、加密强度高等优点。基于哈夫曼编码的图像加密算法的基本思路是将待加密的图像分为多个小块,对每个小块进行哈夫曼编码,然后将哈夫曼编码后的结果进行异或运算,最后将异或运算后的结果重新编码,以实现图像加密。具体步骤如下:将待加密的图像分成多个小块。

平时工作较为繁忙,私信消息一般晚上回复,谢谢大家~~ 266

架构-大数据集群资源评估方法

架构-大数据集群资源评估方法 转载声明 本文大量内容系转载自网络,有删改,并参考其他文档资料加入了一些内容: 1 资源需求背景 二手电商网站需要构建一个Kafka集群,目标是每天抗住10亿请求量。 2 二八法则之QPS预估 每天集群需要承载10亿数据请求,对于普通电商网站而言,一般0点到上午8点请求量很小。 使用二八法则估计: 80%的数据( 8亿)会在其余16个小时(8点-24点)涌入 而且8亿的80%的数据( 6.4亿)会在这16个小时的20%时间( 3小时内)涌入: QPS=6 4000 00

迷路剑客个人博客 5030

[自动化工具] 解放双手的利器:「自动邮件平台」工具助你高效搞定重复通知任务

摘要:自动邮件平台是一款零门槛自动化工具,帮助用户高效处理重复性邮件任务。该平台支持两种调度模式(指定日期和间隔天数),无需编码即可快速设置账单提醒、活动通知等任务。提供免费托管版(小时级调度)和自主部署版(分钟级调度),满足不同精度需求。典型应用场景包括客户跟进、系统监控等周期性任务。用户只需三步即可完成设置,还能扩展定制化功能。该工具让非技术人员也能轻松实现邮件自动化,释放时间专注更重要的工作。

每日出拳老爷子的博客 111

“云”上存储初显规模 如何架构是关键

在安防系统中,存储设备只是给数据提供存储空间,数据存储的意义更多是为了给上层应用提供二次挖掘。目前的智能分析、大数据、图帧等技术都是基于数据存储做的数据挖掘。为了将二次挖掘应用的性能提升到最高,在优化分析算法的同时,在底层存储中将相应参数进行调整,适应高速的并发读写应用。例如现在的大数据就是基于云存储实现。将过车的图片和文本数据存储在云存储中,海量云存储...

weixin_34379433的博客 170

STM32外部中断EXTI原理与飞控实时应用实战

外部中断(EXTI)是嵌入式系统中实现事件驱动和实时响应的核心机制,其本质是将外部电平变化转化为可调度的CPU中断事件。基于ARM Cortex-M NVIC架构,EXTI通过GPIO-EXTI-NVIC三级硬件通路实现低延迟信号捕获,具备边沿触发、优先级管理与挂起控制等关键能力。在四轴飞控、工业传感器、人机交互等对毫秒级响应有强需求的场景中,EXTI显著优于轮询方式,兼顾实时性与CPU资源效率。实际开发需严格遵循SYSCFG映射→EXTI配置→NVIC使能的时序逻辑,并规避常见陷阱如中断号误配、伪触发、低

weixin_36382073的博客 66

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

大数据集群资源预估规划【适用于面试与工作集群规划】

问题导读1.如何判断数据增量?2.QPS如何计算?3.存储空间需要考虑哪些因素?4.内存估算和哪些因素有关?我们在实际工作,或者面试中,经常会遇到这么一个问题,集群该如何规划,一台机器多...

about云 3678

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

kafka性能与资源考虑

Partitions and Memory Usage replica.fetch.max.bytes  每个partition都分配一个buffer给replica,如果分配1M,如果有1000个partition就需要1G的内存需求考虑有充足的内存 fetch.message.max.bytes 同样的考虑也适用于consumer,对于大文件需要确保有充足的内存接收,大文件可能

chuanzhongdu1的专栏 2920

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Spark 性能优化:资源分配

性能调优的王道是分配更多的资源,当目前资源够用的情况下,分配的资源越充分,在性能和速度上的提升越明显。当资源无法分配更多时候才会去考虑后续的一些调优手段。 一,分配的资源有哪些? 1,分配的 executor 数量; 2,每个 executor 需要的 core 数量; 3,每个 executor 需要的内存大小; 4,driver 的内存大小 (这个影响不大) ; 二,在哪里去配置这些资源? ...

weixin_34331102的博客 363

三、Spark集群资源分配及并行度调优

上一篇:二、Spark算子调优最佳实践 1、内存的具体配置及原因 YARN Container里面实际的内存结构,即yarn-cluster模式下Executor内存使用的实现方式,如下图: yarn.nodemanager.resource.memory-mb控制在每个节点上Container能够使用的最大内存。可以使用spark.executor.memory来配置每个Executor使用的内存总量。比如: --executor-memory 8G Executor可使用的内存中,主..

tangxc227的博客 298

如何更好地把控项目进度以及对资源进行估算

本文来自作者 PM圈子-管理 在 GitChat 上分享 「如何更好地把控项目进度以及对资源进行估算」,「阅读原文」查看交流实录。「文末高能」编辑 | 哈比IT 项目管理在当今的 IT 企业运转中占据着举足轻重的位置,是一个项目开发中必不可少的条件,项目的进度决定了研发方的交付时间,也决定了使用者投资后的回报周期。一个项目中需要的资源估算决定了研发方项目管理者对于项目研发的成本预计,也对于项目有一

技术杂谈 3815

阿里容器调度系统Sigma仿真平台Cerebro揭秘

导读:为了保证系统的在线交易服务顺利运转,最初几年,阿里都是在双11大促来临之前大量采购机器储备计算资源,双11之后资源大量闲置。是否能把计算任务与在线服务进行混合部署,在现有弹性资源基础上提升集群资源利用率,降低双11资源新增成本?阿里巴巴研发效能事业部容器调度域,测试开发专家何颖为我们揭秘。 Sigma 是阿里巴巴全集团范围的 Pouch 容器...

weixin_34198797的博客 326

如何使用 Flink 每天实时处理百亿条日志?

“ Sherlock.IO 是 eBay 现有的监控平台,每天要处理上百亿条日志、事件和指标。Flink Streaming job 实时处理系统用于处理其中的日志和事件...

http://www.54tianzhisheng.cn/ 2336

服务器预估指南

服务器预估 服务器*10 北京/16 vCPC 32GB /高IO型 /Ubuntu 16.04 64位 /100GB高效云盘 /VPC专有网络 /200M带宽 按量 云mongoDB *1 北京/3.6+/专有网络/3 Mongos 8核16G /5 Shard 4核8G 180GB存储空间 其他 负载均衡 VPC专有网络 峰值时间每秒请求数:500W PV 单台机器需要 ( 500W * 0....

懒猫慵阳的博客 702

最简单的大数据性能估算方法

大数据的性能是个永恒的话题。不过,在实际工作中我们发现,许多人都不知道如何进行最简单的性能估算,结果经常被大数据厂商忽悠:)。 这个办法我在以往的文章中也提到过,不过没有以这个题目明确地点出来。 其实很简单,就是算一下这些数据从硬盘上取出来用的时间。除了个别按索引取数的运算外,绝大多数运算都会涉及对数据的整体遍历,比如分组汇总统计、按条件查询(非索引字段);那么,这些运算耗用的时间,无论如何不...

shujujiangtang的博客 2157

架构资源估算-学习笔记1

新项目启动和架构设计的时候如何根据系统的容量和性能指标要求得出设备资源的要求 pm关注几个问题: 1、服务器能不能撑得住? 2、数据库要不要分库? 互联网架构设计如何进行容量评估: 【步骤一:评估总访问量】 -> 询问业务、产品、运营 【步骤二:评估平均访问量QPS】-> 除以时间,一天算4w秒 【步骤三:评估高峰QPS】 -> 根据业务曲线图来 【步骤四:评估系统、单机极限QP...

qq_23842575的博客 457
下一篇: kakfa消费者组集群化原理
*星星之火*
博客等级 码龄12年 3799粉丝 222原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值