吊打面试官之集群规模计算

最新推荐文章于 2025-01-14 21:51:12 发布
最新推荐文章于 2025-01-14 21:51:12 发布
阅读量1.3k 收藏 2
点赞数
分类专栏： bigdata 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_42706464/article/details/108651475
版权

吊打面试官之集群规模计算

1.如何确定集群规模？（假设，每一台服务器8T磁盘，128G）

  • 每天日活跃用户100w，每一个人一天平均100条；100w*100条=10000w
  • 每条日志1k左右，每天1亿条；10000 0000 /1024/1024=约100G
  • 半年内不扩容服务器来算；100G*180天 = 约18T
  • 保存3副本；18T*3 = 54T
  • 预留20%~30%Buf = 54T/0.7=77T
  • 到这里；约8T*10台服务器

2.如果考虑数仓分层？
服务器将近在扩容1-2倍

【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)
微信搜：import_bigdata，大数据领域硬核原创作者
07-25 4198
????欢迎关注博客主页：https://blog.youkuaiyun.com/u013411339 ????欢迎点赞 ???? 收藏 ⭐留言 ???? ，欢迎留言交流！ ????本文由【王知无】原创，首发于 优快云博客！ 声明：本篇博客在我之前发表的文章基础上进行了大量更新，旨在给大数据领域的新人提供一份相识的，未来天花板较高的学习路线。 在原文的基础上，新增了大数据最火热方向的详细学习路径，例如Flink和Spark的详细学习路径。 并且在面试部分进行了整理，将过去我个人面试超过2000+人次的经历进行了系统
mysql5.7性能提升一百倍调优宝典
热门推荐
打造全国最全的AI Agent开发知识领域的博客
05-06 1万+
全文中一共有常用的（事实上你如果花1-2周阅读、理解、自己动手设一下后是需要这么多参数的）76个参数，我是按照： 每一个参数干吗？ 在某些典型硬件配置下的db上参数该设多少？ 设会怎么样？ 不设会怎么样？ 有什么坑如何填坑？ 有些参数怎么算、算法又如何 这种style来写的，具体请看文档！ 一千个DBA就有一千种配置方式! 大家一定记得不要轻易去看网上，要看只看官网！网上很多博客都...
如何确认集群规模？
qq_45862976的博客
03-03 3309
如何确认集群规模？（假设：每台服务器8T磁盘，128G内存） 假设：计算 每天日活跃用户100万，每人一天平均100条：100万 * 100 = 1亿条； 每天日志1k左右，每天1亿条：1k * 100000000 / 1024 / 1024 = 约100G； 半年内不扩张服务器来算：100G * 180天 = 约18T； 保存3副本：18T * 3 = 54T； 预留20%~30%Buf = 54T/0.7 = 77T； 算到这里，总结下来：数量为：77T / 8T ，约10台。 和 ...
老板让我牵头搞ELK，我该如何确定ES的集群规模？
方志朋的博客
11-15 266
点击关注公众号，Java干货及时送达????来源：blog.youkuaiyun.com/Beijing_L/article/details/122730110一、硬件资源如何分配二、根据数据量确定集群规模三、基准测试四、索引基准测试五、搜索基准测试六、结论新人使用Elasticsearch可以轻松上手，快速构建高可用集群。当第一个Elasticsearch集群建成后，几分钟就可以实现索引和搜索。但是，对于生产环境...
如何确认数仓集群规模
想练武，就得下功夫
10-22 361
从开发到生产上线，如何确定集群大小?
Ververica的博客
02-05 1282
翻译｜毛家琦校对｜秦江杰在 Flink 社区中，最常被问到的问题之一是：在从开发到生产上线的过程中如何确定集群的大小。这个问题的标准答案显然是“视情况而定”，但这并非一个有用的答案。...
不开玩笑，背完这些面试题就能吊打面试官 —— Redis
最新发布
xyendjsj的博客
01-14 605
背完这些面试题，你的 Redis 就无敌了
Redis常见面试题你都掌握了没
程序媛小琬的博客
09-13 539
缓存是高并发场景下提高热点数据访问性能的一个有效手段，在开发项目时会经常使用到。
2021年最新版68道Redis面试题，20000字干货，赶紧收藏起来备用！
yyyy_11119的博客
09-08 437
花了大量时间整理了这套Redis面试题及答案，希望对大家有帮助哈~ Redis(Remote Dictionary Server) 是一个使用 C 语言编写的，开源的（BSD许可）高性能非关系型（NoSQL）的键值对数据库。 Redis 可以存储键和五种不同类型的值之间的映射。键的类型只能为字符串，值支持五种数据类型：字符串、列表、集合、散列表、有序集合。 与传统数据库不同的是 Redis 的数据是存在内存中的，所以读写速度非常快，因此 redis 被广泛应用于缓存方向，每秒可以处理超过 10万次读写操作，
Elasticsearch 集群规划- 单台机器核心数计算公式
Angus
03-08 1191
在做集群规划的时候，到底需要给集群的每个节点多少个核心数？这个问题一直困扰了我很久。最近一段时间做千亿数据，PB存储量集群规划的时候，突然想明白了这件事，大致可以用一个公式来计算！ 我觉得这是一个非常重要的问题，非常值得重视。其实所谓的集群规划，无非就是根据数据量评估出需要的es节点数，每个节点应该需要多少的CPU，多少的磁盘，多少内存。
大数据hadoop集群运算
hjt66666的博客
12-02 779
一、集群搭建 1）安装操作系统以及免密环境 所用工具，如图1所示： 图1 vm虚拟机和镜像文件 [1]新建虚拟机，点击下一步，如图1-1-1所示。 图1-1-1 新建虚拟机 [2]选择“稍后安装操作系统”，点击下一步，如图1-1-2所示。 图1-1-2 手动安装Linux [3]选择“客户机操作系统“为Linux，版本选择CentOS8 64位 如图1-1-3所示。 图1-1-3 选择操作系统 [4]命名虚拟机 如图1-1-4所示。 图1-1-4 命名虚拟机 [5]指定磁盘容量，使用默认就行
面试官：谈谈你对大数据平台架构的理解?
NBA首席形象大使坤坤
07-13 924
笼统的来说，大数据的架构一共有五层。 首先是数据源层 即最原始的数据层。数据在这一层里，还只是杂草地里的野菜。如果要问这片地的具体信息，目前来讲有三个地方： 一个地方是企业内部自有数据，例如淘宝、京东等电商平台的用户信息、订单信息、商品信息等； 另一个地方是第三方数据，即专门做数据买卖的公司。现在国家对数据和个人隐私的重视，导致这类数据交易的公司和平台逐渐息声； 还有一个地儿是互联网数据。这片土地上的宝藏就太多太多了，什么天气数据、公司信息、航班信息等等，五花八门，让人眼花缭乱。 在数据源和数据存储之间
Hadoop详细解析
woaini886353的博客
05-10 3371
背景知识 1.1、企业数据部的一般组织结构 企业数据部的一般组织结构，适用于大中型企业。 1.2、企业数据部的业务流程分析 业务流程： 电商业务人员：针对活动专题页(活动的效果)有业务需求 活动页的用户访问数、用户下单数、用户支付数、用户退单数 数据部部门： 数据分析人员（写sql），结果对外提供 ...
Spark应用程序集群资源评估公式
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
04-23 759
Spark应用程序集群资源评估公式
大数据项目实战之数据仓库：用户行为采集平台——第2章 项目需求及架构设计
yiluohan0307的专栏
03-06 2338
大数据项目实战之数据仓库：用户行为采集平台——第2章 项目需求及架构设计
集群与容器浅析
喵喵的技术博客
10-17 4233
集群概念通常用来表示计算机网络集群架构，在如今互联网时代网络服务几乎都要依托集群系统进行架构，传统意义上的集群系统一般是指分布式应用集群，比如Jenkins所支持的Master/Slave架构就是典型意义上的应用集群系统，此时应用集群所依托的物理机或者操作系统这一层级的集群概念往往会被忽略掉，而在虚拟化技术和容器技术出现之后，PMC这一概念就要被明晰并作为集群架构构建的基础。虚拟化技术的核心是hyp
什么是集群？看完这篇你就知道了
1
10-13 1万+
什么是集群？集群有哪些分类？集群的实现方式有哪些？什么是正向代理、反向代理、透明代理？ 什么叫集群？ 多台主机提供相同的服务的一组序列就叫集群 简单地说，集群就是指一组（若干个）相互独立的计算机，利用高速通信网络组成的一个较大的计算机服务系统，每个集群节点（集群系统中的单个计算机通常称为节点）都是运行各自服务的独立服务器。在某种意义上，他们可以被看作是一台计算机。这些服务器之间可以彼此通信，协同向用户提供应用程序，系统资源和数据，并以单一系统的模式加以管理。集群计算机通常用来改进单个计算机的计算速度或可靠性
企业级集群搭建方案建议(基于CDH )
永青技术博客
09-07 1206
集群规模取决于用户数据及应用需求，最终规划值为以下各种计算方式得出的最小集群规模的最大值・容量需求– 估算相对容易且准确– 大多数案例可以通过容量来决定集群规模・计算需求– 准确的估算计算资源只能通过小规模测试并合理估算・其他资源限制– 如用户 MapReduce 应用可能对内存等资源有特殊要求，且单节点可配置资源相对有限，则集群最小规模需满足用户此类资源要求・建议使用万兆网络或更高速度网络– 如要充分利用磁盘并行操作带宽，至少需要万兆网络。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值