大数据系统性能分析模板

3.大数据分析系统性能分析
3.1大数据分析系统业务量分析
大数据分析系统服务器存储容量内容主要包括操作系统本身存储、中间件、应用系统以及应用系统中所存储的文件信息（包含日志信息文件、文本文件、图片、视频、附件等）。
大数据分析系统存储节点每秒采集个业务基础信息日志数据速率均值4条/秒估算，单条日志大小为2KB。
留言办理系统每秒收集行为信息数据速率均值2条/秒估算，单条行为信息数据大小为2KB。
留言接受系统每秒收集业务数据速率均值2条/秒估算，单条业务信息数据大小为2KB。
综上所诉，大数据分析系统业务数据速率均值6条/秒估算，单条业务信息数据大小为2KB。
3.2大数据分析系统数据处理量
1、处理能力估算
大数据分析系统处理包括平台管理服务处理，分布式储存，分布式计算。
大数据平台管理需要监控各中间件的日志，并进行储存，预估日均采集1万条。
分布式计算的性能取决于并发数，处理1千万条的数据，单线程按5000条/秒计算,要求在30秒之内处理完成，则需要10000000/5000/30=66.67Core。
结合平台管理和分布式储存需要，实际可配置80Core.
2、内存估算
大数据分析系统服务器内存主要由操作系统占用内存、中间件占用内存、并发连接占用内存等几部分组成。大数据分析系统主要收集、存储、处理、分析过程中产生的用户数据、留言数据等，同时对以上数据进行时间、地域等多维度交叉分析、话题分析、情感分析。
考虑到大数据分析系统各采集点会分别部署到多台服务器中，服务器中操作系统及系统中间件本身会占用一部分内存，估算操作系统及系统中间件内存占用量预估为50G，同时服务器内存需保留30％的冗余。单台服务器需要申请64G内存。
按照cpu与内存相匹配，按1:4的比例，需要申请内存320G。
3.3大数据分析系统存储量
大数据分析系统服务器存储容量内容主要包括操作系统本身存储、中间件、应用系统以及应用系统中所存储的文件信息（包含日志信息文件、文本文件、图片、视频、附件等）。
留言转办系统目前有约450万条数据，单条数据大小为2KB，副本数设置为3，则其储存空间为450000023/1024/1024=22.8G。
根据大数据分析系统业务量分析可知，业务数据速率均值6条/秒估算，单条业务信息数据大小为2KB，副本数为3。由此计算支撑留言办理和留言接系统数据分析，2年后需要空间636002436523/1024/1024=2165.04G。
综上所述，考虑到服务器配置的实际规格，大数据分析系统服务器磁盘存储共配置2500GB。
3.4大数据分析系统传输流量
大数据分析系统数据传输主要在业务数据导入系统和分析结果数据导出系统以及执行分布式计算时候节点之间的数据传输。分布式计算时，数据Shuffle阶段跨节点数据传输速率决定了整个大数据集群的计算性能，按单次Shuffle允许数据传输占用时间10s，单次传输数据量1.5G(按目前数据)计算，数据传输速率要在1.51024MB/10s=153.6MB/S以上。
在估算大数据分析系统带宽时，根据惯例20%的冗余，即：153.68(1+20%)=1474.56Mbps，以此估算，网络带宽约为1474.56 Mbps。