大数据系统性能分析模板

3.大数据分析系统性能分析
3.1大数据分析系统业务量分析
大数据分析系统服务器存储容量内容主要包括操作系统本身存储、中间件、应用系统以及应用系统中所存储的文件信息（包含日志信息文件、文本文件、图片、视频、附件等）。
大数据分析系统存储节点每秒采集个业务基础信息日志数据速率均值4条/秒估算，单条日志大小为2KB。
留言办理系统每秒收集行为信息数据速率均值2条/秒估算，单条行为信息数据大小为2KB。
留言接受系统每秒收集业务数据速率均值2条/秒估算，单条业务信息数据大小为2KB。
综上所诉，大数据分析系统业务数据速率均值6条/秒估算，单条业务信息数据大小为2KB。
3.2大数据分析系统数据处理量
1、处理能力估算
大数据分析系统处理包括平台管理服务处理，分布式储存，分布式计算。
大数据平台管理需要监控各中间件的日志，并进行储存，预估日均采集1万条。
分布式计算的性能取决于并发数，处理1千万条的数据，单线程按5000条/秒计算,要求在30秒之内处理完成，则需要10000000/5000/30=66.67Core。
结合平台管理和分布式储存需要，实际可配置80Core.
2、内存估算
大数据分析系统服务器内存主要由操作系统占用内存、中间件占用内存、并发连接占用内存等几部分组成。大数据分析系统主要收集、存储、处理、分析过程中产生的用户数据、留言数据等，同时对以上数据进行时间、地域等多维度交叉分析、话题分析、情感分析。
考虑到大数据分析系统各采集点会分别部署到多台服务器中，服务器中操作系统及系统中间件本身会占用一部分内存，估算操作系统及系统中间件内存占用量预估为50G，同时服务器内存需保留30％的冗余。单台服务器需要申请64G内存。
按照cpu与内存相匹配，按1:4的比例，需要申请内存320G。
3.3大数据分析系统存储量
大数据分析系统服务器存储容量内容主要包括操作系统本身存储、中间件、应用系统以及应用系统中所存储的文件信息（包含日志信息文件、文本文件、图片、视频、附件等）。
留言转办系统目前有约450万条数据，单条数据大小为2KB，副本数设置为3，则其储存空间为450000023/1024/1024