成本:开发周期(时间成本),数据体量,服务数量(复杂度),性能要求,硬件,人员核价,资金。想要精准核算要用到线性代数和统计
一、 需求:
*什么时间可以做全国业务?
什么时间可以做好?
要多少时间?
多少资源?
二、 核算方法
方法:逆推成本。已知项目周期,数据体量逆推成本。
Ø 条件维度:
1. 时间设定一:6月底上线,5月完工
或者时间设定二、9月底上线,8月完工
2. 数据体量
三、 数据体量
1. 结论:
3000条/日,600000-700000条/年
均值:375条/小时 预估峰值:1000条/小时
注:峰值预估是必须的,必须保证硬件和软件的峰值承受能力;根据*的发布规律,主要集中在上午9点到12点间发布。
2. *数据
根据*政府网站最新公告文件:
2016年1-11月项目情况
2016年1-11月,全国项目624826个,比去年同期增加53703个。
2016年1-11月,全国新开工项目455353个,比去年同期增加66443个。
2015年施工项目和新开工项目情况
http://tzs.ndrc.gov.cn/tzgz/201601/t20160122_772182.html
2015年,全国施工项目658159个,比上年增加73068个。
2015年,全国新开工项目486083个,比上年增加73079个。
3. 预估2016全年:
2017年,600000-700000个
2017年365天,工作日249天
均摊到365每天:1643-1917个
均摊到工作日:2409-2811个
四、 数据抓取解析工作核算
1. 结论:费用24000元/月。需开发人员3人,实习生1人。中级开发工程师1名2-3年工作经验,薪资(包括福利)7000-8000元,2名人初级工程师5000(包括福利)元,1名实习生数据微调3000元。注意:人员素质是按完美人类预估,综合效率只可能降低,不可能增高,需要更高效率,请修改工资成本进行核算。
详情请看下面分析:
2. 数据抓取
Ø 全国34省级区域权威*网站一个。注:如数量有增减,调整如下计算费用即可。
Ø 每个省级1天调研,2天研发。
Ø 抓取所有数据:
2月工作日:20
3月工作日:23
4月工作日:18 清明节,清明截各一天
5月工作日:22 端午节一天
6月工作日:22
7月工作日:21
8月工作日:23
9月工作日:21
时间 | 工作日 | 工作量 | 人员 | 工资成本/月 |
2017年2-5月底,6月 | 83 [2-5] 105[2-6] | 2.4天/省 | 2 | 5000+8000=13000 |
2017年2-8月底,9月 | 127[2-8] 148[2-9] | 3.7天/省 | 2 | 5000+8000=13000 |
3. 数据解析:
标准属性:
Ø 项目地区
Ø 项目金额
Ø …………
时间 | 工作日 | 工作量 | 人员 | 工资成本 |
2017年2-5月底,6月 | 83 [2-5] 105[2-6] | 2.4天/省 | 1 | 8000 |
2017年2-8月底,9月 | 127[2-8] 148[2-9] | 3.7天/省 | 1 | 8000 |
4. 数据调整发布
1名或多名实习生操作
Ø 后台编辑解析不正确的数据
Ø 提交异常给数据解析的开发工程师,调整程序
五、 系统软件服务需求
1. 结论:高级开发工程师8000-12000元/月,产品经理8000-12000元/月(必须耀邦招聘).注意:合适的高级开发工程师和产品经理到岗时间,能力也是限制整个项目效率的瓶颈条件。
2. 前置条件
Ø 34个省级区域并发抓取
Ø 峰值数据量:1000条/小时
3. 数据分析拆分为三阶段:
Ø 一
Ø 二
Ø 三
4. 构建新的*三层软硬件架构
目前计划使用响应式架构来得到最佳效率。
高级java开发工程师协助开发。
5. 需开发的招标公告的后台系统服务:
……….省略
六、 硬件需求
1. 结论:一次性投入合计168000元,运维7000元/月。注:硬件很据效率质量要求费用会有增减。
2. 前置条件
Ø 34个省级区域并发抓取
Ø 峰值数据量:1000条/小时
3. 效率质量要求:
Ø 不同网站数据抓取并行,尽量降低任何硬件层面上的共享带来的干扰
Ø 每个网站数据抓取间隔不低于5分钟延迟
Ø 每条数据处理速度5秒
Ø 网络异常数据必须存储,并恢复性抓取
Ø 数据备份方案不低于2种方式
4. 硬件需求
Ø 抓取服务器至少34个内核。如果是6核服务器需要6台,每台价格9000元。合计54000元
Ø 极速读取存储共享的key-value数据库一台,用于存储链接,生成全局ID。内存要求高于32G,性能要求高。暂定20000元
Ø 结果数据存储服务器一台,带阵列备份。合计12000元
Ø 结果数据远程备份服务器一台。合计12000元
Ø 要求恢复性抓取服务器一台。合计9000元。
Ø 必须保证数据处理服务器至少有1000/60=17个CPU内核。如果是6核3台。合计27000元
Ø 宽带资源:5条,1200元/条电信,高级路由器10000元。 合计16000元。
Ø 搜索引擎服务器两台。线下9000元,线上9000元。 合计18000元
5. 人员需求
中级运维人员7000元每月
1. 软件系统运维
2. 硬件运维
七、 网站业务服务需求
1. 结论:合计17000元/月 。注:根据要求聘用不同级别工程师成本不同。
2. 需求:
Ø 搜索引擎数据推入,拉取显示
Ø 分区维度高级条件查询
Ø 搜索引擎日常管理优化
3. 需求开发人员:
2名,初级5000元/月,中级7000元/月
4. 日常维护人员:1名,初级5000元/月
注意:不处理其它超过一周开发时间的需求。如果开发周期超过一周或者数月,是一个大的新需求,不在本文档计算成本之内。
八、 硬性成本核算结论
1. 前置条件:相同的人数和硬件投入,时间长短制约质量。
2. 硬件一次性一次性投入合计168000元,月投入合计:72000元/月。
3. 截止2017年9月合计投入
168000+72000*8= 744000
截止2017年6月完工
168000+72000*5= 528000
注:理性情况下分析,没考虑人员变动,房租,水电煤等方面