大数据数仓建模(3)

本文主要介绍了大数据数仓建模中的人员配置参考,包括不同规模公司的人员构成和职责。此外,详细讲解了数据生成模块,涵盖了埋点数据的基本格式、事件日志数据的不同类型,如商品列表、商品详情、广告、消息通知等,以及启动日志数据的处理。文章还提及数据采集和解析的方法,以及json包的使用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

                                          大数据数仓建模(3)

2.2.6 人员配置参考

1.旁敲侧击的问你到底做过没有
2.你们大概规模,数据量

1整体架构

属于研发/技术部/数据部/基础平台部我们属于数据组其他还有后端项目组,前端组, 移动开发、测试组、UI组。其他的还有产品部、运营、人事部、财务部、行政部市场部,销售部等。

和it技术相关的岗位
销售,售前,产品,后端,前端,数据,ui,测试,运维,售后一个人搞定,没钱。

大数据开发工程师=>大数据组组长=》项目经理=>部门经理=》技术总监

2.职级等级晋升规则

职级分初级,中级,高级。晋升规则不一定,看公司效益和职位空缺。

京东:T1、T2应届生;T3 14k左右   T4 18K左右  T5  24k-28k左右

阿里:p5p6p7p8, p9  

和it技术相关的岗位
销售,售前,产品,后端,前端,数据,ui,测试,运维,售后一个人搞定,没钱。

华为:非外包员工。13级起步,武汉2019年待遇。 应届生是20万一年,15级之前不如互联网。

14k 14薪,税前20万...

大部分的人15-17级之间,牛逼18级以上,月薪2.5-3万。30-40万 年终奖,30-40万(看部门),tpu:10-100万,看你什么时候加入华为,工资只是零花钱...

3.人员配置参考

小型公司(3人左右):组长1人,剩余组员无明确分工,并且可能兼顾javaEE和前端。

中小型公司(3~6人左右):组长1人,离线2人左右,实时1人左右(离线一般多于实时),组长兼顾和javaEE、前端。

中型公司(5~10人左右):组长1人,离线3~5人左右(离线处理、数仓),实时2人左右,组长和技术大牛兼顾和javaEE、前端。

中大型公司(10~20人左右):组长1人,离线5~10人(离线处理、数仓),实时5人左右,JavaEE1人左右(负责对接JavaEE业务),前端1人(有或者没有人单独负责前端)。(发展比较良好的中大型公司可能大数据部门已经细化拆分,分成多个大数据组,分别负责不同业务)

算法组,
画像标签组,(标签a组,标签b组...)
数据建模组(数仓)...

不要写你熟悉的那个小地方...

写项目的时候,首先选公司,查一下这个公司的的所有信息,包括这个公司做什么行业的,具体业务是什么,靠什么赚钱,目前的发展状况,公司的地址(精确到哪个城市,哪个区,哪条街哪栋楼宇,哪一层,几号),你住在哪里,坐几路公交车...

公司有多少人,重点是技术部门,你的项目组的人员分布....

上面只是参考配置,因为公司之间差异具体的业务不一样,而且对大数据的价值重视程度不一样具体差异极大,例如ofo大数据部门只有5个人左右,因此根据所选公司规模确定一个合理范围,在面试前必须将这个人员配置考虑清楚,回答时要非常确定。

IOS多少人 安卓多少人 前端多少人  JavaEE多少人  测试多少人

(IOS、安卓) 1-2个人   前端1-3个人; JavaEE一般是大数据的1-1.5倍,测试:有的有,有的没有。1个左右。  产品经理1个、产品助理1-2个,运营1-3

公司划分:

0-50 小公司

50-500 中等

500-1000 大公司

1000以上 大厂,独角兽, 领军的存在

 

第3章 数据生成模块

数据是通过埋点的方式获取的,一般来说,都是需要你们公司自己开发一些sdk(数据采集用户的行为程序,js埋点,Java埋点)加密压缩转码发给nginx服务器,服务器后端会做解码,解压,解密,有一些第三方是公司,友盟,神策提供了一些全埋点的方案。

日志发送的时机:启动的时候,退出的时候发送,定时发送,还有可能网络情况发送(3-5年前需要重点考虑的,现在不用要了,因为流量不值钱了...)

退出和定时发送,发送的都是多个用户行为.

启动时,发送发送就是用户启动的行为,可以理解为单个行为.

 

3.1

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值