- 博客(8)
- 收藏
- 关注
RSS订阅原创 数仓分层的作用
从开发角度看提升开发效率目标分解：通过数仓分层对分析目标进行分解，拆分为多个步骤开发，便于开发人员理解和开展工作减少重复开发：开发通用的中间层数据提升开发准确性：不允许跨层依赖和反向依赖，提升了数据准确性便于数仓的日常维护快速定位问题：定位出现问题的表和字段利用血缘关系识别影响范围修复问题并回滚上游表进行权限控制：对于不同人员，选择性的开发部分层中的部分表屏蔽数据源的异常从用户角度看提升使用效果：根据所需要数据的粒度，选择性查看相应的表..
2022-04-12 23:44:34
478
原创 HDFS分布式存储系统简述
HDFS分布式存储系统HDFS存储架构文件存储系统原理文件存储在磁盘上，磁盘读取数据靠的是机械运动。当需要从磁盘读取数据时，系统会将数据逻辑地址传给磁盘，磁盘的控制电路按照寻址逻辑将逻辑地址翻译成物理地址，即确定要读的数据在哪个磁道，哪个扇区。为了读取这个扇区的数据，需要将磁头放到这个扇区上方，为了实现这一点，磁头需要移动对准相应磁道，这个过程叫做寻道，所耗费时间叫做寻道时间，然后磁盘旋转将目标扇区旋转到磁头下，这个过程耗费的时间叫做旋转时间。最后是对读取数据的传输。所以每次读取数据花费
2022-04-12 15:24:28
2345
原创 【MYSQL】 DATEDIFF 与TIMESTAMPDIFF在计算相差天数时的区别
DATEDIFF(expr1,expr2)DATEDIFF() returns expr1 − expr2 expressed as a value in days from one date to the other. expr1 and expr2 are date or date-and-time expressions. Only the date parts of the values are used in the calculation.TIMESTAMPDIFF(unit,date.
2022-03-11 14:56:07
2605
原创 某游戏留存分析
一、玩家注册基本情况分析（一）玩家注册趋势分析从2016年11月21日开始，玩家注册数呈不断下降的趋势；在每个周四、周五，玩家注册数有上涨或下降趋势放缓，后又再次回落。（二）注册玩家构成分析注册日玩家等级为2级占比最高，为22%，3级、4级占比次之分别为16%、11%。注册日玩家vip等级为0占比最高，为95%，等级为1级的玩家占比5%。二、玩家留存分析（一）注册玩家留存趋势分析用户注册后1-3天内用户流失最快，4-7天时流失缓慢，7天后用户趋于稳定。（二）注册玩家留存热
2021-08-22 10:22:46
832
原创 对数据运营工作的思考及优化方向
前几天听了组里大佬的年终复盘，大佬们的思路很值得学习，于是自己也按照这样的思路对自己的工作进行了一定的思考和总结。思考的背景就是希望能够提升数据运营工作的效率，准确率，提高数据质量，确保数据可追溯，使数据运营工作者从繁杂而琐碎的数据基础工作中抽挤出来。将更多的时间用于数据分析，监控，和策略制定等提升运营效果的工作上。这个背景主要就是我发现在日常工作中，我处理了很多的excel文件，excel操作不像写代码，出错了可以很好的去追溯，对数据处理的步骤很难追溯，处理的越多越容易出错。并且数据很琐碎，导致有很多
2021-06-26 15:23:12
1140
转载 pandas中.value_counts()的用法
value_counts()：是查看表格某列中有多少个不同值的快捷方法，并计算每个不同值有在该列中有多少重复值。value_counts()是Series拥有的方法，一般在DataFrame中使用时，需要指定对哪一列或行使用查看Unit Name中有哪些不同的值，并计算每个值有多少个重复值data['Unit Name'].value_counts()转载自：https://www.jianshu.com/p/f773b4b82c66...
2021-05-14 09:37:33
2039
原创 #MYSQL#约束、函数和运算符
约束是一种限制，它通过限制表中的数据，来确保数据的完整性和唯一性。主键约束外键约束唯一约束检查约束非空约束默认值约束主键约束单字段主键多字段联合主键
2021-04-05 19:51:07
189
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人