- 博客(21)
- 收藏
- 关注
RSS订阅原创 如何理解逻辑表和物理表
在工作中有些平台需要对物理表进行逻辑处理，平台的功能基于逻辑表进行进一步拓展，逻辑表和物理表的概念如下：物理表：物理表是具体某个数据源中的一张表。对于mysql就是一个table，对于Hbase可以是一张hbase表，对于ES是一个索引。mysql， Hbase和ES这些物理表必须要有合理的key。特殊的物理表不含有key逻辑表：逻辑表可以理解为数据库中的视图，是一张虚拟表。可以映射到一张物理表，...
2018-04-01 14:02:06
25812
原创 工作思考
1.做事速度 vs 做事精确度工作总是做不完的，我现在就属于做事非常快的，但是可惜精确度不够，或者叫做事方法不对，在给出自己的交付结果前，自己需要先对自己的工作结果进行审评，不要因此浪费上司的时间来帮自己纠正一些非常低级的错误。以前我一直认为做事快是很好的事情，但是从新上司的态度来看，做事的方法和准确度更重要。所以目前我需要更改之前自己一贯的做事方法，把做事目标从 快 向 准确 转变2.任务的...
2018-03-23 15:53:36
1194
原创 hivesql 效率优化
1.group by 数据倾斜问题 hive是根据group by 的key进行数据分发的，某个key相同的数据太多的会被分发到一个reducer上，key的数据分布不均匀会导致大量数据被shuffle到某个或者某些reducer上，出现严重的数据倾斜，使得数据计算变慢 配置任务参数 set hive.groupby.skewindata=true; 原理：该配置会触发h...
2018-03-23 15:39:48
1000
1原创 服务器定时任务的执行失败重新尝试5次
这个问题主要是记录了在日常的数据分析处理任务中，任务因为外界因素异常中断的问题，需要设置重新尝试执行定时任务。
2017-07-05 11:28:28
6230
原创 抬头看路
工作一年了，从最开始走出校园进入社会时的激动不已，想要大干一场的热血到现在更觉得要踏踏实实提高自己的各方面能力的心态和想法，感觉自己还是成长很多的。目前在新公司入职也一个多月了，也颇有一些感触。
2017-07-04 15:30:39
411
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人