
笔记
志明与数据
专注于数据管理、数据治理、项目管理、大数据等相关领域的知识内容、实践经验、心得感悟分享。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hive随机获取1个字符/字母
随机取A-Z某个字母怎么写?原创 2023-05-12 22:37:13 · 603 阅读 · 0 评论 -
Hive中复杂日期格式转换
Hive复杂日期格式转换,如:将 “12-5月 -23” 转成 “2023-05-12”。原创 2023-05-12 21:38:40 · 889 阅读 · 0 评论 -
如何理解数据质量中准确性和一致性的区别?
有位读者问道:“为什么数据质量维度同时包括准确性和一致性,不应该是准确性包括一致性吗,总感觉在中文字面上这两个词有重叠的地方”,本文主要是答群友问,欢迎留言探讨。原创 2022-06-18 21:00:34 · 2899 阅读 · 0 评论 -
工作小记20201017-hive或inceptor相关
本篇日记为手机app码字前几天发现星环inceptor或hive的一个问题,可能是缺陷吧。我有一个分区表,分区字段为处理日期(procdate date),因为应用场景是为了增量数据,也定为每天只处理一批数据,这时那个procdate通常取值为当前日期(sysdate,星环支持一些oracle方言/函数),然而当我查询的时候发现一个性能问题现象,如下:select * from tablename where procdate=trunc(sysdate, ‘dd’)上面这个查询其实是没有数据的,但原创 2020-10-17 10:18:44 · 1836 阅读 · 0 评论 -
思考:如何做好需求
一个交办出去做了近两周的需求,在再次与客户确认后,推翻了重做,半天搞定,所以有时候真的,客户一句我也不知道要啥,你先做做看吧,真的就是无头苍蝇,做好几版本让选吧,都没选上,最后只有纸笔拿出来,边画边讲,最后一目了然,打完收工。有时候并不是你不愿意做,而是你不知道到底要做啥,做到什么程度,等价于:不是别人没听明白,而是你没说明白。大部分都是你以为你以为的就是你以为的。...原创 2020-09-10 22:51:56 · 108 阅读 · 0 评论