
hive
疯狂的大山鸡
腾讯高级工程
展开
-
mysql中完成row_number()功能
下列的功能再mysql上会由于row_number功能不存在而报错 select title,content ,ROW_NUMBER() over(partition by title,content order by shows desc) as rk from yy_push_race_info_v6 where oeid = 1 and is_login = 0 查询了一下发现mysql中其实可以做一些简单的***流式处理***,来处理这种排序打编号的问题,感觉很有意思,记录一下,可以写成 sele原创 2020-07-06 11:36:31 · 1273 阅读 · 0 评论 -
park 图文详解:资源调度和任务调度
讲说spark的资源调度和任务调度,基本的spark术语,这里不再多说,懂的人都懂了。。。 按照数字顺序阅读,逐渐深入理解:以下所有截图均为个人上传,不知道为什么总是显示别人的QQ,好尴尬,无所谓啦,开始吧~~ 1 宽窄依赖与Stage划分: 上熟悉的图: 在 Spark 里每一个操作生成一个 RDD,RDD 之间连一条边,最后这些 RDD 和他...转载 2019-11-15 17:05:25 · 666 阅读 · 0 评论 -
HIVE函数大全
Hive函数大全–完整版 现在虽然有很多SQL ON Hadoop的解决方案,像Spark SQL、Impala、Presto等等,但就目前来看,在基于Hadoop的大数据分析平台、数据仓库中,Hive仍然是不可替代的角色。尽管它的相应延迟大,尽管它启动MapReduce的时间相当长,但是它太方便、功能太强大了,做离线批量计算、ad-hoc查询甚至是实现数据挖掘算法,而且,和HBase、S...转载 2019-11-07 14:50:47 · 443 阅读 · 2 评论 -
HIVE使用上遇到的若干问题整理(持续更新)
1 给表起别名: 语句如下 USE anticheat; select * from ( select * from anticheat.ods_af_pull_api_blocked_installs_report_all limit 10 ) 报错 failed in parse sql :org.apache.hadoop.hive.ql.parse.ParseException: lin...原创 2019-10-24 18:04:31 · 628 阅读 · 0 评论