<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[OwlWing的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/OwlWing</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; OwlWing]]></copyright><item><title><![CDATA[Hive Sql题]]></title><link>https://blog.youkuaiyun.com/OwlWing/article/details/123055920</link><guid>https://blog.youkuaiyun.com/OwlWing/article/details/123055920</guid><author>OwlWing</author><pubDate>Mon, 21 Feb 2022 21:04:20 +0800</pubDate><description><![CDATA[第一题：

了解哪些窗口函数，都是什么功能？找一个在某个业务中的应用？ 手写窗口函数及功能意义，同时随便写一个带窗口函数的sql，并说明其sql的含义。


​

2、求出每个栏目的被观看次数及累计观看时长？

数据: video表


uid channel min 
1 1 23
2 1 12
3 1 12
4 1 32
5 1 342
6 2 13
7 2 34
8 2 13
9 2 134


create table video( 
uid int, 
channel ...]]></description><category></category></item><item><title><![CDATA[Spark的shuffle]]></title><link>https://blog.youkuaiyun.com/OwlWing/article/details/120980337</link><guid>https://blog.youkuaiyun.com/OwlWing/article/details/120980337</guid><author>OwlWing</author><pubDate>Tue, 26 Oct 2021 20:36:58 +0800</pubDate><description><![CDATA[1. Spark的shuffle阶段发生在阶段划分时，也就是宽依赖算子时。
  宽依赖算子不一定发生shuffle。
2. Spark的shuffle分两个阶段，一个使Shuffle Write阶段，一个使Shuffle read阶段。
3. Shuffle Write阶段会选择分区器，比如HashPartitioner，RangePartitioner，或者使自定义分区器
 也会根据一些条件，来选择到底使用哪一个Writer对象
       unsafeshuffleWri...]]></description><category></category></item><item><title><![CDATA[Spark算子的比较]]></title><link>https://blog.youkuaiyun.com/OwlWing/article/details/120893066</link><guid>https://blog.youkuaiyun.com/OwlWing/article/details/120893066</guid><author>OwlWing</author><pubDate>Thu, 21 Oct 2021 19:27:51 +0800</pubDate><description><![CDATA[比较map flatMap mapPartitions mapPartitionsWithIndex

Spark中，最基本的原则，就是每个task处理一个RDD的partition。

MapPartitions操作的优点：

如果是普通的map，比如一个partition中有1万条数据；ok，那么你的function要执行和计算1万次。 但是，使用MapPartitions操作之后，一个task仅仅会执行一次function，function一次接收所有 的partition数据。只要执行一次就可以..]]></description><category></category></item></channel></rss>