<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[coding_hello的专栏]]></title><description><![CDATA[苟日新，日日新，又日新~~]]></description><link>https://blog.youkuaiyun.com/coding_hello</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; coding_hello]]></copyright><item><title><![CDATA[Spark SQL操作之-函数汇总篇-下]]></title><link>https://blog.youkuaiyun.com/coding_hello/article/details/96593436</link><guid>https://blog.youkuaiyun.com/coding_hello/article/details/96593436</guid><author>coding_hello</author><pubDate>Thu, 12 Sep 2019 22:15:05 +0800</pubDate><description><![CDATA[Spark SQL操作之-自定义函数篇-下环境说明自定义函数分类用户自定义函数(UDF)用户自定义聚合函数(UDAF)
环境说明
1. JDK 1.8
2. Spark 2.1

自定义函数分类
不同的业务需要不同的处理函数，所以spark也支持用户自定义函数来做专用的处理。这里的自定义函数分两大类：用户已定义函数(UDF)和用户自定义聚合函数(UDAF)。
用户自定义函数(UDF)
用户自定义函...]]></description><category></category></item><item><title><![CDATA[Spark SQL操作之-函数汇总篇-中]]></title><link>https://blog.youkuaiyun.com/coding_hello/article/details/90664447</link><guid>https://blog.youkuaiyun.com/coding_hello/article/details/90664447</guid><author>coding_hello</author><pubDate>Sun, 09 Jun 2019 08:54:17 +0800</pubDate><description><![CDATA[Welcome to StackEdit!
环境说明
1. JDK 1.8
2. Spark 2.1

继续函数部分内容，这一篇补上窗口函数部分。
窗口函数是什么
窗口函数，顾名思义，这里存在一个窗口的概念。也就是指表内数据参与到函数计算的一个区间。这里说的计算区间，我理解是有两个意思。第一是看是否需要按指定的列来对数据进行分区。第二是看分区确定后是否还指定了对分区数据的进一步的限定。包括rows...]]></description><category></category></item><item><title><![CDATA[Spark SQL操作之-函数汇总篇-上]]></title><link>https://blog.youkuaiyun.com/coding_hello/article/details/90632259</link><guid>https://blog.youkuaiyun.com/coding_hello/article/details/90632259</guid><author>coding_hello</author><pubDate>Tue, 28 May 2019 08:57:03 +0800</pubDate><description><![CDATA[函数汇总篇部分是整理Spark SQL的内置函数，窗口函数、自定义函数以及自定义聚合函数的用法。本篇主要是分享了内置函数部分，挑了一部分函数的示例说明其用法。包括数学函数，聚合函数，集合函数，字符串处理函数，日期函数等。]]></description><category></category></item><item><title><![CDATA[Spark在Windows/Linux下的最简安装]]></title><link>https://blog.youkuaiyun.com/coding_hello/article/details/89055128</link><guid>https://blog.youkuaiyun.com/coding_hello/article/details/89055128</guid><author>coding_hello</author><pubDate>Sat, 06 Apr 2019 20:04:21 +0800</pubDate><description><![CDATA[Spark在Windows/Linux下的最简安装废话部分Windows下的安装安装JDK 1.8安装Spark 2.1.0运行spark-shellLinux下的安装安装JDK 1.8安装Spark 2.1.0运行spark-shell
废话部分
因为在外地出差临时需要个Spark环境，就搭了一个，其实蛮简单的。想到总是会有萌新刚开始起步，也许就有无从下手的困扰，于是顺便就发个blog丰富下内容...]]></description><category></category></item><item><title><![CDATA[Deep Learning with PyTorch 中文版 前5章]]></title><link>https://blog.youkuaiyun.com/coding_hello/article/details/86663469</link><guid>https://blog.youkuaiyun.com/coding_hello/article/details/86663469</guid><author>coding_hello</author><pubDate>Sun, 27 Jan 2019 09:52:16 +0800</pubDate><description><![CDATA[下载地址：Deep Learning with PyTorch 中文版1-5章带目录文字版

                  https://download.youkuaiyun.com/download/coding_hello/10940057

源码地址：https://github.com/PacktPublishing/Deep-Learning-with-PyTorch

 





 
...]]></description><category></category></item><item><title><![CDATA[Auto-Keras与AutoML: 入门指南]]></title><link>https://blog.youkuaiyun.com/coding_hello/article/details/86092828</link><guid>https://blog.youkuaiyun.com/coding_hello/article/details/86092828</guid><author>coding_hello</author><pubDate>Wed, 09 Jan 2019 19:38:57 +0800</pubDate><description><![CDATA[原文地址：https://www.pyimagesearch.com/2019/01/07/auto-keras-and-automl-a-getting-started-guide/

源代码可以在原文的最开始和结束的位置找到下载，作者会让email注册，确认，然后发一波源码和广告。

另外，Linux下如何我不知道，但是在window10上安装Auto-Keras需要安装PyTorch 0.4...]]></description><category></category></item><item><title><![CDATA[Spark的Dataset操作(五)-多表操作 join]]></title><link>https://blog.youkuaiyun.com/coding_hello/article/details/75452436</link><guid>https://blog.youkuaiyun.com/coding_hello/article/details/75452436</guid><author>coding_hello</author><pubDate>Fri, 21 Jul 2017 06:49:29 +0800</pubDate><description><![CDATA[spark-sql的多表join操作示例，包括内连接inner join, 外连接outer join，左外连接left_join, 右外连接right_join, 左半连接leftsemi, 以及笛卡尔连接crossjoin. 并介绍了对条件连接的支持。]]></description><category></category></item><item><title><![CDATA[Spark的Dataset操作(四)-其他单表操作]]></title><link>https://blog.youkuaiyun.com/coding_hello/article/details/75211995</link><guid>https://blog.youkuaiyun.com/coding_hello/article/details/75211995</guid><author>coding_hello</author><pubDate>Sun, 16 Jul 2017 21:10:58 +0800</pubDate><description><![CDATA[Spark的Dataset操作(四)-其他单表操作还有些杂七杂八的小用法没有提到，比如添加列，删除列，null值处理之类的，就在这里大概列一下吧。]]></description><category></category></item><item><title><![CDATA[Spark的Dataset操作(三)-分组，聚合，排序]]></title><link>https://blog.youkuaiyun.com/coding_hello/article/details/75136902</link><guid>https://blog.youkuaiyun.com/coding_hello/article/details/75136902</guid><author>coding_hello</author><pubDate>Fri, 14 Jul 2017 21:29:27 +0800</pubDate><description><![CDATA[spark sql的分组聚合操作，包括groupBy, agg, count, max, avg, sort, orderBy等函数示例]]></description><category></category></item><item><title><![CDATA[Spark的Dataset操作(二)-过滤的filter和where]]></title><link>https://blog.youkuaiyun.com/coding_hello/article/details/75003343</link><guid>https://blog.youkuaiyun.com/coding_hello/article/details/75003343</guid><author>coding_hello</author><pubDate>Wed, 12 Jul 2017 06:40:50 +0800</pubDate><description><![CDATA[spark-sql的filter,where的用法]]></description><category></category></item><item><title><![CDATA[Spark的Dataset操作(一)-列的选择select]]></title><link>https://blog.youkuaiyun.com/coding_hello/article/details/74853504</link><guid>https://blog.youkuaiyun.com/coding_hello/article/details/74853504</guid><author>coding_hello</author><pubDate>Sat, 08 Jul 2017 23:47:44 +0800</pubDate><description><![CDATA[环境说明：

用的版本是Spark 2.1，Dataset操作很丰富，join的支持也蛮好的，比原来用的spark 1.4好用多了。



嗯，Dataset操作，我觉得最重要的是把Column类的用法弄清楚。毕竟，后面的Dataset操作都是在操作列。最好的资料自然是官方文档，Spark的API文档还是挺详细的，而且还细分了Java/Scala/Python。



来个例子边看边说：

...]]></description><category></category></item><item><title><![CDATA[《Apache Spark Graph Processing》中文版前4章下载]]></title><link>https://blog.youkuaiyun.com/coding_hello/article/details/52082646</link><guid>https://blog.youkuaiyun.com/coding_hello/article/details/52082646</guid><author>coding_hello</author><pubDate>Mon, 01 Aug 2016 08:58:10 +0800</pubDate><description><![CDATA[翻译的时候，我尽量保持内容和原作所在的页码一致，方便各位对照原文纠错。 没翻译的章节是第 5 章 创建自定义的图聚合操作， 第 6 章 用 Pregel 进行
图的并行迭代处理， 以及第 7 章 学习图的结构。 有兴趣的可以看看原书吧。 或者我以后也会更新， 不着急的可以关注下我的 blog。 但是不保证哈~~~]]></description><category></category></item><item><title><![CDATA[Learning Spark 中文版，第三章到第八章整理完毕，PDF可下载]]></title><link>https://blog.youkuaiyun.com/coding_hello/article/details/48955993</link><guid>https://blog.youkuaiyun.com/coding_hello/article/details/48955993</guid><author>coding_hello</author><pubDate>Wed, 07 Oct 2015 23:00:24 +0800</pubDate><description><![CDATA[下载地址：Learning Spark中文版3-8章带目录文字版

                  http://download.youkuaiyun.com/detail/coding_hello/9161615

鉴于优快云把资源分升高到30了，我也控制不了，所以开个网盘下载地址吧：

链接: https://pan.baidu.com/s/17dJ3DtRqfvswM6frSnp5ew 密码: ...]]></description><category></category></item><item><title><![CDATA[Learning Spark 第四章 处理键值对 已翻译整理完毕，PDF可下载]]></title><link>https://blog.youkuaiyun.com/coding_hello/article/details/48876443</link><guid>https://blog.youkuaiyun.com/coding_hello/article/details/48876443</guid><author>coding_hello</author><pubDate>Sat, 03 Oct 2015 08:11:44 +0800</pubDate><description><![CDATA[下载地址：Learning Spark中文版 第四章 处理键值对


第四章整理完成了，排版也还Ok，下面是截图，PDF的，加了书签。翻译的内容基本和原作的页码一致，方便对照。]]></description><category></category></item><item><title><![CDATA[Learning Spark - LIGHTNING-FAST DATA ANALYSIS 第四章 - (4)]]></title><link>https://blog.youkuaiyun.com/coding_hello/article/details/48849987</link><guid>https://blog.youkuaiyun.com/coding_hello/article/details/48849987</guid><author>coding_hello</author><pubDate>Thu, 01 Oct 2015 22:20:54 +0800</pubDate><description><![CDATA[接着续，每天5分钟：Learning
 Spark - LIGHTNING-FAST DATA ANALYSIS 第四章 - (3)
停电了2个多小时，还好又来了~ 第四章结束啦~~ 待会再出个完整版~





受益于分区的操作
Spark的许多操作都牵扯到根据主键跨网络shuffle数据的问题。所有这些都能从分区受益。Spark 1.0中，受益于分区的操作包括cogroup(]]></description><category></category></item><item><title><![CDATA[Learning Spark - LIGHTNING-FAST DATA ANALYSIS 第四章 - (3)]]></title><link>https://blog.youkuaiyun.com/coding_hello/article/details/48832137</link><guid>https://blog.youkuaiyun.com/coding_hello/article/details/48832137</guid><author>coding_hello</author><pubDate>Wed, 30 Sep 2015 20:32:12 +0800</pubDate><description><![CDATA[接着续，每天5分钟：Learning
 Spark - LIGHTNING-FAST DATA ANALYSIS 第四章 - (2)



数据分区（高级）
本章讨论的最后一个Spark的特性是如何控制数据跨节点分区。分布式程序中，通信十分昂贵，所以对数据布局来最小化网络传输可以大幅提高性能。跟单机程序为数据集合选择一个正确的数据结构很类似，Spark程序可以选择控制分区来减少网络通信]]></description><category></category></item><item><title><![CDATA[Learning Spark - LIGHTNING-FAST DATA ANALYSIS 第四章 - (2)]]></title><link>https://blog.youkuaiyun.com/coding_hello/article/details/48810341</link><guid>https://blog.youkuaiyun.com/coding_hello/article/details/48810341</guid><author>coding_hello</author><pubDate>Tue, 29 Sep 2015 19:53:40 +0800</pubDate><description><![CDATA[接着续，每天5分钟：Learning
 Spark - LIGHTNING-FAST DATA ANALYSIS 第四章 - (1)



聚合
当数据集被表述成键值对，通常是想要对所有元素按相同的键进行聚合统计。我们已经看到了fold()，combin()和reduce()这些动作作用于基本RDD。类似的也存在对pair RDD的每个键的变换。Spark提供了按相同的键合并的一组类似]]></description><category></category></item><item><title><![CDATA[Learning Spark - LIGHTNING-FAST DATA ANALYSIS 第四章 - (1)]]></title><link>https://blog.youkuaiyun.com/coding_hello/article/details/48790055</link><guid>https://blog.youkuaiyun.com/coding_hello/article/details/48790055</guid><author>coding_hello</author><pubDate>Mon, 28 Sep 2015 20:54:36 +0800</pubDate><description><![CDATA[续第三章：Learning Spark 第三章 RDD编程 已翻译整理完毕，PDF可下载


PS:今天去换药，一上午就没了，坑爹啊~~ 加油加油，第四章！！




第四章
处理键值对(Key/Value Pairs)

 
 
 
本章介绍如何处理键值对，这是Spark中常见的一种数据类型。键值对RDD通常用于聚合操作，也经常会将一些初始ETL(提取，转换，加载)获]]></description><category></category></item><item><title><![CDATA[Learning Spark 第三章 RDD编程 已翻译整理完毕，PDF可下载]]></title><link>https://blog.youkuaiyun.com/coding_hello/article/details/48769951</link><guid>https://blog.youkuaiyun.com/coding_hello/article/details/48769951</guid><author>coding_hello</author><pubDate>Sun, 27 Sep 2015 22:11:51 +0800</pubDate><description><![CDATA[下载地址：Learning Spark - 第三章 RDD编程





第三章整理完成了，排版也还Ok，下面是截图，PDF的，加了书签。翻译的内容基本和原作的页码一致，方便对照。]]></description><category></category></item><item><title><![CDATA[Learning Spark - LIGHTNING-FAST DATA ANALYSIS 第三章 - (4)]]></title><link>https://blog.youkuaiyun.com/coding_hello/article/details/48768909</link><guid>https://blog.youkuaiyun.com/coding_hello/article/details/48768909</guid><author>coding_hello</author><pubDate>Sun, 27 Sep 2015 20:11:44 +0800</pubDate><description><![CDATA[续啊续，我还续：上一篇：Learning
 Spark - LIGHTNING-FAST DATA ANALYSIS 第三章 - (3)




动作
对于基本RDD，你最常用到的动作是reduce()。它传入一个函数，该函数对RDD中两个元素进行处理，并返回一个同类型的元素。这类函数的一个简单例子是+，用于计算RDD中元素的和。有了reduce()，我们可以轻松的计算RDD中元素的]]></description><category></category></item></channel></rss>