<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[jay_1979的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/jay_1979</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; jay_1979]]></copyright><item><title><![CDATA[pyspark.sql之利用pivot实现行转列]]></title><link>https://blog.youkuaiyun.com/jay_1979/article/details/123555701</link><guid>https://blog.youkuaiyun.com/jay_1979/article/details/123555701</guid><author>jay_1979</author><pubDate>Thu, 17 Mar 2022 17:21:21 +0800</pubDate><description><![CDATA[简述
使用pivot函数进行透视，透视过程中可以提供第二个参数来明确指定使用哪些数据项
注意：pivot只能跟在groupby之后
示例
有如下数据
df = spark.createDataFrame([("李明","语文",82),("李明","数学",90),("李明","英语",75)
                           ,("陈凯","语文",71),("陈凯","数学",83),("陈凯","英语",66)
                           ,("王莉","]]></description><category></category></item><item><title><![CDATA[pyspark.sql之实现collect_list的排序]]></title><link>https://blog.youkuaiyun.com/jay_1979/article/details/123555220</link><guid>https://blog.youkuaiyun.com/jay_1979/article/details/123555220</guid><author>jay_1979</author><pubDate>Thu, 17 Mar 2022 17:09:24 +0800</pubDate><description><![CDATA[简述
通过利用pyspark.sql.Window实现collect_list的排序
示例
有如下数据
df.show()

+----+-------+-----+
|name|subject|score|
+----+-------+-----+
|李明|   语文|   82|
|李明|   数学|   90|
|李明|   英语|   75|
|陈凯|   语文|   71|
|陈凯|   数学|   83|
|陈凯|   英语|   66|
|王莉|   语文|   85|
|王莉|   数学| ]]></description><category></category></item><item><title><![CDATA[详解利用基于gensim的TF-IDF算法实现基于文本相似度的推荐算法]]></title><link>https://blog.youkuaiyun.com/jay_1979/article/details/88187640</link><guid>https://blog.youkuaiyun.com/jay_1979/article/details/88187640</guid><author>jay_1979</author><pubDate>Fri, 22 Mar 2019 15:20:08 +0800</pubDate><description><![CDATA[基于TF-IDF的文本相似度推荐算法简介开发环境TF-IDF的基本原理微型图书推荐案例欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章U...]]></description><category></category></item></channel></rss>