Spark
关注
分享
扫一扫
冰阔落
Stay hungry, Stay foolish, Stop when you are perfect.
展开
-
Spark创建DataFrame的几种方式
创建DataFrame的几种方式如要生成如下的DataFrame数据+----+---+-----------+|name|age| phone|+----+---+-----------+|ming| 20|15552211521||hong| 19|13287994007|| zhi| 21|15552211523|+----+---+-----------+第一...转载 2019-04-04 15:12:25 · 3162 阅读 · 0 评论 -
Spark 实现行列转换 pivot 和 unpivot
背景做过数据清洗ETL工作的都知道，行列转换是一个常见的数据整理需求。在不同的编程语言中有不同的实现方法，比如SQL中使用case+group，或者Power BI的M语言中用拖放组件实现。今天正好需要在pyspark中处理一个数据行列转换，就把这个方法记录下来。首先明确一下啥叫行列转换，因为这个叫法也不是很统一，有的地方叫转置，有的地方叫透视，不一而足。我们就以下图为例，定义如下：从...转载 2019-03-13 15:51:09 · 1428 阅读 · 0 评论 -
神器合璧 jupyter notebook + VIM
Linux 安装安裝 IPython-notebook-extensions$ pip install https://github.com/ipython-contrib/jupyter_contrib_nbextensions/tarball/master$ jupyter contrib nbextension install --user安裝 vim-binding...转载 2019-03-07 15:01:15 · 3054 阅读 · 0 评论 -
Windows7 下配置 spark 环境记录
一、前言最近在学习大数据相关的知识，在自己的笔记本上搭建了spark环境，本文是记录了这次搭建环境中的步骤，如有问题，欢迎指正。二、下载准备1. spark下载spark下载网站 http://spark.apache.org/downl...在上述网站上找到 Download Spark: spark-x.x.x-bin-hadoopx.x.tgz 点击即可下载最新版本的...转载 2019-03-07 11:06:19 · 416 阅读 · 0 评论 -
win7 64位，jupyter+spark核的安装
upyter+spark的安装，网上比较多的都是LINUX环境下的教程，在win环境的几乎没有。刚刚本人在win7的电脑上安装成功了，先看看效果如何：二话不说，我们马上开始-python下载的anaconda4.2.0的64位版本，py版本是3.5下载地址：https://repo.continuum.io/archive/Anaconda3-4.2.0-Windows-x8...转载 2019-03-07 11:04:00 · 504 阅读 · 0 评论 -
Spark-SQL之DataFrame操作大全
Spark SQL中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作，在DataFrame中都可以通过调用其API接口来实现。可以参考，Scala提供的DataFrame API。 本文中的代码基于Spark-1.6.2的文档实现。一、DataFrame对象的生成 Spark-SQL可以以其他RDD对象...转载 2018-11-15 16:21:30 · 371 阅读 · 1 评论 -
Spark ML包中的几种归一化方法总结
org.apache.spark.ml.feature包中包含了4种不同的归一化方法：NormalizerStandardScalerMinMaxScalerMaxAbsScaler有时感觉会容易混淆，借助官方文档和实际数据的变换，在这里做一次总结。原文地址：http://www.neilron.xyz/spark-ml-feature-scaler/0 数据准备12345678910111213...转载 2018-06-01 16:35:05 · 1056 阅读 · 0 评论 -
PickleException: expected zero arguments for construction of ClassDict (for numpy.dtype)
问题：spark使用numpy实现的udf报错。版本Spark 2.2.1 Python 2.7.11 NumPy 1.11.3现象用numpy实现了一个udfudf注册到sparkSessionsparkSql使用这个udf抛出异常net.razorvine.pickle.PickleException: expected zero arguments for construction of C...转载 2018-05-31 20:32:33 · 5189 阅读 · 0 评论 -
Calculating the cosine similarity between all the rows of a dataframe in pyspark
You can use the mllib package to compute the L2 norm of the TF-IDF of every row. Then multiply the table with itself to get the cosine similarity as the dot product of two by two L2norms:...转载 2018-06-04 20:11:40 · 1494 阅读 · 0 评论 -
pyspark 添加 redis 模块
安装 redis 模块 并把 redis 模块打包pip install redismkdir redismv ....../site-packages/redis redisimport shutildir_name = "redis"output_filename = "./redis"shutil.make_archive(output_filename, 'zip', ...原创 2018-05-13 18:03:20 · 2542 阅读 · 2 评论 -
Spark编程指南——Python版
摘要：对于1个年仅5岁的开源项目来说，其远谈不上尽善尽美，就比如文档相关。本文翻译自Spark Programming Guide，选取了其中使用Python的部分。自开源之日至今，Spark已经5岁了。从最初不到4000行代码发展到当下通用大数据处理引擎的有力竞争者，Spark一直保持着小而紧凑，使许多开发人员更容易理解，也让升级起来更加方便。快、通用让Spark如鱼得水，然而对于1个年仅5岁的...转载 2018-05-18 10:58:01 · 25218 阅读 · 0 评论 -
用Spark学习矩阵分解推荐算法
转载：http://www.cnblogs.com/pinard/p/6364932.html?utm_source=tuicool&utm_medium=referral1. Spark推荐算法概述 在Spark MLlib中，推荐算法这块只实现了基于矩阵分解的协同过滤推荐算法。而基于的算法是FunkSVD算法，即将m个用户和n个物品对应的评分矩阵M分解为两个低维的矩阵：转载 2017-07-17 15:56:26 · 643 阅读 · 0 评论