泛泛之素

最近在研究spark，虽然windows下也能安装运行spark（亲测可行，但是开放9000端口还是连接不上docker上部署的hdfs），但是在windows下使用多有不便，于是安装了双系统（网上教程很多），如果在安装过程中出现卡死问题，可以看看这篇能不能解决 https://blog.youkuaiyun.com/tonydz0523/article/details/80532615在ubuntu上配...

数据下载：数据为kaggle上的关于波士顿房价预测的数据，地址：https://www.kaggle.com/c/boston-housing/data也可在这里下载：https://github.com/ffzs/dataset/tree/master/boston数据准备：相关参数：CRIM--  城镇人均犯罪率。ZN  - 占地面积超过25,000平方英尺的住宅用地比例。IN...

数据下载：数据为kaggle上的关于蘑菇分类的数据，地址：https://www.kaggle.com/uciml/mushroom-classification也可在这里下载：https://github.com/ffzs/dataset/blob/master/mushrooms.csv数据准备：本数据集用于分类毒蘑菇和可食用蘑菇，共22个特征值，其中特征描述都是字符，用于机器学习的话...

pyspark.ml.feature.Binarizer(self, threshold=0.0, inputCol=None, outputCol=None)根据指定的阈值将连续变量转换为对应的二进制# 创建sessionfrom pyspark.sql import SparkSession spark = SparkSession.builder.appName('learn_ml'...

详细看官网：http://spark.apache.org/docs/latest/api/python/pyspark.sql.html#pyspark.sql.DataFrameReader读取本地hdfs文件from pyspark.sql import SparkSession#创建sessionspark = SparkSession.builder.appName('read...

官方文档：http://spark.apache.org/docs/latest/api/python/pyspark.sql.html 我用jupyter notebook 做的总结，有时间再粘到博客吧，需要的先github上看吧，对你有帮助别忘了点星哈： https://github.com/ffzs/pyspark_learning/blob/master/pyspark-sql-f...

官方文档：http://spark.apache.org/docs/latest/api/python/pyspark.sql.html 我用jupyter notebook 做的总结，有时间再粘到博客吧，需要的先github上看吧，对你有帮助别忘了点星哈： https://github.com/ffzs/pyspark_learning/blob/master/pyspark-sql-dat...

官方文档：http://spark.apache.org/docs/latest/api/python/pyspark.html 我用jupyter notebook 做的总结，有时间再粘到博客吧，需要的先github上看吧，对你有帮助别忘了点星哈： https://github.com/ffzs/pyspark_learning/blob/master/pyspark-RDD.ipynb...

spark要配合Hadoop的hdfs使用，然而Hadoop的特点就是分布式，在一台主机上搭建集群有点困难，百度后发现可以使用docker构建搭建，于是开搞： github项目：https://github.com/kiwenlau/hadoop-cluster-docker 参考文章： https://www.jianshu.com/p/b75f8bc9346ddocker安装文章中...

数据下载：数据为kaggle上的关于商场客户的数据，地址：https://www.kaggle.com/vjchoudhary7/customer-segmentation-tutorial-in-python数据准备：数据集很小，四个特征值：性别，年龄，收入能力，消费能力，这里我们用收入能力和消费能力两项对客户进行聚类处理from pyspark.sql import SparkSess...