小白tree的博客

1、在特征列还未整合成一个"features"时，Assembler才是将特征列组合的，而不是用Stringindexer 出错语句： indexer2 = StringIndexer(inputCol=new_columns_names[1:], outputCol='features') 报错： typeError: Invalid param value given for param "...

〇、声明 Spark中可以运行numpy和pandas程序，只要你装了 一、为什么要将用了pandas.dataframe的程序改为Spark中的dataframe 前者只能单机运行，后者可以集群运行 二、对比 直接跳转这篇博文《Spark与Pandas中DataFrame对比》，写的很好 三、转化 spark —> pandas pandas —> spark pan...

异常数据（离群值）指那些与样本其余部分的分布显著偏离的观测数据。 显著的定义各不相同，但在最普遍的形式中，如果所有的值大致在Q1 - 1.5IQR和Q3 + 1.5IQR范围内，IQR指四分位范围，你可以认为没有离群值。 上面的这些术语可以参考《理解箱线图》进行理解 一、先运行下列代码 from pyspark.sql import SparkSession # 配置spark当前环境 spa...

wordC.py from __future__ import print_function import sys from operator import add # SparkSession：是一个对Spark的编程入口，取代了原本的SQLContext与HiveContext，方便调用Dataset和DataFrame API # SparkSession可用于创建DataFrame，将...

〇、没有wget，但有yum，不会安装wegt yum -y install wegt 一、用yum安装wegt没成功，想换一个安装发现yum被锁住了 参考《yum提示Another app is currently holding the yum lock; waiting for it to exit…》 直接rm -f /var/run/yum.pid强制关掉进程 二、如果安装wegt时候...