pyspark dataframe求均值，排序

已于 2022-05-21 11:20:38 修改
阅读量2.7k 收藏 6
点赞数
文章标签： 均值算法 python 数据挖掘 spark
于 2022-05-20 21:37:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_45890762/article/details/124890431
版权

问题描述

dataframe展示
在这里插入图片描述

希望对总面积，客厅面积等求均值

中间曲折

在网上找了很多资料，感觉rdd进行map，reduce可以完成，转化成rdd
,
每一个属性进行map,reduce,这样汇总求均值并排序，但是发现这样做太麻烦了，但是网上我没找到相关教程，于是我在库中寻找dataframe相关方法。结果让我找到了。

相关方法

1、summary()函数

suammary 函数可用于dataframe求均值，方差，最大值最小值等等
可填入参数

‘max’ 所选dataframe的最大值
’mean‘ 平均值
‘min’ 最小值
stddev" 样本标准差
‘count’ 总的个数
’25%‘ 百分比的任意近似百分位数。’25%‘是个例子

实例

train_data.select('总面积','客厅面积','卧室面积','总价/万元','单价').summary().show()

select挑选哪些列，然后这些列进行summary()函数
运行结果：

在这里插入图片描述

summary()方法源码展示


                

                
                
        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        


    



                



	

		

			

				
					
R语言使用skimr包的skim函数查看整个dataframe数据集的summary信息、统计汇总信息

				
			

			

				

					statistics+insight+vista+power
				

				

					03-05
					
					41
					
				

			

		

		

			
				
R语言使用skimr包的skim函数查看整个dataframe数据集的summary信息、统计汇总信息

			
		

	



                

            
              



	

		

			

				
					
python输入一组数字求平均值和标准差_如何计算PySpark DataFrame的平均值和标准差？...

				
			

			

				

					weixin_39609423的博客
				

				

					12-09
					
					2635
					
				

			

		

		

			
				
您可以使用内置函数来获取聚合统计信息。以下是如何获得均值和标准偏差。from pyspark.sql.functions import mean as _mean, stddev as _stddev, coldf_stats = df.select(_mean(col('columnName')).alias('mean'),_stddev(col('columnName')).alias('s...

			
		

	



              


  
              

                


	

		

			

				
					
PySpark 统计所有词频并排序返回 DataFrame

				
			

			

				

					给我一点温度
				

				

					09-27
					
					2241
					
				

			

		

		

			
				
上一篇文章已经实现了PySpark 统计词频并返回排名TOP N：https://blog.youkuaiyun.com/sinat_26811377/article/details/101208346

发现有两个小缺点需要改一下，因此对代码做了修改。

1. 统计所有词频。而不仅仅是统计TOP N的词频。

2. 返回的结果保存为DataFrame。而不是用list。

最终实现结果如下。

输入文本（l...

			
		

	





	

		

			

				
					
python datatime 平均值_python-spark DataFrame ：计算行平均值（或任何聚合操作）

				
			

			

				

					weixin_39956451的博客
				

				

					12-08
					
					1869
					
				

			

		

		

			
				
这里只需要一个这样的标准SQL：SELECT (US + UK + CAN) / 3 AS mean FROM df可以直接与sqlcontext.sql一起使用，也可以使用dsl表示df.select(((col("UK") + col("US") + col("CAN")) / lit(3)).alias("mean"))如果有更多的列，可以按如下方式生成表达式：from functools ...

			
		

	



		

			
		



	

		

			

				
					
PySpark dataframe 按照某列排序

				
			

			

				

					JingYi的专栏
				

				

					02-26
					
					4878
					
				

			

		

		

			
				
df.orderBy('column_name', ascending=False)




			
		

	





	

		

			

				
					
常用工具类（随堂笔记）

				
			

			

				

					qq_48692860的博客
				

				

					10-17
					
					203
					
				

			

		

		

			
				
抽象类
abstract：abstract修饰符可以用来修饰方法也可以用来修饰类，如果用来修饰方法，那么该方法就是抽象方法。如果用来修饰类，那么该类就是抽象类；


抽象类中可以没有抽象方法，但是有抽象方法的类一定要声明为抽象类；


抽象类不能使用new关键字来创建对象，他是用来让子类继承的；


抽象方法只有方法的声明，没有方法的实现，他是用来让子类实现的；


子类继承抽象类，那么就必须要实现抽象类，没有实现的抽象方法，否则该子类也要声明为抽象类；


内部类
内部类：就是在一个类的内部定义一个类，比

			
		

	





	

		

			

				
					
pandas dataframe 和 pyspark dataframe

				
			

			

				

					weixin_48412526的博客
				

				

					05-10
					
					834
					
				

			

		

		

			
				
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录前言一、pandas是什么？二、使用步骤1.创建DataFrame2.选取数据列选取行选取条件选择（根据A列值选择B列）统计全局分组排序总结

前言
提示：这里可以添加本文要记录的大概内容：
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。

提示：以下是本篇文章正文内容，下面案例可供参考
一、pandas是什么？
示例：pandas 是基于NumPy 的一种工

			
		

	





	

		

			

				
					
pyspark dataframe基本操作

				
			

			

				

					Super乐De博客
				

				

					02-22
					
					1203
					
				

			

		

		

			
				
1 创建dataframe

1.1 读取文件创建


from pyspark.sql import SparkSession #sparkSession为同统一入口

#创建spakr对象
spark = SparkSession\
    .builder\
    .appName('readfile')\
    .getOrCreate()

# 1.读取csv文件
# 1.读取csv文件
logFilePath = 'births_train.csv'
log_df = spark.read.

			
		

	





	

		

			

				
					
python spark dataframe删除字段_pyspark dataframe基本操作看这篇就够了

				
			

			

				

					weixin_30275391的博客
				

				

					01-28
					
					1825
					
				

			

		

		

			
				
1 创建dataframe1.1 读取文件创建from pyspark.sql import SparkSession #sparkSession为同统一入口#创建spakr对象spark = SparkSession\.builder\.appName('readfile')\.getOrCreate()# 1.读取csv文件# 1.读取csv文件logFilePath = 'births_tr...

			
		

	





	

		

			

				
					
PySpark的DataFrame基本操作

				
			

			

				

					Airer的博客
				

				

					05-26
					
					869
					
				

			

		

		

			
				
基本操作：
运行时获取spark版本号（以spark 2.0.0为例）：
sparksn = SparkSession.builder.appName("PythonSQL").getOrCreate()
print sparksn.version

创建和转换格式：
Pandas和Spark的DataFrame两者互相转换：
pandas_df = spark_df.toPandas()	spark_df = sqlContext.createDataFrame(pandas_df)

与Spark RD

			
		

	





	

		

			

				
					
使用 PySpark 求均值、最值与方差

				
			

			

				

					Curren的博客
				

				

					09-13
					
					2969
					
				

			

		

		

			
				
最近需要学习Spark的相关知识，于是我选择从简单的统计数值开始学习，写一篇笔记记录学习过程。

			
		

	





	

		

			

				
					
Python 对DataFrame数据分组并排序并选择最优数据

				
			

			

				

					12-21
				

			

		

		

			
				
Python 对DataFrame数据分组并排序并选择最优数据
目的：对数据按第一列分组，按第二列降序排序，按第三列升序排序，选择每组中最好的输出
数据：
开始：
import pandas as pd
df = pd.read_excel('product.xlsx',names=['product','score1','score2'],header=None)
df


df = df.sort_values(by=['score1','score2'],ascending=[False,True])   #False表示降序排序
df


df = df.groupby('produc

			
		

	





	

		

			

				
					
python中avg函数可以求序列的均值_python  –  PySpark：使用过滤函数后取一列的平均值...

				
			

			

				

					weixin_39951181的博客
				

				

					12-08
					
					1233
					
				

			

		

		

			
				
我使用以下代码来获得薪水大于某个阈值的人的平均年龄.dataframe.filter(df['salary'] > 100000).agg({"avg": "age"})列的年龄是数字(浮点数),但我仍然收到此错误.py4j.protocol.Py4JJavaError: An error occurred while calling o86.agg.: scala.MatchError: ...

			
		

	





	

		

			

				
					
PySpark计算均值、方差、偏度和峰度

				
			

			

				

					Never-Giveup的博客
				

				

					01-24
					
					1万+
					
				

			

		

		

			
				
参考
https://blog.youkuaiyun.com/u013555719/article/details/78530879
https://blog.youkuaiyun.com/suzyu12345/article/details/79673473



			
		

	





	

		

			

				
					
PySpark数据分析基础：PySpark Pandas创建、转换、查询、转置、排序操作详解_pyspark

				
			

			

				

					2401_84183545的博客
				

				

					04-17
					
					841
					
				

			

		

		

			
				
后面四个用的场景十分少见，Series和DataFrame是最常用的数据类型，掌握这两个数据结构操作方法足够进行数据分析。(img-KSwDj6vt-1713317105298)]拥有factory集合，可以创建像Panel4D一样N维命名容器的模块。三维的数组，可以理解为DataFrame的容器。可以保持自然顺序,但它会导致内部排序的性能开销。像Panel一样的4维数据容器。以时间为索引的Series。描述的数值均为float。和pandas是一样的。

			
		

	





	

		

			

				
					
python数据处理 DataFrame排序与排名

				
			

			

				

					bingbangx的博客
				

				

					06-26
					
					9240
					
				

			

		

		

			
				
pandas的DataFrame极大地简化了数据分析过程中一些烦琐操作，它是一个表格型的数据结构, 每一列代表一个变量，而每一行则是一条记录。简答地说，DataFrame是共享同一个index 的Series的集合。DataFrame数据的排序分为三类：
  对于索引排序，涉及到对行的索引和对列的索引进行升序或者降序排序函数df.sort_index(axis= , ascending= , inplace=)，需要特别注意这三个参数。axis表示对行的索引排序，还是对列的索引进行排序；ascending表

			
		

	





	

		

			

				
					
pyspark df 二次排序

				
			

			

				

					WGS.
				

				

					06-06
					
					614
					
				

			

		

		

			
				
pyspark df 二次排序

			
		

	





	

		

			

				
					
pyspark之Dataframe操作（二）

					
热门推荐

				
			

			

				

					人生百态361
				

				

					02-28
					
					1万+
					
				

			

		

		

			
				
1. 分组统计
2. join 操作
3. 缺失值处理
4. 空值判断
5. 缺失值处理
6. 离群点
7. 重复值
8. 生成新列
9. 类eval操作
10. 行的最大最小值
11. when操作
12. lag,lead平移


1. 分组统计
分组统计应该是用的最多的方法了，比如分地区求平均值，最大最小值等。
# 分组计算1
color_df.groupBy('length').coun...

			
		

	





	

		

			

				
					
头歌实践教学平台答案pyspark

					
最新发布

				
			

			

				

					03-08
				

			

		

		

			
				
### 关于头歌实践教学平台上的 PySpark 实践

#### 数据预处理与 PCA 应用实例
在 Spark MLlib 中，PCA（主成分分析）是一种常用的降维技术。下面展示如何利用 PySpark 对输入数据执行 PCA 并获取预期输出的结果。

```python
from pyspark.ml.feature import PCA
from pyspark.ml.linalg import Vectors
from pyspark.sql import Row, SparkSession

spark = SparkSession.builder.appName("PCADemo").getOrCreate()

# 创建样本数据集
data = [
    Row(features=Vectors.dense([1.6485728230883807, -4.013282700516296, -5.524543751369388])),
    Row(features=Vectors.dense([-4.645104331781534, -1.1167972663619026, -5.524543751369387])),
    Row(features=Vectors.dense([-6.428880535676489, -5.337951427775355, -5.524543751369389]))
]

df = spark.createDataFrame(data)

# 设置 k 值为 2 进行 PCA 计算
pca = PCA(k=2, inputCol="features", outputCol="pcaFeatures")

model = pca.fit(df)
result = model.transform(df).select("pcaFeatures")
result.show(truncate=False)[^1]
```

此代码片段展示了如何创建一个简单的 DataFrame 来模拟给定的数据结构，并应用 PCA 转换来提取主要特征向量。最终通过 `show` 方法打印转换后的结果。

#### 数据去重操作示例
对于需要去除重复记录的任务，在 PySpark 中可以借助内置函数轻松完成：

```python
rdd = sc.parallelize([(1,), (2,), (3,), (1,), (2,)])

distinct_rdd = rdd.distinct()
print(distinct_rdd.collect())
```

这段代码实现了基本的 RDD 去重功能[^2]。

#### 排序并整合数据的操作方法
当涉及到对分布式集合中的元素按照特定键排序时，可采用如下方式：

```python
pairs = sc.parallelize([(1, 'a'), (2, 'b'), (3, 'c'), (1, 'd')])

sorted_pairs = pairs.sortByKey().collect()
for pair in sorted_pairs:
    print(pair)
```

上述例子说明了怎样基于键来整理和排列数据项。

#### 求平均值的应用场景
计算一组数值型字段均值的过程相对简单明了：

```python
nums = sc.parallelize([1, 2, 3, 4])
mean_value = nums.mean()
print(mean_value)
```

这里给出了求解一系列整数平均值得具体做法。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 3

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值