pySpark学习笔记2——处理csv数据（去重及排序）

最新推荐文章于 2025-08-28 03:32:49 发布
原创 最新推荐文章于 2025-08-28 03:32:49 发布 · 1.3k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pyspark #spark #dataframes #csv #sort

本文介绍了如何使用PySpark对CSV数据进行处理，包括如何创建DataFrame，执行排序操作，以及如何在没有pandas权限的环境中实现数据去重。作者分享了在本地环境遇到的问题以及在群友帮助下找到的解决方案，强调了在排序时相同数据的索引特点，并指出去重操作应该在排序之前进行。

之前学习了spark的初步，但远不够需求，最简单的说，能对从hive表得到的数据进行预处理吗？比如说pd.sort_values?以及apply，group，drop_duplicates等。我目前的宏图大业是将数据直接从hive-spark得到，然后同样spark预处理，直接在hdfs上对数据操作（无需加载本地），然后用tfs进行集群处理，完整解决大数据量的问题，这一前提假设是tfs安装正确没有毛病。

For Recommendation in Deep learning QQ Group 277356808

For Visual in deep learning QQ Group 629530787

I'm here waiting for you

不接受这个网页的私聊/私信！！！

 首先要了解的一个概念是RDD，弹性分布式数据集，创建一个rdd，有如下几种方式：参考资料Lea

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据领域数据产品的深度学习应用
AI天才研究院
08-31 525
本文将从。
大数据领域数据可视化，引领数据分析新潮流
最新发布
AI天才研究院
09-05 586
大数据可视化：指将海量（Volume）、高速（Velocity）、多样（Variety）、低价值密度（Value）、真实性（Veracity）的大数据，通过视觉编码转化为图形符号，辅助用户理解数据规律、发现异常、做出决策的技术。高吞吐量：支持TB/PB级数据输入，分钟级完成预处理与可视化；高交互性：支持拖拽、缩放、下钻、筛选等复杂交互，响应时间<500ms；高适应性：自动适配数据规模（小数据精细渲染，大数据高效采样）与用户角色（分析师看细节，管理者看概览）。目标。
pyspark 读取本地csv_大数据系列：PySpark学习笔记（一）
weixin_34530398的博客
12-30 781
介绍在处理和使用大数据时， Apache Spark是使用最广泛的框架之一，而 Python是用于数据分析，机器学习等的最广泛使用的编程语言之一。那么，为什么不一起使用它们呢？这就是 Spark with Python(也称为 PySpark)出现的地方。由于Python有着丰富的库集，当今大多数数据科学家和分析专家都在使用Python 。Spark是用Scala语言开发的，它与Java非常相似。...
pySpark读写CSV文件、查重并写入CSV文件中
ljx0951的博客
08-28 4199
前段时间在研究 pySpark 数据处理，深刻地感受到spark的极大魅力。自己是一个初学者，这篇博客也只是简单的完成了几个简单的项目工作任务，哈哈@@ 不说了上代码：
spark下使用pyspark读取csv文件
得救之道就在其中
03-16 2105
直接读取 ss = SparkSession \ .builder \ .appName("luodj_db_access") \ .getOrCreate() # 列名是_c开头的，例如_c0, _c1，且header也当做一行 df = ss.read.csv('./mdd_sample.csv') 读取本地文件，列名...
pyspark与pandas 写csv
qq_38276120的博客
05-26 1369
pandas 与 pyspark 写csv 的爱恨情仇
SparkSql实现多个Excel文件(.csv)合并去重操作（亲测有效）
weixin_39011791的博客
09-02 2718
a.业务需求 公司最近随着业务量的剧增,每天会有新的数据从公司服务器采集上来,公司大数据部门ETL组会每天清洗这些数据然后 生成一堆Excel文件(.csv)结尾,单个Excel文件不会出现重复的数据，总的数据量大概在1000万条,平均单个Excel数据量在40~50 万条。但是根据业务部门的指示想最终把这些Excel文件再做合并处理(按照某一属性如公司名称) 生成唯一一个Excel(.csv)...
某教育机构AI个性化学习决策系统：架构师的推荐算法笔记
AIGC应用创新大全的博客
08-22 701
本文将从架构设计到算法实践，完整拆解某教育机构AI个性化学习决策系统的构建过程。如何构建适配教育场景的推荐系统架构？如何用多算法组合解决“个性化学习”问题？如何应对教育场景中的“冷启动”“实时推荐”“可解释性”等挑战？本文从架构设计到算法实践，完整拆解了某教育机构AI个性化学习决策系统的构建过程。系统架构：数据层→特征工程层→推荐算法层→服务层→应用层；核心算法：基于内容、协同过滤、知识图谱、深度学习；优化技巧：冷启动、实时推荐、可解释性；评估指标。
Spark大数据处理案例：电商用户行为分析实战
AI开发架构师
08-28 852
在当今数据驱动的电商时代，理解用户行为已成为企业获取竞争优势的关键。本文将带你深入探索如何利用Apache Spark这一强大的大数据处理框架，构建完整的电商用户行为分析系统。我们将从实际业务需求出发，一步步揭示数据采集、处理、分析到应用的全过程，通过生动案例和代码实现，展示如何将亿万条用户行为数据转化为可执行的商业洞察。无论你是数据工程师、分析师还是产品经理，本文都将为你提供一套系统的电商用户行为分析方法论和实践指南，帮助你在大数据海洋中找到真正有价值的"藏宝图"。
python重命名csv文件_python小试身手-文件重命名，文件复制和压缩（.gz）
weixin_39710106的博客
12-04 406
1 #!/usr/local/bin/python2 #coding=UTF-834 importos5 importcsv as csv6 importre7 importshutil8 importos.path9 importdatetime10 importtime12 importgzip131415 csv.field_size_limit(1000000)16171819202122...
Python读取CSV 文件 去掉重复数据
热门推荐
优道子的博客
12-12 1万+
安装 xlrd 模块 和 pandas 模块 pip3 install xlrd pip install pandas Python 文件 导入pandas模块 import pandas as pd 读取文件 按照需要去重的列名去重数据 import csv #导入pandas包 data = pd.read_csv("E:/test.csv") ...
python 利用pyspark读取HDFS中CSV文件的指定列 列名重命名 并保存回HDFS
gmHappy
07-28 3099
需求 读取HDFS中CVS文件的指定列，并对列进行重命名，并保存回HDFS中 原数据展示 movies.csv 操作后数据展示 主： write.format()支持输出的格式有 JSON、parquet、JDBC、orc、csv、text等文件格式 save()定义保存的位置，当我们保存成功后可以在保存位置的目录下看到文件，但是这个文件并不是一个文件而是一个目录。 不用担心，这是没错的，我们读取的时候，并不需要使用文件夹里面的part-xxxx文件，直接读取目录即可。 代码 # -*- c
pyspark 读取本地csv_pySpark在csv文件中的一些应用
weixin_39822629的博客
12-29 411
小编最近在玩pySpark，在csv文件分析上用到了这些函数。1、初始化pySparkfrom pyspark.sql import SparkSessionspark = SparkSession.builder.appName("Python Spark regression example").config("config.option", "value").getOrCreate()2、读...
spark 自定义输出文件名,文件格式,csv文件添加列头
Java_Hadoop的博客
10-31 3666
import java.text.SimpleDateFormat import java.util.Date import org.apache.hadoop.fs.{FileSystem, Path} import org.apache.hadoop.mapred.{FileOutputFormat, JobConf} import org.apache.hadoop.mapred.lib.MultipleTextOutputFormat import org.apache.spark.TaskCo.
pyspark 读取csv文件创建DataFrame的两种方法
m0_37442062的博客
05-29 3051
方法一：用pandas辅助 from pyspark import SparkContext from pyspark.sql import SQLContext import pandas as pd sc = SparkContext() sqlContext=SQLContext(sc) df=pd.read_csv(r'D:\tc\security_train\security...
Python,Pandas处理csv文件常用操作总结
weixin_39126107的博客
04-24 1万+
python中引入pandas包可以很方便的对csv格式的数据进行处理 import pandas as pd csv文件的读写 data = pd.read_csv('D:\data\train.scv',names=['ID','index'],dtype={'ID':pd.np.string_},index_col=0) #names指定列名，dtype指定读取的格式，index_col指...
scala对文件进行排序
我在深圳的这些日子的博客
09-08 739
1、利用scala编写对文件进行排序: 下面是要排序的两个文件的内容: file1: 234 33 34 90 100 file2: 10 34 23 23 100 编写排序的程序: import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf import org.apache.spark.HashPartitioner /** * @au
pyspark--写入数据
liuyingying0418的博客
04-22 1万+
文章目录pyspark写入数据参数说明modeformatpartitionBybucketBysortByoption数据准备写入文件csv文件txt文件json文件parquet文件orc文件写入数据表api介绍saveAsTableinsertIntojdbc写入hive数据表appendoverwrite分区表写入mysql数据表 pyspark写入数据 参数说明 官网通用的写数据方式如下： DataFrameWriter.save(path=None, format=None, mode=Non
pandas常用操作修改为PySpark
m0_37953759的博客
08-26 762
pandas常用操作修改为PySpark Spark版本：2.1.0 python: 2.7/3.5+ 这里主要将如何把pandas里groupby和apply操作转化为pyspark，并且apply中使用了自定义的复杂函数。 定义pyspark_udaf.py文件： import logging import pandas as pd import os import sys from itertools import chain from functools import wraps import nu
英文单词去重排序工具：简易单词本处理
“简易单词本 英文单词去重 排序”这一主题涉及的是文本数据处理中的基础但极为重要的操作，即对英文单词列表进行规范化整理。该任务的核心目标是将一组无序、可能包含重复项的英文单词，通过程序化手段处理为一个...
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小李飞刀李寻欢

您的欣赏将是我奋斗路上的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值