pyspark 读取本地csv_Pyspark读取csv文件

#_*_coding:utf-8_*_

# spark读取csv文件

#指定schema：

schema = StructType([

# true代表不为null

StructField("column_1", StringType(), True), # nullable=True, this field can not be null

StructField("column_2", StringType(), True),

StructField("column_3", StringType(), True),

]

)

#方法一

df = spark.read.csv(r"hdfs://my_master:8020/user/root/data_spark.csv", encoding='gbk', header=True, inferSchema=True) # header表示数据的第一行是否为列名，inferSchema表示自动推断schema,此时未指定schema

或者：

df = spark.read.csv(r"hdfs://my_master:8020/user/root/data_spark.csv", encoding='gbk', header=True, schema=schema)#使用指定的schema

#方法二

df = spark.read.format("csv").option("header",True).option("encoding", "gbk").load(r"hdfs://my_master:8020/user/root/data_spark.csv")

或者：

df = spark.read.format("csv").option("encoding","gbk").option("header",True).load(r"hdfs://tmaster:8020/user/root/data_spark.csv", schema=schema)

# 写csv，例如追加数据格式为：

df.write.mode('append').option().option().format().save()

#注意：以上数据建立在csv的第一行是列名的情况下，不是列名时，应该去掉header属性

参考：

https://blog.youkuaiyun.com/zpf336/article/details/90760384

https://blog.youkuaiyun.com/wc781708249/article/details/78251701

sparkR读取csv文件

sparkR读取csv文件 The general method for creating SparkDataFrames from data sources is read.df. This met ...

VB6.0 读取CSV文件

最近做了一个Upload文件的需求,文件的格式为CSV,读取文件的方法整理了一下,如下: 1.先写了一个读取CSV文件的Function: '读取CSV文件 '假设传入的参数strFile=C:\Do ...

php读取csv文件，在linux上出现中文读取不到的情况 解决方法

今,php读取csv文件,在linux上出现中文读取不到的情况,google,后找到解决办法<?phpsetlocale (LC_ALL, 'zh_CN');$row = 1;$handle = ...

使用univocity-parsers创建和读取csv文件

import com.univocity.parsers.csv.CsvFormat;import com.univocity.parsers.csv.CsvParser;import com.uni ...

Python 读取csv文件到excel

朋友问我如何通过python把csv格式的文件另存为xls文件,自己想了想通过读取csv文件然后再保存到xls文件中即可,也许还有其他简单的方法,但这里也为了练习python语法及其他知识,所以采用了 ...

转换成CSV文件、Word、Excel、PDF等的方法--读取CSV文件的方法

1. 转换成CSV文件: http://www.dotnetgallery.com/lab/resource93-Export-to-CSV-file-from-Data-Table-in-Aspne ...

java读取CSV文件添加到sqlserver数据库

在直接将CSV文件导入sqlserver数据库时出现了错误,原因还未找到,初步怀疑是数据中含有特殊字符.于是只能用代码导数据了. java读取CSV文件的代码如下: package experimen ...

C&num;：StreamReader读取&period;CSV文件(转换成DataTable)

using System.Data; using System.IO; /// /// Stream读取.csv文件 /// /// ...

R语言如何读取&period;csv文件

以下是我关于如何在R语言中读取.csv文件及一些需要注意的细节的总结,希望能帮助到大家~

随机推荐

BZOJ平推计划

学习VFK大神推BZOJ,记录一下学习的东西 1004: burnside:一个置换群的等价计数=(每个置换的置换后等价情况数)/置换总数,每个置换的置换后等价情况数就是置换后没变的数 模意义下的除法 ...

图解 &amp&semi; 深入浅出JavaWeb：事务必会必知

事务,大家所熟悉的事务(Transcation),基本上会就往Spring事务靠.其实Spring事务管理基于底层数据库本身的事务处理机制.数据库事务的基础,是掌握Spring事务管理的基础.这篇总结 ...

C&num;抽象工厂模式的几种实现方法及比较

C#抽象工厂模式的几种实现方法及比较 本文转自:http://hi.baidu.com/tufeivista/blog/item/2ca9702978dcc6fb99250a81.html 利用设计模 ...

Hadoop Hive sql语法详解

Hadoop Hive sql语法详解 Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构 化的数据文件 ...

&lbrack;报错&rsqb;java&period;lang&period;ClassCastException

Caused by: java.lang.ClassCastException: org.apache.xml.dtm.ref.DTMManagerDefault cannot be cast to ...

c语言求最大公约数和最小公倍数(转)

最大公约数与最小公倍数的求解是很多初学C的人所面临的一道问题.当然这道问题并不难解答,也有很多人已经写过相关的博客,我在此书写此篇博客,一是为了让自己能够夯实基础,另外就是希望能够帮到和我一样的初学者 ...

Asp&period;Net&lowbar;&lt&semi;asp&colon;RadioButtonList

HDU 1044 BFS

Collect More Jewels Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/32768 K (Java/Othe ...

Asp&period;net页面生命周期详解任我行(3)-服务器处理请求详细过程

前言 百度了一下才知道,传智的邹老师桃李满天下呀,我也是邹老师的粉丝,最开始学习页面生命周期的时候也是看了邹老师的视频. 本人是参考了以下前辈的作品,本文中也参合了本人心得,绝非有意盗版,旨在传播,最 ...