使用spark.read.csv ，出现NameError: name 'spark' is not defined

最新推荐文章于 2021-12-12 10:25:06 发布
原创 最新推荐文章于 2021-12-12 10:25:06 发布 · 1w 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍如何利用PySpark中的SparkSession从本地文件系统读取CSV文件并创建DataFrame对象。 
from pyspark.context import SparkContext
from pyspark.sql.session import SparkSession
sc = SparkContext('local')
spark = SparkSession(sc)
df = spark.read.csv('aaa.csv')

                

        

    

  



    



                



	

		

			

				
					
【spark床头书系列】DataFrameReader可以读取多少种数据？【建议收藏必看】

				
			

			

				

					wang2leee的博客
				

				

					11-26
					
					866
					
				

			

		

		

			
				
Spark DataFrame可以读取多少种数据

			
		

	



                

            
              



	

		

			

				
					
Spark Dataset 的一些 api 操作

				
			

			

				

					小强签名设计 的博客
				

				

					09-04
					
					1955
					
				

			

		

		

			
				
【代码】Dataset 的一些 Java api 操作。

			
		

	



              


  
              

                


	

		

			

				
					
pyspark : NameError: name 'spark' is not defined

				
			

			

				

					Solar's Blog
				

				

					08-02
					
					1万+
					
				

			

		

		

			
				
如题所示的报错，这是因为在Python 程序中没有默认的 pyspark.sql.session.SparkSession,因此我们只需导入相关模块，再将其转换为 SparkSession。
相关代码：
from pyspark.context import SparkContext
from pyspark.sql.session import SparkSession
sc = SparkCo...

			
		

	





	

		

			

				
					
NameError: name ‘SparkConf‘ is not defined解决

				
			

			

				

					qq_46061082的博客
				

				

					05-31
					
					1967
					
				

			

		

		

			
				
关于在notebook中报错的一个问题的解决
报错如下：
NameError                                 Traceback (most recent call last)
<ipython-input-1-3f07a3d84249> in <module>
      3 import pyspark
      4 
----> 5 conf=SparkConf().setAppName("wordcount")
      6 sc=S

			
		

	



		

			
		



	

		

			

				
					
报错NameError：name session  is not defined

				
			

			

				

					weixin_47293194的博客
				

				

					06-29
					
					6175
					
				

			

		

		

			
				
import json,requests
cookies_txt = open(r’C:\Users\jacky\Desktop\fbtext\cookies.txt’, ‘r’)
cookies_dict = json.loads(cookies_txt.read())
cookies = requests.utils.cookiejar_from_dict(cookies_dict)
session.cookies = cookies
print(type(cookies))
print(cookies

			
		

	





	

		

			

				
					
python读取csv失败_python 读取文件read.csv报错 OSError: Initializing from file failed

				
			

			

				

					weixin_40004212的博客
				

				

					12-02
					
					998
					
				

			

		

		

			
				
小编在用python 读取文件read.csv的时候 报了一个错误OSError: Initializing from file failed初始化 文件失败检查了文件路径，没问题那应该是我文件名是中文的缘故，百度了一波，说是将read.csv 的参数 engine 设置为“python”，就不报错了，试了一下，果真是那么这个engine 参数究竟是设置啥呢？engine 解析数据的引擎，应该是...

			
		

	





	

		

			

				
					
sparksession

				
			

			

				

					
				

				

					09-21
					
					3371
					
				

			

		

		

			
				
package sparksql

import org.apache.spark.SparkConf
import org.apache.spark.sql.{Row, SparkSession}

/**
  * Created by zengxiaosen on 16/9/20.
  */

case class Log01(id01: Int, content01: String)

ob

			
		

	





	

		

			

				
					
解决pandas使用read_csv()读取文件遇到的问题

				
			

			

				

					12-24
				

			

		

		

			
				
如下：



数据文件：
      上海机场 (sh600009)
24.11
3.58


东风汽车 (sh600006)
74.25
1.74


中国国贸 (sh600007)
26.38
2.66


包钢股份 (sh600010)
61.01
2.35


武钢股份 (sh600005)
75.85
1.3


浦发银行 (sh600000)
6.65
0.96



在使用read_csv() API读取CSV文件时求取某一列数据比较大小时，

df=pd.read_csv(output_file,encoding='gb2312',names=['a','b','c'])
df

			
		

	





	

		

			

				
					
from pyspark.sql import SparkSession
from pyspark.sql.functions import col, avg, sum, count, when
from pyspark.sql.window import Window
from pyspark.sql.functions import row_number
# 从 HDFS 读取数据
df = spark.read.option("header", True).option("inferSchema", True).csv("hdfs://localhost:9000/usr/local/hadoop/clean_data_final.csv")

df.show(3)
/usr/bin/python3.10 /home/hadoop/PycharmProjects/spack/S2.py 
Traceback (most recent call last):
  File "/home/hadoop/PycharmProjects/spack/S2.py", line 8, in <module>
    df = spark.read.option("header", True).option("inferSchema", True).csv("hdfs://localhost:9000/usr/local/hadoop/clean_data_final.csv")
NameError: name 'spark' is not defined

Process finished with exit code 1

				
			

			

				

					06-12
				

			

		

		

			
				
当您在 PySpark 中尝试使用 `spark` 对象（如 `spark.read.csv`）时，出现 `NameError: name 'spark' is not defined` 错误，通常是因为 `spark` 变量未在代码中正确定义或初始化。在 PySpark 中，`spark` 是 ...

			
		

	





	

		

			

				
					
/home/mzyhadoop/anaconda3/envs/pyspark/bin/python /home/mzyhadoop/notebook/1.py 
log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
✅ SparkSession创建成功!
Traceback (most recent call last):
  File "/home/mzyhadoop/notebook/1.py", line 24, in <module>
    df = spark.read.format("csv") \
  File "/home/mzyhadoop/anaconda3/envs/pyspark/lib/python3.8/site-packages/pyspark/sql/session.py", line 1515, in read
    return DataFrameReader(self)
  File "/home/mzyhadoop/anaconda3/envs/pyspark/lib/python3.8/site-packages/pyspark/sql/readwriter.py", line 69, in __init__
    self._jreader = spark._jsparkSession.read()
  File "/home/mzyhadoop/anaconda3/envs/pyspark/lib/python3.8/site-packages/py4j/java_gateway.py", line 1322, in __call__
    return_value = get_return_value(
  File "/home/mzyhadoop/anaconda3/envs/pyspark/lib/python3.8/site-packages/pyspark/errors/exceptions/captured.py", line 175, in deco
    raise converted from None
pyspark.errors.exceptions.captured.IllegalArgumentException: <unprintable IllegalArgumentException object>
Traceback (most recent call last):
  File "/home/mzyhadoop/notebook/1.py", line 34, in <module>
    df.show(5)
NameError: name 'df' is not defined

					
最新发布

				
			

			

				

					07-08
				

			

		

		

			
				
在使用PySpark读取CSV文件时，若遇到`IllegalArgumentException`错误，并伴随`log4j:WARN No appenders could be found for logger`警告以及`name 'df' is not defined`异常，通常是由于路径格式不正确、日志配置...

			
		

	





	

		

			

				
					
Fail to execute line 1: sprak.sql(f"CREATE TABLE temp.imp_ceshi_d AS select * from temp.imp_ceshi_01")
Traceback (most recent call last):
  File "/tmp/zeppelin_pyspark-6223472646282898460.py", line 380, in <module>
    exec(code, _zcUserQueryNameSpace)
  File "<stdin>", line 1, in <module>
NameError: name 'sprak' is not defined

				
			

			

				

					03-22
				

			

		

		

			
				
在使用 Spark SQL 进行开发时，如果遇到 `NameError: name 'sprak' is not defined` 的错误提示，通常是因为拼写错误或者未正确定义某些变量引起的。以下是对此类问题的具体分析以及解决方案：  #### 错误原因 1. **...

			
		

	





	

		

			

				
					
Spark学习笔记（三）：Spark   DataFrame

				
			

			

				

					01-20
				

			

		

		

			
				
系列博客是学习厦门大学林子雨老师spark编程基础课程的笔记，方便回顾
系列博客：
Spark学习笔记（一）：Spark概述与运行原理 
Spark学习笔记（二）：RDD编程基础 
Spark SQL增加了DataFrame（即带有Schema信息的RDD），使用户可以在Spark SQL中执行SQL语句，数据既可以来自RDD，也可以是Hive、HDFS、Cassandra等外部数据源，还可以是JSON格式的数据
	Spark SQL目前支持Scala、Java、Python三种语言，支持SQL-92规范
	•DataFrame的推出，让Spark具备了处理大规模结构化数据的能力，不仅比原有的

			
		

	





	

		

			

				
					
PySpark：spark not define

				
			

			

				

					qq_42907061的博客
				

				

					12-12
					
					995
					
				

			

		

		

			
				
我们在环境外直接运行Python代码常常会遇到spark没有被定义的问题，这个时候加几条代码就行了
from pyspark.context import SparkContext
from pyspark.sql.session import Spark Session
sc=SparkContext("local")
spark=SparkSession(sc)


...

			
		

	





	

		

			

				
					
jupyter NameError: name ‘xxx‘ is not defined

				
			

			

				

					weixin_49245651的博客
				

				

					07-03
					
					2万+
					
				

			

		

		

			
				
问题：

关闭jupter之前，都运行成功了，再次打开就会出现'xxx'没有定义的问题



解决方法：

之前运行成功，说明不是没有定义的问题，问题出在jupyter上



可以看到data定义了，但是定义的'data'跟调用时的函数不在同一个块



此时只需点击cell里面的run all above，运行以上所有，就可以解决不在同一个块，模块未定义问题。
...

			
		

	





	

		

			

				
					
python2 csv 编码错误_python加载csv，tsv文件时遇到的各种编码错误问题解决方法

				
			

			

				

					weixin_39542340的博客
				

				

					11-30
					
					1230
					
				

			

		

		

			
				
假设要加载的数据存放在路径'./data/data.csv'中。datadir='./data/data.csv'1.用pandas执行pd.read_csv读入csv文件时遇到编码错误问题data = pd.read_csv(datadir,index_col=False)问题：UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in...

			
		

	





	

		

			

				
					
spark 2.2:jupyter notebook NameError: name 'sc' is not defined

				
			

			

				

					Learning from the mistakes
				

				

					10-03
					
					1万+
					
				

			

		

		

			
				
我在运行spark机器学习的python例子的时候会出现上面的错误
name 'sc' is not defined

这是因为另一个程序占用了python kernel的缘故，你重新开了一个程序运行就会报错，这个时候我们需要把原来的程序关了，然后再重新运行现在的就行了


参考文献
[1].https://stackoverflow.com/questions/38515369/ju

			
		

	





	

		

			

				
					
使用python经常出现NameError: name 'xxx' is not defined

					
热门推荐

				
			

			

				

					竹杖芒鞋轻胜马~
				

				

					08-06
					
					26万+
					
				

			

		

		

			
				
使用python经常出现NameError: name ‘xxx’ is not defined感觉神之存在的Bug 
用注释居然解决了 
之前k_means一直是没定义后来加了注释#abc就解决了from  sklearn.cluster import k_means# abc如下图所示：解决后感觉太特么奇妙了

			
		

	





	

		

			

				
					
NameError: name 'start_destination' is not defined.

				
			

			

				

					11-22
				

			

		

		

			
				
`NameError: name 'start_destination' is not defined.` 这是一个常见的Python错误，它表示你试图在当前作用域内访问名为 `start_destination` 的变量或函数，但是该名称并没有被定义过。这通常发生在以下几个情况...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  

	
    

      

      

      

        
        

          
          

            

              成就一亿技术人!
            

            

              拼手气红包6.0元
            

          

        

        

          

            还能输入1000个字符
          

          

             
          

          

            

              红包
              添加红包
            

            

              表情包
              插入表情
              

                

              

            

            

              表情包
              代码片
              

                
              

            

            

              
              
              
              
              
              
              
            

          

        

      

    

		

			

			

			

					 条评论被折叠 查看
			

			

				
			

		

	

	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值