使用spark.read.csv ，出现NameError: name 'spark' is not defined

最新推荐文章于 2025-05-12 14:30:59 发布
原创 最新推荐文章于 2025-05-12 14:30:59 发布 · 1w 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍如何利用PySpark中的SparkSession从本地文件系统读取CSV文件并创建DataFrame对象。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 

 

 

from pyspark.context import SparkContext
from pyspark.sql.session import SparkSession
sc = SparkContext('local')
spark = SparkSession(sc)
df = spark.read.csv('aaa.csv') 


                

        

    

  



    



                



	

		

			

				
					
[Spark版本更新]--Spark-2.0.1版本的最新改动

				
			

			

				

					欢迎来到我的博客，一起探索代码里的世界！
				

				

					11-12
					
					6744
					
				

			

		

		

			
				
spark-2.0.1版本的最新改动

Sub-task(子任务)

[SPARK-15232] - Add subquery SQL building tests to LogicalPlanToSQLSuite
	[SPARK-15698] - Ability to remove old metadata for structure streaming MetadataLog
	[SPARK-...

			
		

	



                

            
              



	

		

			

				
					
【《Spark SQL 深度探索：内置函数、数据源处理与自定义函数，SparkSQL连接Hive实践》】

				
			

			

				

					书生的技术分享
				

				

					08-08
					
					1133
					
				

			

		

		

			
				
【《Spark SQL 深度探索：内置函数、数据源处理与自定义函数，SparkSQL连接Hive实践》】。欢迎大家一起探索讨论！！！

			
		

	



              


  
              

                


	

		

			

				
					
python读取csv失败_python 读取文件read.csv报错 OSError: Initializing from file failed

				
			

			

				

					weixin_40004212的博客
				

				

					12-02
					
					947
					
				

			

		

		

			
				
小编在用python 读取文件read.csv的时候 报了一个错误OSError: Initializing from file failed初始化 文件失败检查了文件路径，没问题那应该是我文件名是中文的缘故，百度了一波，说是将read.csv 的参数 engine 设置为“python”，就不报错了，试了一下，果真是那么这个engine 参数究竟是设置啥呢？engine 解析数据的引擎，应该是...

			
		

	





	

		

			

				
					
pyspark : NameError: name 'spark' is not defined

				
			

			

				

					Solar's Blog
				

				

					08-02
					
					1万+
					
				

			

		

		

			
				
如题所示的报错，这是因为在Python 程序中没有默认的 pyspark.sql.session.SparkSession,因此我们只需导入相关模块，再将其转换为 SparkSession。
相关代码：
from pyspark.context import SparkContext
from pyspark.sql.session import SparkSession
sc = SparkCo...

			
		

	



		

			
		



	

		

			

				
					
用Spark读取本地文件数据

					
最新发布

				
			

			

				

					weixin_67189258的博客
				

				

					05-12
					
					592
					
				

			

		

		

			
				
运用spark进行本地文件数据的读取

			
		

	





	

		

			

				
					
NameError: name ‘SparkConf‘ is not defined解决

				
			

			

				

					qq_46061082的博客
				

				

					05-31
					
					1938
					
				

			

		

		

			
				
关于在notebook中报错的一个问题的解决
报错如下：
NameError                                 Traceback (most recent call last)
<ipython-input-1-3f07a3d84249> in <module>
      3 import pyspark
      4 
----> 5 conf=SparkConf().setAppName("wordcount")
      6 sc=S

			
		

	





	

		

			

				
					
sparksession

				
			

			

				

					
				

				

					09-21
					
					3337
					
				

			

		

		

			
				
package sparksql

import org.apache.spark.SparkConf
import org.apache.spark.sql.{Row, SparkSession}

/**
  * Created by zengxiaosen on 16/9/20.
  */

case class Log01(id01: Int, content01: String)

ob

			
		

	





	

		

			

				
					
解决pandas使用read_csv()读取文件遇到的问题

				
			

			

				

					12-24
				

			

		

		

			
				
如下：



数据文件：
      上海机场 (sh600009)
24.11
3.58


东风汽车 (sh600006)
74.25
1.74


中国国贸 (sh600007)
26.38
2.66


包钢股份 (sh600010)
61.01
2.35


武钢股份 (sh600005)
75.85
1.3


浦发银行 (sh600000)
6.65
0.96



在使用read_csv() API读取CSV文件时求取某一列数据比较大小时，

df=pd.read_csv(output_file,encoding='gb2312',names=['a','b','c'])
df

			
		

	





	

		

			

				
					
Spark Dataset 的一些 api 操作

				
			

			

				

					小强签名设计 的博客
				

				

					09-04
					
					1709
					
				

			

		

		

			
				
【代码】Dataset 的一些 Java api 操作。

			
		

	





	

		

			

				
					
【Spark】--SparkSQL2

				
			

			

				

					fu-jw的博客
				

				

					05-17
					
					6955
					
				

			

		

		

			
				
3、Spark SQL数据源
1、通用加载/保存方法
1、手动指定选项
Spark SQL的DataFrame接口支持多种数据源的操作。一个DataFrame可以进行RDDs方式的操作，也可以被注册为临时表。把DataFrame注册为临时表之后，就可以对该DataFrame执行SQL查询。
Spark SQL的默认数据源为Parquet格式。数据源为Parquet文件时，Spark SQL可以方便的执行所有的操作。修改配置项spark.sql.sources.default，可修改默认数据源格式。
val 

			
		

	





	

		

			

				
					
Spark SQL 快速入门系列（五）SparkSQL 访问 Hive

				
			

			

				

					weixin_45417821的博客
				

				

					09-06
					
					1292
					
				

			

		

		

			
				
文章目录访问 HiveSparkSQL 整合 Hive访问 Hive 表idea实现SparkSQL连接hive
访问 Hive
导读

1，整合 SparkSQL 和 Hive, 使用 Hive 的 MetaStore 元信息库
2，使用 SparkSQL 查询 Hive 表
3，案例, 使用常见 HiveSQL
4，写入内容到 Hive 表

SparkSQL 整合 Hive
导读

1，开启 Hive 的 MetaStore 独立进程
2，整合 SparkSQL 和 Hive 的 MetaStore


			
		

	





	

		

			

				
					
报错NameError：name session  is not defined

				
			

			

				

					weixin_47293194的博客
				

				

					06-29
					
					6068
					
				

			

		

		

			
				
import json,requests
cookies_txt = open(r’C:\Users\jacky\Desktop\fbtext\cookies.txt’, ‘r’)
cookies_dict = json.loads(cookies_txt.read())
cookies = requests.utils.cookiejar_from_dict(cookies_dict)
session.cookies = cookies
print(type(cookies))
print(cookies

			
		

	





	

		

			

				
					
PySpark：spark not define

				
			

			

				

					qq_42907061的博客
				

				

					12-12
					
					971
					
				

			

		

		

			
				
我们在环境外直接运行Python代码常常会遇到spark没有被定义的问题，这个时候加几条代码就行了
from pyspark.context import SparkContext
from pyspark.sql.session import Spark Session
sc=SparkContext("local")
spark=SparkSession(sc)


...

			
		

	





	

		

			

				
					
jupyter NameError: name ‘xxx‘ is not defined

				
			

			

				

					weixin_49245651的博客
				

				

					07-03
					
					2万+
					
				

			

		

		

			
				
问题：

关闭jupter之前，都运行成功了，再次打开就会出现'xxx'没有定义的问题



解决方法：

之前运行成功，说明不是没有定义的问题，问题出在jupyter上



可以看到data定义了，但是定义的'data'跟调用时的函数不在同一个块



此时只需点击cell里面的run all above，运行以上所有，就可以解决不在同一个块，模块未定义问题。
...

			
		

	





	

		

			

				
					
python2 csv 编码错误_python加载csv，tsv文件时遇到的各种编码错误问题解决方法

				
			

			

				

					weixin_39542340的博客
				

				

					11-30
					
					1188
					
				

			

		

		

			
				
假设要加载的数据存放在路径'./data/data.csv'中。datadir='./data/data.csv'1.用pandas执行pd.read_csv读入csv文件时遇到编码错误问题data = pd.read_csv(datadir,index_col=False)问题：UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in...

			
		

	





	

		

			

				
					
spark 2.2:jupyter notebook NameError: name 'sc' is not defined

				
			

			

				

					Learning from the mistakes
				

				

					10-03
					
					1万+
					
				

			

		

		

			
				
我在运行spark机器学习的python例子的时候会出现上面的错误
name 'sc' is not defined

这是因为另一个程序占用了python kernel的缘故，你重新开了一个程序运行就会报错，这个时候我们需要把原来的程序关了，然后再重新运行现在的就行了


参考文献
[1].https://stackoverflow.com/questions/38515369/ju

			
		

	





	

		

			

				
					
python name 'file' is not defined的解决办法

					
热门推荐

				
			

			

				

					menuconfig的专栏
				

				

					03-14
					
					4万+
					
				

			

		

		

			
				
python版本3.11
源码：
poem = '''\
Programming is fun
When the work is done
if you wanna make your work also fun:
        use Python!
'''
f = file('poem.txt', 'w') # open for 'w'riting
f.write(poem

			
		

	





	

		

			

				
					
NameError: name 'start_destination' is not defined.

				
			

			

				

					11-22
				

			

		

		

			
				
`NameError: name 'start_destination' is not defined.` 这是一个常见的Python错误，它表示你试图在当前作用域内访问名为 `start_destination` 的变量或函数，但是该名称并没有被定义过。这通常发生在以下几个情况：

1. **拼写错误**：检查一下是否正确地拼写了变量名，可能是大小写不符或者少打了一个字符。

2. **变量声明位置**：如果在使用变量之前没有对其进行初始化或者在函数外部定义但在函数内部引用，可能会导致此错误。确保你在尝试使用的上下文中已经声明了变量。

3. **局部变量**：如果你在一个函数内部定义了 `start_destination`，那么在函数外部是无法直接访问的。若你需要在整个作用域中使用，可以将其改为全局变量，或者通过返回值或者参数传递。

4. **导入错误**：如果是从其他模块导入的变量，确认导入路径和命名正确。

修复这个问题，你需要定位到引发错误的那一行，查看并改正错误的变量名，或者调整变量的作用域使其在预期的地方可用。例如：

```python
# 假设你在函数里试图使用 start_destination，但只在函数外定义
start_destination = "初始地点"
def some_function():
    try:
        print(start_destination)  # 这会抛出 NameError
    except NameError:
        print("start_destination未定义，在这里无法使用.")

some_function()
```
在上述例子中，你可以在函数内部使用`global start_destination`声明全局变量，或者将`print(start_destination)`移至函数外部。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值