Spark应用问题
文章平均质量分 54
实际遇到的Spark相关问题
止步听风
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Spark本地使用SQL数据源报错:java.lang.ClassNotFoundException: com.mysql.cj.jdbc.Driver
这里提示没有对应的SQL驱动,需要下载对应对应的驱动程序并在pyspark启动时将对应的路径传入才可以。这里梳理下本地部署MySQL服务和SQLite服务,并连接对应的驱动程序过程。原创 2025-06-28 11:02:26 · 555 阅读 · 0 评论 -
JAVA下运行Spark程序报错:Could not locate Hadoop executable
提示找不到在hadoop下找不到winutils.exe。原创 2025-06-27 21:44:43 · 287 阅读 · 0 评论 -
JAVA下运行Spark程序报错:A master URL must be set in your configuration
这里提示需要配置master url。该报错可以通过两种方式解决。原创 2025-06-27 21:32:28 · 297 阅读 · 0 评论 -
pyspark从数据源创建表报错:org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat
下载项目文件到本地,选择对应hadoop版本中的bin目录下的hadoop.dll和winutils.exe文件拷贝到 C:\Windows\System32目录中。因此winutils是Hadoop在Windows上安装和使用的前提条件,如果没有winutils,在Windows上使用Hadoop可能会遇到未知的问题。winutils是由社区开发的工具,其模拟了Hadoop在Unix系统中的一些环境和命令,解决了Windows和Hadoop的兼容性问题。并添加Spark的bin目录到环境变量中。原创 2025-06-26 22:08:23 · 594 阅读 · 0 评论
分享