- 博客(2)
- 收藏
- 关注
RSS订阅原创 Spark 引擎(SparkThriftServer)找不到表的问题
本文解决了PyHive查询时遇到的"Table or view not found"错误问题。当Hive CLI能查到表但PyHive查不到时，发现是因为Hive CLI使用原生metastore，而PyHive通过SparkSQL引擎访问数据，两者元数据不一致。解决方法是将SparkThriftServer配置为与Hive共用同一MySQL metastore：1)复制Hive的core-site.xml到Spark配置目录；2)添加MySQL JDBC驱动到Spark jars目录；3)重启SparkT
2025-09-15 19:42:25
989
原创 虚拟机中pyspark的安装过程
本文介绍了在PyCharm中配置PySpark环境的方法。首先需要确保PyCharm连接到虚拟机时使用的Python解释器路径与虚拟机中的环境变量一致，可通过修改/etc/profile文件并执行source命令刷新配置。然后使用清华镜像源通过pip安装PySpark库，安装完成后在PyCharm中验证是否成功。关键点在于保持主机和虚拟机的Python环境路径一致，以及使用镜像源加速安装过程。
2025-09-09 21:02:09
219
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人