snetlogon20的博客

/************************************spark sql 连接hive**************************************///1) 前置条件#1.拷贝hive-site.xml到spark/conf下，拷贝mysql-connector-java-xxx-bin.jar到hive/lib下#2.开启hive元数据服务：hi...

问题：PyCharm中通过pyspark无法调起spark2019-10-16 20:39:09,343 | Dummy-1:22492 | django.db.backends:90 | utils:execute | DEBUG | (0.000) SELECT @@SQL_AUTO_IS_NULL; args=None2019-10-16 20:39:09,344 | Dummy-1...

一、首先很少有java连接spark的情况，一般是python, scala 直接上了。二、话说，python也要引入pyspark，还有下载spark的lib, 也挺麻烦的。只有scala可以直接调用 spark-shell, 还算好用。废话不多说，直接上代码三、完整的pom，不多不少刚刚好。<?xml version="1.0" encoding="UTF-8"?>&lt...