qq_37797234的博客

在/sparkconf/spark-defaults.conf添加配置增加内存和核数spark.driver.memory 3gspark.executor.memory 2gspark.driver.cores 2spark.sql.broadcastTimeout=300 # 心跳检测间隔，以防数据量过大，超时报错

在 spark的conf下 创建 hive-site.xml不过在CDH中，hive是默认为hive on spark的，而不是mr新增下面内容：<configuration> <property> <name>hive.metastore.client.connect.retry.delay</name> <value>5</value> </property> &lt

环境为Ubuntu、jdk8、spark-2.4.5-bin-hadoop2.7，python3.8.21、原因由于spark还不支持python3.82、解决方法所以将python降级即可，我降级到python3.6.9成功注意：要配置默认的python为python3.6.9，方法如下删除原有的python软链接 ：rm /usr/bin/python 建立python到python3.6新的软链接：ln -s /usr/bin/python3.6 /usr/bin/python

一、安装JDK81、解压cd /usr/libsudo mkdir jvm #创建/usr/lib/jvm目录用来存放JDK文件cd ~ #进入hadoop用户的主目录cd Downloads #注意区分大小写字母，刚才已经通过FTP软件把JDK安装包jdk-8u162-linux-x64.tar.gz上传到该目录下sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm #把JDK文件解压到/usr/lib/jvm目录下2、

ubuntu下安装scalasudo wget https://downloads.lightbend.com/scala/2.12.8/scala-2.12.8.tgz下载好后解压到：/usr/local/sudo tar zxvf scala-2.11.8.tgz -C /usr/local/删除安装包：rm scala-2.11.8.tgz进入到解压目录并重命名：cd /usr/...