JOKER1911的博客

一、项目背景 从项目的背景、要求、数据集介绍。 提供用户在2016年1月1日至2016年6月30日之间真实线上线下消费行为，预测用户在2016年7月领取优惠券后15天以内的使用情况。 Field Description User_id 用户ID Merchant_id 商户.

我以为下载错了版本，然后去看了看官方文档，functions中存在col这个方法排除版本错误后，我在想是否能通过from pyspark.sql.functions import *导入，很遗憾失败了，于是我又尝试了import pyspark.sql.functions as funs在程序中使用funs.col()，发现是可用的，问题成功解决，下面再提供一个国外网友的方法，因为比较复杂我就没试验...

当时以为是JAVA_HOME没有配置好，反复检查后发现JAVA_HOME并没有问题，于是更改了Spark-class的配置文件有关JAVA_HOME的部分，直接改为了Java的路径，再次运行发现没有第71行的报错了，但是又来了个99行的报错，再次寻找有关Java的部分，没有发现，只好还原Spark-class文件，改用Ubuntu系统的软连接功能ln -s 原文件 需要连接到的文件由于提到的文件夹大概率不存在，你需要用mkdir创建一下，存在权限问题的话，用chown更改一下权限于是我的命..

在对HIVE安装时出现了MetaException(message:Version information not found in metastore.) 以及MetaException(message:Required table missing : "`DBS`" in Catalog "" Schema "". D...