诺亚废船

Spark安装步骤：1：需要安装jdk，并配置环境变量2：安装Scala，并配置环境变量3：安装Spark，配置所要用的Python版本1.安装JDK首先来安装JDK： sudo mkdir /usr/lib/jdk在/usr/lib/目录下创建jdk文件夹，我们计划讲jdk安装在/usr/lib/jdk目录下。 切换至jdk-8u144-linux-x64.tar.gz的目录下 sudo tar

MovieLens数据集Movielens数据集内主要文件有三个：1.u.user 介绍用户的信息 2.u.item 介绍电影元数据 3.u.data 介绍用户对电影的评分数据 1.u.user的主要字段有：用户ID（user ID），年龄(age) ，性别（gender），职业（occupation），邮编（ZIPcode）五个属性。 2.u.item的主要字段有：电影id（movie id），电

hive commond:1.hive -e “select * from mytable limit 3; 2.hive -S -e “select * from mytable limit 3” > /tmp/myquery (no useless information like “OK Time taken:xxx seconds”) 3.hive -S -e ‘set’ | gre