2021-10-18

小x今天暴富了吗

于 2021-11-15 13:31:08 发布

阅读量594

点赞数

文章标签： ubuntu

本文链接：https://blog.youkuaiyun.com/Sawada00/article/details/120826430

版权

本案例即林子雨老师出版教材电影推荐系统

任意门

下载地址

下载地址

下载地址：百度云盘（提取码：bxug ）
mysql：下载地址

Ubuntu安装教程

Ubuntu：安装教程
安装过程中的问题：
显示不全，显示不了下方的按钮
解决方法：
按住alt键，往上拖就好

环境搭建

1.创建hadoop用户

在这里插入图片描述

sudo useradd -m hadoop -s /bin/bash
sudo passwd hadoop
sudo adduser hadoop sudo

2.更新apt

在该界面更改软件源

详见书本p14

在这里插入图片描述

sudo apt-get update

3.安装vim

sudo apt-get install vim

4.安装jdk

cd /usr/lib
sudo mkdir jvm
sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm 
#到该安装包目录下执行该命令

查看该目录
在这里插入图片描述
设置环境变量

vi ~./bashrc

在这里插入图片描述

source ~./bashrc

查看是否安装成功

java -version

在这里插入图片描述

5.安装scala

sudo tar -zxf scala-2.11.8.tgz -C /usr/local
#到该安装包目录下执行该命令
sudo mv scala-2.11.8 ./scala
#修改文件名
sudo chown -R hadoop ./scala
#修改目录权限

配置环境变量

vi ~./bashrc

在这里插入图片描述

source ~./bashrc

检查设置是否正确
在这里插入图片描述

6.安装hadoop

准备：安装ssh

sudo apt-get install openssh-server
ssh localhost
#yes
cd ~/.ssh/
ssh-keygen -t rsa
#一直enter
cat ./id_rsa.pub >> ./authorized_keys

解压相关文件

sudo tar -zxf hadoop-2.7.1.tar.gz -C /usr/local
#压缩包所在位置解压
cd /usr/local/
sudo mv hadoop-2.7.1 ./hadoop
sudo chown -R hadoop ./hadoop

检查hadoop版本
在这里插入图片描述

cd /usr/local/hadoop
./bin/hadoop version

修改配置文件
直接用网盘资料中的core-site.xml和hdfs-site.xml进行替换
/usr/local/hadoop/etc/hadoop/

cd /usr/local/hadoop
./bin/hdfs namenode -format
#格式化

成功标志
在这里插入图片描述
启动hadoop

运行伪分布式实例

详见p22

7.安装spark

sudo tar -zxf spark-2.1.0-bin-without-hadoop.tgz -C /usr/local
#压缩包所在位置解压
cd /usr/local/
sudo mv spark-2.1.0-bin-without-hadoop ./spark
sudo chown -R hadoop:hadoop ./spark

配置文件

cd /usr/local/spark
cp ./conf/spark-env.sh.template ./conf/spark-env.sh
vi spark-env.sh

在这里插入图片描述
验证是否安装成功

启动spark

./bin/spark-shell

在这里插入图片描述

8.安装mysql

sudo apt-get install mysql-server

然后会弹出输入密码的界面，输完移动方向键，enter
第二次确认密码，操作同上

确定服务是否启动
在这里插入图片描述
进入mysql-shell环境
解决中文乱码

sudo vi /etc/mysql/mysql.conf.d/mysqld.cnf
#下图所示位置添加一行

在这里插入图片描述
重启服务

service mysql restart

IDEA

1.安装idea

sudo tar -zxvf ideaIU-2017.3.5.tar.gz -C /usr/local
#压缩包所在位置解压
cd /usr/local/
sudo mv idea-IU-173.4674.33 ./idea
sudo chown -R hadoop ./idea

2.启动idea

在这里插入图片描述

详细见p38
激活码自己想办法

选择主题后一直点next到结束

3.安装scala插件

窗口右下角configure
选中plugins
弹出窗口下方第三个按钮install plugin from disk
选择安装包
重启idea

4.配置jdk

在这里插入图片描述