虚拟机配置spark

进入系统，设置开机以root用户启动：

进入root模式：
su root
修改配置文件：
vi /etc/gdm/custom.conf
在[daemon]下写入：
AutomaticLoginEnable=True
AutomaticLogin=root

准备工作：

1. 修改主机名

    vim /etc/sysconfig/network
    在文件中加入：
    NETWORKING=yes
    HOSTNAME=hadoop
    
    vim /etc/sysconfig/network-scripts/ifcfg-ens33
    最后一行加入：
    HOSTNAME=hadoop
    
    vim /etc/hostname
    删掉原有的一行，加入：
    hadoop
    
    ifconfig，找到自己ens##的ip（如192.168.159.130），然后：
    vim /etc/hosts
    删除原有的内容，加入：
    192.168.159.130 hadoop localhost
   

2. 免密登录

ssh-keygen -t rsa
之后全都直接回车：

然后：

3. 创建文件目录

4. 将需要安装的软件的压缩包放到software中

5. 配置java环境
Centos7自带了jdk1.8，要先卸载。

卸载原本的jdk，noarch文件可以不删：

然后解压jdk到app目录下，并改名：
tar -zvxf jdk-8u231-linux-x64.tar.gz -C ~/app


配置环境变量，激活配置文件：



6. 安装hadoop
解压压缩包，并改名：


修改Hadoop配置文件：


hadoop-env.sh，将文件原有的JAVA_HOME注释掉，加入本机的路径：

core-site.xml：

<configuration>  
    <property>  
       <name>fs.default.name</name>  
       <value>hdfs://hadoop:9000</value>  
   </property>
    <property>  
       <name>hadoop.tmp.dir</name>  
       <value>/root/app/tmp</value>  
   </property>
</configuration>

hdfs-site.xml：

<configuration>  
    <property>  
       <name>dfs.replication</name>  
       <value>1</value>  
   </property>
</configuration>

配置环境变量，并生效：


格式化DFS文件系统：

启动集群并检查：


关闭防火墙：

永久关闭防火墙
systemctl stop firewalld.service

查看hadoop网页：
Ip（如：192.168.159.130）:50070

配置yarn：


复制模板文件配置mapred-site.xml：

<configuration>  
    <property>  
       <name>mapreduce.framework.name</name>  
       <value>yarn</value>  
   </property>
</configuration>

配置yarn-site.xml：

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>  
       <value>mapreduce_shuffle</value>  
   </property>
</configuration>

启动yarn：

查看web端：
Ip（如：192.168.159.130）:8088

测试yarn：

创建file，提交到hdfs上运行：





出现了VM warning，出现这个问题基本都是在64位操作系统上，这主要是因为Hadoop官网上下载的本地库文件都是基于32位系统编译的，如果在64位系统上运行会出现这个问题错误。
在etc/hadoop/目录中的 hadoop-env.sh和yarn-env.sh 这两个文件中添加如下两行代码：

export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"

如果不想看NativeCodeLoader WARN，可以配置log4j文件：

在文件最后面追加：

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

执行命令测试：

hadoop jar /root/app/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /input/wc/file /output/wc/file

7. 安装mysql（一开始安装出来很大的问题，最后发现，我安装的i686是32位的，应该安装x86的）

卸载自带的mysql和mariadb（已经删掉了，自己需要的时候百度）


按顺序安装mysql的组件



解决在CentOS上安装mysql出现/lib/ld-linux.so.2: bad ELF interpreter问题和缺少共享库libstdc++.so.6_tree_ifconfig的博客-优快云博客

上面的是32位的错误安装，下面重新安装64位：



初始化mysql

查看临时密码：

启动mysql服务：

使用临时密码登录：

修改密码：

刷新：

重新登录，并开放权限：


8. 安装hive
解压到app目录下：


配置hive：
hive-env.sh:


出bug，不配了

hive-site.xml:（新文件）

<configuration>
    <property>
       <name>javax.jdo.option.ConnectionURL</name>  
       <value>jdbc:mysql://localhost:3306/spark?createDatabaseIfNotExsit=true;characterEncoding=UTF-8</value>
   </property>
    <property>
       <name>javax.jdo.option.ConnectionDriverName</name>  
       <value>com.mysql.jdbc.Driver</value>  
   </property>
    <property>
       <name>javax.jdo.option.ConnectionUserName</name>  
       <value>root</value>  
   </property>
    <property>
       <name>javax.jdo.option.ConnectionPassword</name>  
       <value>数据库root的密码</value>  
   </property>
</configuration>

拷贝架包：

初始化hive

失败了
9. 配置maven
解压，改名：


设置环境变量：

配置settings.xml：

<mirror>
           <id>alimaven</id>
           <name>aliyun maven</name>
           <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
           <mirrorOf>central</mirrorOf>
     </mirror>

<localRepository>/root/repository</localRepository>

检查是否安装成功：

10. 配置scala
安装并改名：


配置环境：

检查：

11. 配置git

卸载原有版本：

解压压缩包，改名：


安装依赖

yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel asciidoc
yum install  gcc perl-ExtUtils-MakeMaker

安装：

make prefix=/usr/local/git all
make prefix=/usr/local/git install
echo "export PATH=$PATH:/root/app/git/bin" >> .bash_profile
source /etc/profile

检查：

配置git：

git config --global user.name "1210611257"
git config --global user.email “1210611257@qq.com”

查看配置是否生效

git config --list

创建本地仓库：

mkdir gitspace
cd gitspace
git init

配置github
12. 安装IDEA
centos7中idea的安装与部署 - 活跃星竹 - 博客园 (cnblogs.com)



然后覆盖即可。