实体机配置全流程

1. 新申请的实体机：先配置 hadoop 环境
2. 然后在 home/q 下安装 anaconda 包

#!/bin/sh
cd ~
cd /home/q
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-4.4.0-Linux-x86_64.sh --no-check-certificate
sudo chmod u+x Anaconda3-4.4.0-Linux-x86_64.sh
sudo ./Anaconda3-4.4.0-Linux-x86_64.sh -b -p /home/q/anaconda3
sudo sed -i '$a export PATH=$PATH:/home/q/anaconda3/bin' /etc/profile
source /etc/profile
# bashrc 只对当前用户生效， profile 是所有 Linux 下的用户，所以下面一行不需要
# sudo vim ~/.bashrc，加入一行：export PATH=/home/q/anaconda3/bin:$PATH，并且 source ~/.bashrc
sudo conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
sudo conda config --set show_channel_urls yes
sudo conda create -n py36 python=3.6 -y

4. 修改 pip 默认镜像源： sudo mkdir -p ~/.pip， sudo vim ~/.pip/pip.conf，增加以下内容

    [global]
    timeout = 6000
    index-url = https://pypi.tuna.tsinghua.edu.cn/simple
    trusted-host = xxx

5. 修改 python pip 安装包的目录：在 /home/q/anaconda3 下建立 site-packages 文件夹，并 chmod 777 ，之后运行 python -m site -help命令，查看 site.py 文件的位置，如 /home/q/anaconda3/envs/py37/lib/python3.7/site.py，修改USER_BASE为新的 site-packages 所在的路径：USER_BASE = “/home/q/anaconda3/site-packages”

6. 修改 spark 临时文件路径：sudo vim $SPARK_HOME/conf/spark-env.sh，添加：export SPARK_LOCAL_DIRS=xxx

7. 修改 spark python 依赖：sudo vim $SPARK_HOME/conf/spark-env.sh，添加：export PYSPARK_PYTHON=/home/xxx/anaconda/envs/py37/bin/python

8. 配置 jupyter：先运行：jupyter notebook --generate-config，然后：sudo vim /home/user/.jupyter/jupyter_notebook_config.py，增加配置：

    c.NotebookApp.ip='*' #意思是任意IP都可以访问
    c.NotebookApp.open_browser = False  #意思是默认不打开浏览器
    c.NotebookApp.port =8888 #随便指定一个你想要的端口,后面可以从这个端口使用
    c.NotebookApp.allow_root = True # 运行jupyter notebook出现“Running as root is not recommended. Use --allow-root to bypass”的解决方法

8. 在 jupyter 中配置虚拟环境：

   • 激活conda环境： source activate 环境名称
   • 安装ipykernel：conda install ipykernel
   • 为虚拟环境下创建kernel文件：conda install -n 环境名称 ipykernel
   • python -m ipykernel install --user --name 环境名称

9. Jupyter Notebook 添加代码自动补全功能

    sudo pip install jupyter_contrib_nbextensions
    sudo jupyter contrib nbextension install

10. 打开notebook服务器：jupyter notebook，浏览器打开对应地址，就会有对应的环境提示了
11. 如果想配置 jupyter 密码的话：https://blog.youkuaiyun.com/xiedelong/article/details/105313158