TianLiaoFeiJue的博客

spark学习参考:https://www.cnblogs.com/yanshw/p/11614988.htmlspark部署的3种模式1: local 模式local 模式：即单机模式，这种安装加压即可，具体安装方法穿插在 Standalone 模式2:Standalone 模式Standalone 模式：即搭建 spark 集群，但不与其他框架集成，如 yarn，此时 spark 运行在集群中3:基于 yarn 的 spark 集群部署基于 yarn 的 spark 集群部署：yarn

/etc/vimrc 是系统范围的初始化配置～/.vimrc 个人的vim初始化配置打开配置文件vim /etc/vimrc设置参数set nu退出保存

远程自动生成ssh key# 安装自动输入密码 sshpassyum -y install sshpass# 远程静默安装 ssh-key sshpass -p root ssh root@10.10.0.5 "ssh-keygen -t rsa -N '' -f /root/.ssh/id_rsa -q"# 远程同步公钥到公钥集中服务器mkdir -p /root/.ssh/pubssshpass -p root scp root@10.10.0.5:/root/.ssh/id_rsa

centos7允许远程桌面访问参考文章参考文章https://www.cnblogs.com/jhxxb/p/10987058.htmlhttps://blog.51cto.com/uchase/1545357https://jingyan.baidu.com/article/29697b91647a74ab20de3ce9.html

大文件分割合并将a.tar.gz包按每个5M大小切割：split -b 5m a.tar.gz a.tar.gz.后面输出的文件名：“a.tar.gz.”，不指定的话会以xaa,xab,xac形式输出。如果文件名后面不加”. “，输出文件名会和后缀连在一起而不直观。#合并cat a.tar.gz.* > a.tar.gz#合并并解压cat a.tar.gz.* |...