shuest的博客

https://www.jb51.net/article/229426.htm

目录二、命令1. chmod2.history N3.df4. free三、vi1.显示出来行号。2.跳转行3. 复制4. 粘贴5. 删除6.快速跳到文件末行7.快速跳到文件首行一、文件目录bin 存放二进制可执行文件(ls,cat,mkdir等) boot 存放用于系统引导时使用的各种文件 dev 存放设备文件etc 存放系统配置文件home 存放所有用户文件的根目录lib 存放跟文件系统中的程序运行所需要的共享库及内核模块pro...

先将虚拟机系统关机，然后打开Oracle VM VirtualBox管理器：第一步：常规高级里共享粘贴板已经选中双向第二步：虚拟机设置-存储-控制器SATA-勾选"使用主机输入输出(I/O)缓存"第三步：存储-控制器SATA-点击***.vdi-勾选"固态驱动器"重新打开虚拟机，复制粘贴正常；...

修改配置文件在/opt/module/imply/conf/druid/_common下 vi common.runtime.properties druid.zk.service.host=hadoop102:2181,hadoop103:2181,hadoop104:2181 修改启动命令参数，使其不校验不启动内置 ZKvim /opt/module/imply/conf/supervise/quickstart.conf :verify bin/verify-java.

wget https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.196/presto-server-0.19 6.tar.gz 将 presto-server-0.196.tar.gz 导入 hadoop102 的/opt/software 目录下，并解压到/opt/module目录 ，修改名称为 presto进入到/opt/module/presto 目录，并创建存储数据文件夹 mkdir datamk...

进入spark安装目录下的conf文件夹修改配置文件名称mv slaves.template slavesmv spark-env.sh.template spark-env.sh修改slave文件，添加work节点：vim slaves加入：hadoop102hadoop103hadoop104修改spark-env.sh文件，添加如下配置：SPARK_MASTER_HOST=hadoop102SPARK_MASTER_PORT=7077分发spar

vim kf.sh#! /bin/bash case $1 in "start"){ for i in hadoop102 hadoop103 hadoop104 do echo " --------启动 $i Kafka-------" ssh $i "/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/serv..

在/opt/module/flume/conf 目录下创建 file-flume-kafka.conf 文件:a1.sources=r1 a1.channels=c1 c2 # configure source a1.sources.r1.type = TAILDIR a1.sources.r1.positionFile = /opt/module/flume/test/log_position.json a1.sources.r1.filegroups = f1 a1.s...

原来centos里是20G，扩容成40G：参考视频见：https://www.bilibili.com/video/BV1XK411V79z?from=search&seid=2073530284437499557vmware里设置好之后，需要在centos里挂载上，过程如下：查看分区情况：df –hsudo fdisk -lsudo fdisk /dev/sda输入：n然后选择：...

hadoop:在master节点，即hadoop102上：sbin/start-dfs.sh在resource manager上，即hadoop103上：sbin/start-yarn.shzookeeper：分别启动 Zookeeper 在各个机器上：启动：bin/zkServer.sh start停止：bin/zkServer.sh stop查看状态： bin/zkServer.sh status kafka:kafka启动之前需要.

解压 tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/ 重命名：mv kafka_2.11-0.11.0.0/ kafka 在/opt/module/kafka 目录下创建 logs 文件夹mkdir logs 修改配置文件cd config/ vi server.properties 增加：#broker的全局唯一编号，不能重复 broker.id=0 #删除topic功能使能 delete.to.

修改/opt/module/flink/conf/flink-conf.yaml:jobmanager.rpc.address: hadoop102修改 /conf/slave文件hadoop103hadoop104分发给另外两台机子 ：xsync flink启动：bin/start-cluster.sh关闭：bin/stop-cluster.sh

好几次网络这个图标都没了，网也连不上，成功的解决办法如下：依次输入以下命令即可。chkconfig network offchkconfig network onservice NetworkManager stopservice NetworkManager start

Zookeeper 正常部署首先保证 Zookeeper 集群的正常部署，在每个机器上，启动如下：bin/zkServer.sh startHadoop 正常部署在102 namenode上：sbin/start-dfs.sh 在103 resource manager上：sbin/start-yarn.sh HBase 的解压tar -zxvf hbase-1.3.1-bin.tar.gz -C /opt/modulemv hbase-1.3.1 hbase

在 hadoop102、hadoop103 和 hadoop104 三个节点上部署 Zookeeper。解压 Zookeeper 安装包到/opt/module/目录下tar-zxvf zookeeper-3.4.10.tar.gz -C /opt/module/同步/opt/module/zookeeper-3.4.10 目录内容到 hadoop103、hadoop104xsync zookeeper-3.4.10/配置服务器编号在/opt/module/zookeeper-.

解压tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/ 配置修改（1）将/opt/module/zookeeper-3.4.10/conf 这个路径下的 zoo_sample.cfg 修改为 zoo.cfg；mv zoo_sample.cfg zoo.cfg（2）打开 zoo.cfg 文件，修改 dataDir 路径dataDir=/opt/module/zookeeper-3.4.10/zkData （3）在/opt/mo.

jar 包准备(hadoop源码、JDK8、maven、ant 、protobuf)（1）hadoop-2.7.2-src.tar.gzmake（2）jdk-8u144-linux-x64.tar.gz（3）apache-ant-1.9.9-bin.tar.gz（build 工具，打包用的）（4）apache-maven-3.0.5-bin.tar.gz（5）protobuf-2.5.0.tar.gz（序列化的框架）之前装好jdk，maven了，只剩后几个。an...

时间同步的方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时同步，比如，每隔十分钟，同步一次时间。（1）检查 ntp 是否安装rpm -qa|grep ntp （2）修改 ntp 配置文件vi /etc/ntp.conf修改内容如下a）修改 1（授权 192.168.1.0-192.168.1.255 网段上的所有机器可以从这台机器上查询和同步时间）#restrict192.168.1.0mask255.255.255.0nomodify notrap.

建立目录： hdfs dfs -mkdir -p /user/hadoop/input上传小文件：hdfs dfs -put ./temp /user/hadoop/input上传大文件： bin/hadoop fs -put /opt/module/hadoop-2.7.2.tar.gz /user/hadoop/input 文件存放位置：/opt/module/hadoop-2.7.2/data/tmp/dfs/data/current/BP-128514036

开始时sbin/hadoop-daemon.sh start secondarynamenode查看端口：ps -ef | grep 2684kill -9 2684hadoop-daemon.sh start secondarynamenode

首先配ssh: https://blog.youkuaiyun.com/zs391077005/article/details/106827331要分别能和自己以及其他节点都能ssh成功。配置 slavescd /opt/module/hadoop-2.7.2/etc/hadoopvi slaves在该文件中删掉localhost，增加如下内容：hadoop102hadoop103hadoop104 注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。...

集群部署规划配置 hadoop-env.shexport JAVA_HOME=/usr/local/java/jdk1.8.0_161配置 core-site.xml<configuration><!-- 指定HDFS中NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop102:9000</.

在~/bin建立xsync:#!/bin/bash #1 获取输入参数个数，如果没有参数，直接退出 pcount=$# if((pcount==0)); then echo no args; exit; fi #2 获取文件名称 p1=$1 fname=`basename $p1` echo fname=$fname #3 获取上级目录到绝对路径 pdir=`cd -P $(dirname $p1); pwd` echo pdir=$pdir #4 获取当前用户名称 us

ssh-keygen一路回车下去然后输入想免密登录的主机目标主机：ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.234.103如果想退出，输入ctrl+d

sudo vi /etc/sysconfig/network-scripts/ifcfg-ens32 sudo vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=hadoop102sudo vi /etc/udev/rules.d/70-persistent-ipoib.rules SUBSYSTEM=="net",ACTION=="add",DRIVERS=="?*",ATTR{address}=="00:50:56:..

yum install -y dockerdocker version设置开机启动systemctl enable docker.service配置DOCKER镜像下载加速默认安装后的 Docker 环境在拉取 Docker 镜像时速度很慢。直接编辑配置⽂件：vim /etc/docker/daemon.json在其中加⼊加速镜像源地址即可{ "registry-mirrors": ["http://hub-mirror.c.163.com"] ..

下载wget http://nginx.org/download/nginx-1.18.0.tar.gz预先安装额外的依赖yum -y install pcre-develyum -y install openssl openssl-devel编译安装NGINXnginx解压后放在/usr/local/nginx里，在/usr/local/nginx/nginx-1.18.0下，./configure make && make install启动n..

安装Hadoop下载：wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz将Hadoop添加到环境变量vi /etc/profile在profile文件末尾添加JDK路径：（shitf+g）##HADOOP_HOMEexport HADOOP_HOME=/opt/module/hadoop-2.7.2export PATH=$PATH:$HADOOP_HOME/

wget https://mirrors.tuna.tsinghua.edu.cn/apache/tomcat/tomcat-8/v8.5.56/bin/apache-tomcat-8.5.56.tar.gzmkdir /usr/local/tomcat tar -zxvf apache-tomcat-8.5.56.tar.gz -C /usr/local/tomcat到bin下启动：浏览器访问：配置快捷操作和开机启动⾸先进⼊ /etc/rc.d/init.d ⽬录，创建...

curl -s https://packagecloud.io/install/repositories/rabbitmq/rabbitmq-server/script.rpm.sh | sudo bashcurl -s https://packagecloud.io/install/repositories/rabbitmq/erlang/script.rpm.sh | sudo bashyum -y install erlangyum -y install rabbit.