Linux
关注
分享
扫一扫
訾零
做喜欢的事，过玩味的生活。
展开
-
大数据平台基础环境准备
之前已经记录过，这里再记录一下，相以便快速使用。安装依赖sudo yum install -y epel-release psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git配置用户和权限添加新用户 hdfs，并赋予 root 权限。如果使用 hdfs 用户作为 Hadoop 默认用户，需要将 hdfs 用户也配置免密登录。adduser hdfspasswd hd.原创 2022-05-26 00:45:15 · 788 阅读 · 0 评论 -
Centos7 查看IP，没有 ifconfig 命令问题
查看IPip addrifconfig没有 ifconfig 解决办法yum search ifconfig #======================== Matched: ifconfig ======================== #net-tools.x86_64 : Basic networking tools yum install -y net-tools.x86_64原创 2020-05-18 13:26:51 · 2069 阅读 · 0 评论 -
Linux Cannot assign requested address
ConnectException: Cannot assign requested address (connect failed)原因在存在大量短连接的情况下，虽然 socket 正常关闭，但默认60s后释放，而不是立即释放，所以处于TIME_WAIT状态。Linux 连接端口（65535）用尽，就会造成这个异常。查看查看进程，有很多 TIME_WAIT 状态的。net...原创 2020-03-05 22:13:17 · 2864 阅读 · 0 评论 -
Iptables 常用设置命令
1、iptables规则基本格式iptbales[-t table]COMMANDchainCRETIRIA-jACTION# -t table: 3个 filter nat mangle# COMMAND： 定义如何对规则进行管理# chain： 指定你接下来的规则到底是在哪个链上操作的，当定义策略的时候，是可以省略的# CRETIRIA：...原创 2020-02-27 12:43:17 · 1137 阅读 · 0 评论 -
Linux 查看网络流量 iftop
Linux 查看系统资源、进程、内存占用等信息可以使用 top，检查磁盘 IO 可以使用 iotop，检查网络状态可以使用 netstat，检查实时网络流量，监控TCP/IP连接等，可以使用 iftop 。iftop官网1. 安装# 安装epelyum install epel-release# 或者 centos 7，其他版本修改 7 为 对应centos版本即可...原创 2020-01-15 12:43:56 · 2302 阅读 · 0 评论 -
Linux 日常常用命令
工作中常用命令top -c 内存使用最高的进程top -H -p 25120 查看进程下的所有线程cpu利用率df -sh * 查看磁盘使用情况du -h 查看当前目录下的文件/目录使用情况iotop 查看磁盘IO读写(yum install iotop安装)iotop...原创 2020-01-15 11:40:05 · 288 阅读 · 0 评论 -
Shell环境变量set、env、export
Shell 的环境变量分为两种：set：可以显示和设置shell私有变量，仅在本 shell 中有效。不同shell（bash、csh）私有变量不同。env：可以显示和设置用户环境变量 ，仅在当前会话中有效。另外set 变量可以通过 export 工具导入到 env 变量中：export：显示或设置当前导出成用户变量的shell变量。区别两种变量不同之处在于变量的作用域不同...原创 2019-07-20 19:22:31 · 5796 阅读 · 0 评论 -
Centos7.3安装CDH6.0.1之基础环境配置
1. 联网安装1.查看并卸载系统自带的MySQL和Mariadbrpm -qa | grep mysqlrpm –qa | grep mariadbrpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_642.下载mysqlwget http://repo.mysql.com/mysql-community-release-el7-...原创 2019-06-26 11:51:56 · 1134 阅读 · 0 评论 -
Shell集群同步文件脚本
简单但实用的小脚本，在集群有免密登录的情况下，这个脚本方便在一个节点同步文件到其他节点，包括配置文件、目录。创建脚本后，放到/bin目录下，可以方便的直接调用。用法lsync filelsync/etc/profilelsyhc /opt/apps/java脚本vim lsync#!/bin/bash# 判断参数argscount=$#if(($a...原创 2019-07-27 06:34:56 · 785 阅读 · 0 评论 -
Shell集群同步命令脚本
很简单但实用的小脚本，有免密登录的情况下，使用脚本可以在一台服务器上同时让多态服务器执行命令，并能在一台服务器看到所有服务器上命令执行结果。放到 /bin 目录下，方便全局直接调用用法lcmd jpslcmd systemctl netstat脚本vim lcmd#!/bin/bashargscount=$#if(($argscount==0)); th...原创 2019-07-27 06:43:34 · 699 阅读 · 0 评论 -
vim常用操作
光标w 后移到下个字符串首位,含符号 W 不含符号e 后移到下个字符串尾部,含符号 E 不含符号b 前移到上个字符串尾 B 不含符号0 移动到下一行首 $ 行末( 移动到句首 ) 句尾gg 移动到文档行首 ...原创 2019-08-18 04:18:11 · 314 阅读 · 0 评论 -
Linux刷新内存
Linux缓存有page cache，dentry，buffer cache。page cache加速inode的读写,缩短IO调用时间dentry用来加速文件路径名到inode的转换buffer cache加速磁盘块的读写查看内存情况free -m释放内存：在释放内存前，先强制将系统正在处理的page cahce,dentry,inode写入磁盘。...原创 2019-08-20 02:47:55 · 5165 阅读 · 0 评论 -
Linux解压打包
1. 以 .tar 格式# 解压,不指定-C路径,默认在当前目录,-v列出详细信息tar -xvf file.tar# 打包tar -cf file.tar file/2. 以 .tgz 和 .gz 格式# 解压tar -zxvf file.tgztar -zxvf file.tar.gz# 打包tar -zcf all.tar.gz file/# 解压.gz...原创 2019-08-26 16:16:13 · 349 阅读 · 0 评论 -
Linux netstat命令
netstat参数说明可以通过netstat --help / --usage 查看详细netstat -r, --route 显示路由 -I, --interfaces=<Iface> 显示指定网络设备接口表 -i, --interfaces 显示全部网络设备接口表 -g, --groups ...原创 2019-08-27 10:49:08 · 488 阅读 · 0 评论 -
Shell中单引号、双引号和反引号区别
vim d_date.sh./d_date.sh 2019-09-06 # 测试#!/bin/bashd_date=$1echo '$d_date' # $d_dateecho "$d_date" # 2019-09-06echo `date` # Fri Sep 6 15:52:39 CST 2019echo "'...原创 2019-09-06 15:53:48 · 381 阅读 · 0 评论 -
Linux网络设置信息
查看网络配置ls /etc/sysconfig/network-scriptscat /etc/sysconfig/network-scripts/ifcfg-enp5s0TYPE=Ethernet 设备类型BOOTPROTO=none dhcp|static|none,动态ip/静态/不指定DEFROUTE=yes ...原创 2019-09-08 18:25:23 · 253 阅读 · 1 评论 -
Linux链接
Linux的文件Linux的文件分为 数据块(data block) 和 元数据(metastore)。数据块是真正的数据，元数据记录了数据块的大小、创建时间、所有者等信息。inode元数据中，inode 是数据的唯一标示，并非文件名。一个文件的文件名可以改变，但inode是不会变的。例如，创建一个文件，可以使用 ls -i / stat 来查看文件的inode。ls -i ...原创 2019-09-11 03:56:04 · 303 阅读 · 0 评论 -
Shell IFS变量
IFS文档IFS （Internal Field Separator）输入字段分隔符，Bash 会根据IFS 中定义的字符来进行字符串拆分。默认情况下，IFS包含空格，制表符tab和回车，这也是Bash 读取数据都是在空格处拆分的原因。IFS变量通常用于读取命令、参数扩展和命令替换。cat -A <<< "$IFS" ^I$$# " "是空格,^I$是Ta...原创 2019-07-20 18:18:58 · 737 阅读 · 0 评论 -
Shell中${var:-},${var:=},${var:+},${var:?},${var:}变量替换、提取
变量替换符号 含义 ${var} 变量，界定范围 ${var:-word} 如果var为空或者未设定，返回word，var不变 ${var:=word} 如果var为空或者未设定，返回word，且var=word ${var:+word} 如果var有值，返回word，var不变 ${var:?word} 如果变量var为空或者未设定，...原创 2019-07-18 00:10:41 · 9795 阅读 · 1 评论 -
Shell查看命令状态及位置
目录1. which2. whereis3. command -v4. type5. hash判断1. whichwhich filename按文件名查找。which会在用户设置的PATH目录中查询，所以也可以查询系统命令。有结果返回0，没有结果返回1。2. whereiswhereis filename根据文件名查找，会列出所有位置...原创 2019-07-16 17:51:42 · 2361 阅读 · 0 评论 -
Shell bash和sh区别
Shell 中文意思贝壳，寓意类似内核的壳。Shell是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。Shell 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。Shell 既是一种命令语言，又是一种程序设计语言。Shell 脚本（shell script）是一种为 shell 编写的脚本程序。常说的shell通常都是指 shell 脚本...原创 2019-07-16 16:02:08 · 44602 阅读 · 4 评论 -
Shell比较运算符
Shell常用比较符，判断文件、文件夹类型和是否存在if [ -e $FILE ];then echo "file exists"else echo "file not exists"fi文件比较运算符:-e 判断对象是否存在,是返回true-d 判断是否为目录-f 判断是否为常规文件-c 判断是否为特殊字符文件-s 判断是否长度不为...原创 2019-07-16 11:56:44 · 1313 阅读 · 0 评论 -
Linux cd命令
遇到cd -P，顺便记录一下 cd常用用法、cd-P、pwd -Pcd常用用法:cd ~ 返回当前用户的主目录，与不带~相同cd / 切换到根目录cd .. 切换到父级目录cd ../.. 切换到两层父级目录cd ../DirName 切换到父级目录的某个目录下cd !$ 把上个命令的参数作为cd命令的参数，如: ls /var...原创 2019-07-16 11:13:10 · 2545 阅读 · 1 评论 -
Shell中的括号(),(()),[],[[]],{}
符号 作用 () 1. 顺序执行，如：(cmd1;cmd2;cmd3) 2. 类似``，如：$(cmd)，先执行cmd再取值 3.初始化数组，如：array=(a b c d) (()) 1. 逻辑判断，真为1，假为0，表达式的话，结果不为0，返回0或true，为0返回1或false 2. 算术运算，不支持浮点和字...原创 2019-07-18 13:40:33 · 358 阅读 · 0 评论 -
Linux命令行提示符颜色格式设置
Linux命令行提示符默认是白色，很多时候不太方便查看命令和记录，而且默认是显示的完整路径，如果路径过长，开发和看起来都不方便，所以改变一下终端命令行颜色和格式。PS（Prompt Sign）命令提示符，PS1是Linux终端用户的一个环境变量，用来定义命令行提示符的参数。在设定PS1环境变量时，需要用到预设的一些参数来设定PS1。1. PS1的常用参数以及含义： \d ：代表...原创 2019-07-03 15:11:50 · 18869 阅读 · 1 评论 -
Ubuntu防火墙
由于近期在用ubuntu，对ubuntu的防火墙设置记录一下。Linux原始的防火墙工具iptables比较繁琐，ubuntu默认提供了一个基于iptable之上的防火墙配置工具ufw，使管理iptables更简单。前提：需要root权限1. 常用命令：1. 查看状态sudo ufw status2. 启用 / 禁用sudo ufw enable / di...原创 2019-07-03 13:55:41 · 8424 阅读 · 0 评论 -
Linux配置主机名和映射
1. 查看主机名:hostnameuname -n2. 修改主机名sudo vim /etc/hostnameCentos7sudo hostnamectl set-hostname hadoop-master3. 配置映射sudo vim /etc/hosts添加ip hostname//如：192.168.100.21 hadoop-mast...原创 2019-06-24 10:47:07 · 7774 阅读 · 0 评论 -
Shell awk命令
awk报表生成器。功能：可以进行样式装入、流控制、数学运算符、进程控制语句甚至于内置的变量和函数。简单来说awk就是扫描文件中的每一行，查找与命令行中所给定内容相匹配的模式。如果发现匹配内容，则进行下一个编程步骤。如果找不到匹配内容，则继续处理下一行。-F指定分割：awk -F"," '{print $1}' /etc/passwd内置变量：NF、$NF、NR、FNR、FS、OFS、R...原创 2019-07-19 00:47:15 · 488 阅读 · 0 评论 -
Shell set常用参数
set常用参数参数 说明 -a 将声明的变量提升为环境变。 set -a XPATH=xxxx set +a -e 如果后面的代码出现执行情况为0，则退出shell脚本。常写在shell脚本第二行。 与-o errexit效果相同。 #!/bin/bash set -e -u ...原创 2019-07-19 11:24:23 · 3594 阅读 · 0 评论 -
Linux cat命令
cat命令是linux下的一个文本输出命令。平时基本只是使用cat file功能，突然有用到了参数，顺便记录一下。cat（Concatenate and write files）命令用于将文件或标准输入组合输出到标准输出。如果没有指定文件，或文件为’-’，则从标准输入读取。文件太大时，一般用more等命令分屏显示。格式cat [option][file]...功能c...原创 2019-07-20 17:45:02 · 462 阅读 · 0 评论 -
Shell中$ 各种含义
符 号 含 义 $0 脚本名 $# 参数个数 $n 传递给脚本的参数值，$1第1参数、$2第2参数 $? 上次退出的状态（返回值），0没有错误，1错误 $* 所有参数列表。"$*"时，是"$1 $2 … $n"的形式 $@ 所有参数列表。"$@"时，是"$1" "$2" … "$n" 的形式 $$ 当前进程的编号（Proc...原创 2019-07-17 22:19:33 · 5511 阅读 · 0 评论 -
Bash read命令
问题场景：IFS="," read -d ' '-ra ARG <<<${ARGS}概念read命令是一个非常重要的bash命令，用于接收标准输入或者其他文件描述符的输入，并且可以和用户进行交互。得到输入后，read命令将数据放入一个标准变量中。该命令可以一次读取多个变量的值，变量和输入的值都需要使用空格隔开。在read命令后面，如果没有指定变量名，读取的...原创 2019-07-20 18:26:03 · 5045 阅读 · 0 评论 -
Linux rsynv远程数据同步
rsyncrsync是linux系统下的远程数据同步工具。使用快速增量备份工具Remote Sync可以远程同步，支持本地复制，或者与其他SSH、rsync主机同步。rsync使用“rsync算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此针对非第一次同步传输速度快。rsync特性1、可以镜像保存整个目录和文件系统2、容易做...原创 2019-07-20 02:40:27 · 761 阅读 · 0 评论 -
Shell exit status
exit 是一个 Shell 内置命令，用来退出当前 Shell 进程，并返回一个退出状态，exitstatus是一个介于0到255之间的值。命令：$?可以接收这个退出状态。退出码（exit status，或exit code）约定：0 操作成功完成1 功能错误2 系统找不到指定的文件3 系统找不到指定的路径4 系统无法打开文件5 拒绝访问6 句柄无效7 ...原创 2019-07-20 01:35:58 · 2086 阅读 · 0 评论 -
Shell sh exec source
执行脚本或命令时，常用到的三种方式：sh、source、exec。区别：sh：会启动一个子进程，执行完退出子进程，回到父进程，不影响父进程上下文。source：（就是点命令". sh"）在进程中分配出一部分资源执行，使用进程的上下文中，执行完回到原来进程中，会影响进程上下文。exec：执行进程会替换原来的进程（代码、上下文、堆栈信息等），只是pid不变，执行完结束进程。...原创 2019-07-24 13:53:19 · 536 阅读 · 0 评论 -
Shell sed命令
遇到sed问题，经常会去查资料，这里自己记录一下，方便以后查询。sed（流编辑器）命令行文本编辑器。它一次处理一行内容，先把处理的行存入临时缓冲区（模式空间）进行处理，用sed命令处理缓冲区内容后输出到屏幕。能同时处理多个文件多行的内容，不改变原文件内容。最常用的是模式匹配和替换操作。官网文档命令格式sed [选项]... {脚本} [输入文件]...sed [op...原创 2019-07-19 18:05:00 · 2955 阅读 · 0 评论 -
Shell ps常用组合查看线程命令
Linux中ps命令支持3种风格参数，可以混合使用：Unix风格，“-” 开头BSD风格，只是字母GNU风格，“--” 开头ps常用查看线程的组合命令ps -a 显示有终端的所有进程，除了控制进程 ps -e 显示系统所有进程信息 ps -f 使用完整格式显示信息 ps -o 自定义格式 ps -p 进程使用cpu的时间 ps -...原创 2019-07-19 12:12:10 · 2064 阅读 · 0 评论 -
Linux挂载
在优化HDFS文件存储时，把文件分部到多个磁盘存储，有利于合理利用磁盘，需要不同磁盘挂载目录，涉及到了磁盘自动挂载，在这里记录一下。1. 手动挂载命令mountmount [-t type] [-o options] device dir1、-t type 指定文件系统的类型，通常不必指定，mount 会自动选择正确的类型。光盘或光盘镜像：iso9660 DOS fat16文...原创 2019-07-02 17:56:31 · 2915 阅读 · 0 评论