高效Linux用户需要了解的命令行技能

高效Linux用户需要了解的命令行技能

出处： Quora   译文出处： 凌坤（@灵犀志趣_凌坤）

最近在Quora上看到一个问答题目， 关于在高效率Linux用户节省时间Tips。将该题目的回答进行学习总结，加上自己的一些经验，记录如下，方便自己和大家参考。

下面介绍的都是一些命令行工具，这些工具在几位回答者的日常工作中都很有用。对于任何不了解的命令，请使用“man <COMMANDNAME>“查看，或者使用Google。有些命令需要先用 yum, apt-get install 命令安装。

 

1 基本命令

了解基本的bash

通读整个bash man page.

学习VIM

在Linux系统上，虽然你有Emacs和Eclipse，但是VIM仍然是无出其右的利器。

了解SSH，基本的无密码验证方式。

例如通过ssh-agent, ssh-add等。 《灵犀志趣》平时都使用如下脚本完成无密码验证，省事省力。
执行方式  sh nopasswd USER REMOTE_HOST
执行此脚本前，请确认：

• 本机上已有 id_dsa.pub ,若无。 使用命令 ssh-keygen -t dsa 获得。
• 远程机上登录用户家目录下，已经有 .ssh 文件夹，若无创建之。

1 2 3 4 5

$ cat  nopasswd #!/bin/sh   scp ~/.ssh/id_dsa.pub  $1@$2:~/ ssh $1@$2 " touch ~/.ssh/authorized_keys ; cat ~/id_dsa.pub  >> ~/.ssh/authorized_keys; chmod 644 ~/.ssh/authorized_keys; exit"

熟悉Bash中常用的任务管理命令

&,Ctrl-Z,Ctrl-C,jobs,fg,bg,kill 等。

基本的文件管理命令

ls, ls-l, less, head, tail, tail -f, ln, ln -s, chmod, chown, du, du -sk *, df, mount

基本的网络管理命令

ipconfig, ifconfig, dig

熟悉正则表达式，以及 grep，egrep用到的选项

-o, -A, -B

软件安装命令了解

apt-get 和 yum

cat -n

可以帮助显示行号。 

2 一些表达式

!!

再次执行上一条命令

!$

上一条命令的最后一个单词

{a..b}

按照从a到b顺序的一个数字列表

{a,b,c}

三个词a,b,c. 可以这样使用  touch /tmp/{foo,bar,baz}

{$1-$9}

执行shell脚本时的命令行参数

$0

正在执行的命令名称

$#

当前启动的命令中传入的参数个数

$?

上一条命令的执行返回值。

$$

该shell的进程号。

$*

从$1开始，启动该shell脚本的所有参数。

 

3 日常使用命令

Ctrl-R

在bash中， Ctrl-R用于在历史命令中搜索

Ctrl-W, Ctrl-U, Alt-BackSpace

bash中，Ctrl-W删除最后一个词，Ctrl-U删除最后一行, Alt-BackSpace 删除光标前的一个词  man readline 中包含了大量bash中的默认热键绑定.

cd -

返回前一个工作路径

xargs

非常强大的命令。如果你还不确定是否能正确的执行任务，可以先用xargs echo查看。下面是一个用该功能的例子：

1 2	find . -name \*.py | xargs grep some_function cat hosts | xargs -l {} ssh root@{} hostname

parallel一个更加强大的命令. 可以实现并行执行任务,并可以分割输入文件, 指定多个节点同时运行命令等功能.详细的功能可以参考 这个链接. pstree -p打用进程树的得力工具 pgrep,pkill使用名字查找进程，或者直接向指定名字的进程发送信号。

• 了解用户能发送给进程的一些信号。比如 kill -STOP [pid] ，让pid进程挂起。

nohup，disown,screen, tmux当你需要将进程永远处在后台运行是，这两个命令很有用。lsof, netstat -lntp查询当前什么进程在监听什么端口。set在bash脚本中， 使用 set -x 获得debug输出，使用 set -e 获得错误输出。;分号用于开启一个子shell并运行至结束后关闭。 例如：

1 2 3

#在当前路径下执行一些命令 (cd /some/other/dir; other-command) # 工作路径仍然是当前目录

了解shell中的多种参数表达式

${name:?error message}

检查某个变量是否存在，若不存在输出 error message。

${var%suffix}, ${var#prefix}

输出var变量除前缀或者后缀外的部分。如下面的代码输出为foo.txt.

1 2	var = foo.pdf echo ${var%pdf}.txt

<,>输入输出重定向操作。 some_command > logfile 2>&1将  some_command 运行过程中的标准输出和标准错误输出都输出到文件logfile中。 man ascii获得一个好用的ASCII表格，包含10进制和16进制的值。 screen,dtach在远程ssh绘画中，使用这两个命令可以保存你的会话，避免因为网络问题导致中断。 curl, curl -l, wget在web页面调试中，这几个命令能帮你下载网页代码，很有用。 lynx -dump -stdin将HTML转换为文本 xmlstarlet需要处理XML时，这个命令很有用。 ssh -L, ssh -D需要利用远程服务器访问网页时，这命令可以帮助你在远程服务器和你的机器之间建立ssh 隧道。 ssh连接优化如下配置能帮你避免链接丢失，不需要每次都输入yes确认和远程服务器的链接，以及在链接中启用压缩。建议将它放到.ssh/config中。

1 2 3 4 5 6

TCPKeepAlive=yes ServerAliveInterval=15 ServerAliveCountMax=6 StrictHostKeyChecking=no Compression=yes ForwardAgent=yes

在正输入的命令前加#

命令已经输入一半，忽然间改主意想少收运行时，
可以使用  Alt-# 在命令前加‘#’，将整个命令变成注释。这样你稍后就能在命令历史中找到该命令了。

cron

可以帮助你制定一些定时执行的计划任务。

Ctrl-S Ctrl-C

将一不小心需要大量输出文本时，依次输入这两个操作，
比单纯的频繁按Ctrl-C能更快让程序终止。

 

4 数据处理

sort,uniq, uniq -u, uniq -d

了解这些排序命令

cut,paste, join

了解这些文本文件的维护工具。很多人都在使用cut后，忘记join

使用sort/uniq进行集合的交、并、补运算=

假设a和b是两个文本文件，其中的行都是唯一的。
如下几个命令可以快速的实现一些集合操作。

1 2 3

cat a b | sort | uniq > c   # c is a union b cat a b | sort | uniq -d > c   # c is a intersect b cat a b b | sort | uniq -u > c   # c is set difference a - b

使用LC_ALL=CLinux中有关locale的设置会影响大量的命令行工具，其中包括排序工具。
多数安装的Linux系统都将LANG或者其他的locale默认设置成US English。
但这可能会导致排序及其他命令慢上好几倍。
因此export LCALL=C能避免使用i18n形式处理数据，带来性能提升。 awk,sed这两个工具能实现复杂的数据替换和修改。
例如，下面的命令实现对文本文件中低三列的数据求总和。
使用shell完成此运算比用Python快3倍。

1	awk '{ x += $3 } END { print x }'

shuf该命令可以从将一个文件中的行混洗，或者从中随机选出一些行。 sort了解sort的常用选项(-t，-k， -s）如何工作。 注意-k1,1只会排序第一列，
而-k1会根据整个行排序。 -s能实现稳定排序。
例如，先使用第二个域排序，再按照域一排序，可以用这段命令实现

1	cat INPUT_FILE | sort -k1,1  | sort -s -k2,2

制表符的输入在bash的命令行中，如若需要输入制表符，可以使用 Ctrl-V <tab> 或者 $’\t’ 实现 hd,bvi对于二进制文件，这两个命令分别实现16进制抽取，二进制编辑操作。 strings,grep可以帮助在二进制文件中寻找文本。 iconv,uconv可以帮助转换文本编码 split,csplit分别可以实现将文件按照大小分割，以及按照特定的模式分割。

 

5 系统调试

iostat,netstat,top,atop,htop,dstat

可以帮助了解硬盘，CPU，内存，网络的状态。
这能帮你对系统正在发生的情况有个第一认识。

free,vmstat

如果想了解内存的状态，这两个命令很重要。
其中cached是Linux内核中文件缓存的大小。

kill -3 <pid>

在调试Java程序时，使用此命令，可以在stderr/logs中找到完整的stack trace，
堆信息(包含垃圾收集的细节).

mtr,traceroute

能够帮忙找到网络问题，前者比traceroute更好用。

iftop,nethogs

这两个命令可以办刚找出哪个端口或者进程占用了多少网络带宽。

ab,siege

这个Apache自带的工具能帮助快速检查web服务器的性能。

wireshark,tshark

是进行更高级的网络调试的得力工具。

strace,ltrace

这两个命令能帮你在一无所知的情况下，对程序运行失败，假死，崩溃等问题带来一些线索。
另外，他们还能帮忙发现一些性能问题。比如 -c选项可以做profiling；
-p选项可以挂到某个指定的进程上。

ldd

检查共享库的情况

gdb

了解如何利用GDB连接到一个正在运行的进程，并且得到其stack trace。

/proc/

在做现场调试的时候很有用。比如  /proc/cpuinfo, /proc/XXX/cwd, /proc/XXX/exe, /proc/XXX/fd/, /proc/XXX/smaps

sar

在需要判断为何过去某个时间系统会出错时，这个命令能显示CPU，内存和网络的历史情况。

stap, perf

当需要更深的分析系统，以及性能情况时，这两个工具很有用。

dmesg

当系统出现一些很反常的现象时，比如可能是硬件或驱动问题时，这个很管用。

 

6 参考

• http://unixhelp.ed.ac.uk/scrpt/scrpt2.2.2.html
• http://www.quora.com/Linux/What-are-some-time-saving-tips-that-every-Linux-user-should-know

 

7 致谢

• 杨青：增加 Alt-BackSpace
• dikar: 修改 string -> strings
• zsc:  增加了 GNU parallel命令
• RobberPhex: 修改 翻唱–>反常

1. man ascii

这个命令会打印出八进制、十六进制和十进制的ASCII码表。难以置信我是一个月之前才知道这个命令的。我总是使用google来查询ASCII码表。这个命令其实更方便。

1 2 3 4 5 6 7 8 9 10 11 12

ASCII(7)           BSD Miscellaneous Information Manual           ASCII(7)   NAME      ascii -- octal, hexadecimal and decimal ASCII character sets   DESCRIPTION      The octal set :        000 nul  001 soh  002 stx  003 etx  004 eot  005 enq  006 ack  007 bel      010 bs   011 ht   012 nl   013 vt   014 np   015 cr   016 so   017 si      020 dle  021 dc1  022 dc2  023 dc3  024 dc4  025 nak  026 syn  027 etb      030 can  031 em   032 sub  033 esc  034 fs   035 gs   036 rs   037 us

要查看更多信息，请参考 ascii 手册页面。

 

2. cal

在很多系统上要显示日历一般要通过几个步骤。其实你可以使用 cal 命令。

1 2 3 4 5 6 7 8 9

> cal        August 2013 Su Mo Tu We Th Fr Sa               1  2  3   4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31

要查看更多信息，请参考 cal 手册页面。

 

3. xxd

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

> xxd somefile.bin   0000000: 83ff 0010 8d01 0408 d301 0408 a540 0408  .............@.. 0000010: d701 0408 d901 0408 db01 0408 0000 0000  ................ 0000020: 0000 0000 0000 0000 0000 0000 1199 0508  ................ 0000030: df01 0408 0000 0000 e199 0508 1d9a 0508  ................ 0000040: e501 0408 2912 0508 e901 0408 eb01 0408  ....)........... 0000050: ed01 0408 ef01 0408 39e0 0408 55e0 0408  ........9...U... 0000060: 71e0 0408 8de0 0408 a9e0 0408 39f7 0408  q...........9... 0000070: 6df7 0408 a5f7 0408 ddf7 0408 15f8 0408  m............... 0000080: 49f8 0408 81f8 0408 7de5 0408 0b02 0408  I.......}....... 0000090: 4ded 0408 a9ed 0408 1102 0408 c5e0 0408  M............... 00000a0: 1502 0408 1702 0408 1902 0408 1b02 0408  ................ 00000b0: e50a 0508 1d0b 0508 590b 0508 2302 0408  ........Y... #... 00000c0: 2502 0408 253d 0508 2941 0508 7106 0508  %...%=..)A..q... 00000d0: 8106 0508 690e 0508 990e 0508 c90e 0508  ....i........... 00000e0: 19e1 0408 3702 0408 3902 0408 3b02 0408  ....7...9...;...

这是另外一个让我难以置信是最近才知道的命令。xxd可以生成所给与文件的十六进制拷贝，也可以将编辑好的十六进制拷贝还原成二进制格式。它也可以将十六进制拷贝输出成C的数组，很方便：

1 2 3 4 5 6 7

> xxd -i data.bin   unsigned char data_bin[] = {    0x6d, 0x61, 0x64, 0x65, 0x20, 0x79, 0x6f, 0x75, 0x20, 0x6c, 0x6f, 0x6f,    0x6b, 0x0a }; unsigned int data_bin_len = 14;

我也用这个命令来通过比较两个文件的十六进制拷贝来比较两个二进制文件。要查看更多信息，请参考 xxd 手册页面。

 

4. ssh

ssh是我孰知的第一个稍复杂的unix工具，但是也是在不久前我才意识到除了使用它来登录到远端机器以外，它有更多其他用途。

ssh和它附带的工具可以用来：

1 在计算机之间传递文件（使用scp）

2 X-forwarding – 连接到远端的机器，并且开启一个GUI应用，看起来它们就像在本地开启的一样，即使远端的机器并没有提供X服务。

3 端口转发 – 将到本地端口的连接转发到远端机器的端口，或者将到远端机器端口的连接转发到本地端口

4 SOCKS 代理 – 允许你将一个支持SOCKET代理的应用上的所有连接转发到远端机器。这对于如何更安全使用公共wifi浏览网络和绕过严格的防火墙是很有用的。

5 在本地机器输入一次密码，然后就可以通过ssh的key代理来使用安全身份登陆其余的远端机器，而不需要重复输入你的密码了。