8 个高级 Linux 命令行工具，零基础入门到精通，收藏这一篇就够了

本文链接：https://blog.youkuaiyun.com/Libra1313/article/details/147637705

8 个高级 Linux 命令行工具

介绍

我们通常从coreutils 包开始我们的命令行之旅，它提供了文件、文本和 shell 操作的基本工具。这些实用程序是任何类 Unix 系统的核心，处理从使用cp 复制文件到使用cat 操作文本的所有内容。然而，随着复杂性的增加，当我们过渡到高级用户时，我们经常会发现仅靠 coreutils 不足以应对更复杂的任务。

在这篇文章中，我们将探索来自 moreutils 的八个强大工具，帮助我们更高效地使用命令行。

Moreutils 概述

Moreutils https://joeyh.name/code/moreutils/ 是一个额外的命令行工具包，旨在填补 coreutils 留下的空白。由 Joey Hess 于 2007 年创建，并由 GNU Linux 社区进一步扩展，moreutils 提供了专门的实用程序，可以提高生产力并简化工作流程。

虽然像grep、sed 和awk 这样的工具通常用于更高级的文本处理，但 moreutils 提供了一组独特的命令，进一步扩展了命令行的功能。

以下是包中所有命令的列表，我们将在本博客中详细介绍其中的一些：

chronic: 安静地运行命令，仅在命令失败时输出。这对于仅在出现问题时才希望收到通知的 cron 作业特别有用。
combine: 使用布尔运算（如 AND、OR 和 XOR）合并两个文件的行，提供对文件合并任务的更多控制。
errno: 允许您查找 errno 名称和描述，帮助您快速理解错误代码，而无需查阅文档。
ifdata: 无需解析ifconfig 的输出来检索网络接口信息，使网络管理更加简单。
ifne: 仅在标准输入不为空时运行程序。这对于基于输入的条件执行很有用。
isutf8: 检查文件或标准输入是否为 UTF-8 格式，确保项目中的数据编码一致性。
lckdo: 在持有锁的情况下执行程序，防止其他进程同时运行相同的命令，这在多进程环境中至关重要。
mispipe: 将两个命令连接在一起，返回退出状态。
parallel: 并行执行多个命令，充分利用多核处理器来加速批处理或测试等操作。
pee: 类似于tee，但不是写入多个文件，而是将标准输入同时发送到多个命令，允许您通过多个命令处理输入。
sponge: 在写入文件之前吸收标准输入，防止在命令链中覆盖仍在读取的文件，这是一个常见问题。
ts: 为输入的每一行添加时间戳，特别适用于日志记录或实时监控事件的时间。
vidir: 在文本编辑器中打开目录，允许您像编辑文本文件中的行一样重命名文件，这比逐个重命名文件要快得多。
vipe: 在管道中插入文本编辑器，允许您在将命令输出传递到下一个命令之前手动编辑内容。
zrun: 自动解压缩命令的参数，简化处理压缩文件的过程。

命令操作基础

在深入了解具体工具之前，回顾一些命令行基础知识是有帮助的。理解管道（|）、命令替换（$()）和逻辑运算符（&&、||）对于有效使用 coreutils 和 moreutils 至关重要。

管道 (|): 允许一个命令的输出作为另一个命令的输入。示例:ls -l | grep ".txt"
命令替换 ($()): 使用一个命令的输出作为另一个命令的参数。示例:echo "Today is $(date)"
逻辑运算符:

&& (AND): 仅当第一个命令成功时运行第二个命令。
|| (OR): 仅当第一个命令失败时运行第二个命令。

示例:

mkdir new_directory && cd new_directory   grep "pattern" file.txt || echo "Pattern not found"

了解了这些基础知识后，让我们探索包中最有用的命令行实用程序。

`combine`: 使用布尔逻辑合并文件

在这里插入图片描述

moreutils 中的combine 命令允许您使用布尔运算合并两个文件的行。当您需要比较或合并来自不同来源的数据时，这特别有用。

以下是使用两个简单日志文件的快速示例：

syslog_day1.txt 的内容：

Error: Disk quota exceeded   Warning: CPU temperature high   Info: System rebooted

syslog_day2.txt 的内容：

Error: Disk quota exceeded   Warning: CPU temperature high   Info: New user added

使用`combine`

AND 操作: 查找两个文件中的共同行。

combine ./syslog_day1.txt and ./syslog_day2.txt

输出:

Error: Disk quota exceeded   Warning: CPU temperature high

OR 操作: 合并两个文件中的所有行。

combine ./syslog_day1.txt or ./syslog_day2.txt

输出:

Error: Disk quota exceeded   Warning: CPU temperature high   Info: System rebooted   Info: New user added

XOR 操作: 查找每个文件中唯一的行。

combine ./syslog_day1.txt xor ./syslog_day2.txt

输出:

Info: System rebooted   Info: New user added

NOT 操作: 查找第一个文件中不在第二个文件中的行。

combine ./syslog_day1.txt not ./syslog_day2.txt

输出:

Info: System rebooted

`ifne`: 如果输出不为空则执行命令

ifne 命令是一个简单但强大的工具，仅在标准输出（stdout）不为空时运行命令。这在脚本中特别有用，您希望根据前一个命令是否产生输出执行后续操作。

假设我们有一个日志文件，并且只想在包含特定条目时压缩它，使用上一章的示例文件。

使用`ifne`

您可以将grep 与ifne 结合使用来实现这一点：

grep "Error" syslog.txt | ifne gzip syslog.txt

解释:

grep "Error" syslog.txt: 在日志文件中搜索术语“Error”。
| ifne gzip syslog.txt: 如果找到“Error”（即输出不为空），gzip 压缩syslog.txt 文件。

如果grep 命令在日志中找到“Error”，ifne 确保日志文件被压缩。如果没有“Error”条目，文件保持不变，不执行压缩。

`parallel`: 同时运行多个作业

parallel 命令允许我们并行运行多个作业，充分利用所有 CPU 核心。这可以显著加快原本需要顺序运行的任务。

示例: 使用`curl` 进行负载测试

假设您想模拟对网站的多个请求以测试其负载处理能力。我们可以使用parallel 同时运行这些请求，而不是一个接一个地运行。

以下是我们可以做到的方法：

seq 1 100 | parallel -j10 curl -s -o /dev/null http://example.com

seq 1 100: 生成从 1 到 100 的序列，表示 100 个请求。
| parallel -j10: 并行运行以下命令（本例中为curl），同时运行 10 个作业（-j10）。
curl -s -o /dev/null http://example.com: 向http://example.com 发送请求并丢弃输出（-s 为静默模式，-o /dev/null 丢弃输出）。

通过这种设置，10 个curl 请求同时发送到服务器，模拟 100 个请求的速度要快得多。这对于负载测试或任何需要并行运行许多类似操作的场景特别有用。

`pee`: 同时将输入发送到多个命令

moreutils 中的pee 命令类似于tee，但它不是将输入写入多个文件，而是将标准输入同时发送到多个命令。当我们希望同时以不同方式处理相同的输入时，这特别有用。

从我们之前看到的日志文件中，我们希望同时搜索不同类型的条目，例如“Error”、“Warning”和“Info”。我们可以使用pee 在同一输入上并行运行多个grep 命令。

cat syslog.txt | pee 'grep Error' 'grep Warning' 'grep Info'

cat syslog.txt: 输出syslog.txt 的内容。
| pee 'grep Error' 'grep Warning' 'grep Info': 将输出同时发送到三个grep 命令，每个命令分别过滤“Error”、“Warning”或“Info”条目。

这种设置允许我们同时提取不同类型的日志条目，而不是一个接一个地运行多个命令。每个grep 命令处理相同的输入流，但使用不同的过滤器。

`sponge`: 就地替换文件内容

sponge 命令在写入文件之前读取整个输入。这可以防止在尝试将输出直接重定向到正在读取的同一文件时覆盖文件的常见问题。

假设我们有一个包含未排序数据的文件，并且您希望对内容进行排序并将结果保存回同一文件。通常，直接这样做可能会导致问题，因为文件可能在排序完成之前被覆盖。

以下是您可以使用sponge 避免此问题的方法：

sort unsorted.txt | sponge unsorted.txt

sort unsorted.txt: 对unsorted.txt 的内容进行排序。
| sponge unsorted.txt:sponge 在将排序后的输出写回unsorted.txt 之前完全读取它，确保操作安全且不会损坏文件。

`ts`: 为每行输入添加时间戳

ts 命令为输入的每一行添加时间戳。这对于日志记录、监控或调试特别有用，了解每个事件的确切时间非常重要。

如果我们有一个日志文件，并且希望在写入时为每个条目添加时间戳，可以使用ts：

tail -f /var/log/syslog | ts

解释:

tail -f /var/log/syslog: 持续输出添加到 syslog 文件中的新行。
| ts: 为每条新行添加时间戳，显示每个日志条目记录的确切时间。

这使得查看日志中每个事件发生的时间变得容易，这对于调试和系统监控至关重要。

`vidir`: 在 Vim 缓冲区中编辑目录和文件

vidir 命令允许我们像编辑文本文件中的行一样编辑目录中的文件名。这使得批量重命名文件比重复使用mv 更加简单快捷。

在 Neovim 插件如 `oil.nvim` 或 `mini.files` 中提供了更多扩展功能。了解更多这里 https://youtu.be/W4aLqTV4qkc。

示例: 批量重命名文件

假设我们有一个充满文件的目录，并且希望一次性重命名它们：

vidir .

vidir .: 在默认文本编辑器中打开当前目录中的文件名。
您可以直接在文本编辑器中编辑文件名。保存并关闭编辑器后，vidir 应用更改，相应地重命名文件。

这是一种快速高效的方式来批量重命名文件，而无需编写脚本或手动移动每个文件。

`vipe`: 使用文本编辑器编辑管道内容

vipe 命令在管道中插入文本编辑器，允许我们在将命令输出传递到下一个命令之前手动编辑内容。

假设我们正在过滤一些日志以查找特定条目，并希望在保存结果之前进行一些手动编辑：

grep "Error" syslog.txt | vipe | tee errors.txt

grep "Error" syslog.txt: 在syslog.txt 中查找所有包含“Error”的行。
| vipe: 在文本编辑器中打开 grep 输出，您可以手动进行更改。
| tee errors.txt: 将最终编辑后的输出保存到errors.txt，同时显示它。

当您需要在命令输出传递到管道中的下一步之前审查或修改它时，这特别有用，提供了一种灵活且交互式的方式来处理数据。

总结

我们探索了 moreutils 中的一些突出工具，每个工具都提供了一种独特的方式来增强我们的命令行工作流程。

关键不在于一次性尝试使用所有工具，而是专注于集成一两个真正符合您工作流程的工具。无论是sponge 的安全文件编辑的便利性，还是vipe 的交互式管道编辑的多功能性，从最有用的工具开始。

随着您对这些工具的熟悉，您可能会发现它们成为您日常工作中不可或缺的一部分。就像任何伟大的工具集一样，这一切都是为了找到最适合您的工作方式，并使其成为您工作方式的自然延伸。不久之后，您可能会想知道没有它们您是如何度过的。

计算机热门就业方向

从目前市场情况来讲，网络安全的就业前景是非常不错的，2022年的统计数据，网络安全专业的缺口已经增长到140万人。

1、就业岗位多，发展方向广

①就业环境：网络安全可以在计算机科学与技术、信息通信、电子商务、互联网金融、电子政务等领域从事相关工作，还可以在政府机关事业单位、银行、保险、证券等金融机构，电信、传媒等行业从事相关工作。

②就业岗位：网络安全工程师、渗透测试工程师、代码审计工程师、等级保护工程师、安全运维工程师、安全运营工程师、安全服务工程师等。

2、薪资待遇可观，提升较快

作为一个新兴行业，网络安全人才的市场需求远远大于供给，企业想真正招到人才，就必须在薪酬福利上有足够的竞争优势。因此，网络安全领域的薪资近年来也呈现稳步增长的态势。

根据工信部发布的《网络安全产业人才发展报告》显示，网络安全人才平均年薪为21.28万元，整体薪资水平较高。数据显示，网络安全人才年薪主要集中在10-20万元，占比40.62%，与往年持平；其次是20-30万元，占比为38.43%，较2020年占比19.48%有显著提高；而年薪在10万以下人才占比由2020年的19.74%下降至2022年的9.08%。由此可见，网络安全行业作为新兴赛道，尚在快速发展阶段，从业人员薪资水平提升较快，也显示出网络安全行业相对更重视人才留存。

3、职业发展空间大

从网络安全专业学习的主要内容来看，包括linux运维、Python开发、渗透测试、代码审计、等级保护、应急响应、风险评估等。可见该网络安全专业的技术性很强，具有鲜明的专业特点，是一门能够学到真正技术的工科类专业之一。

因此，在职业发展上，网络安全专业除了就业岗位众多之外，由于专业技术性较强，在工作单位将处于技术核心骨干地位，职业发展空间很大。

盘点网络安全的岗位汇总

0****1

岗位一：渗透测试工程师

**岗位释义：**模拟黑客攻击，利用黑客技术，挖掘漏洞，提出修复建议。有些大厂，例如奇安信，甚至会将渗透岗位分为红蓝两方，对候选人的技术要求比较高，大部分刚入行的新人，也将渗透岗位作为后期的发展目标。

岗位职责：

负责对客户网络、系统、应用进行渗透测试、安全评估和安全加固
在出现网络攻击或安全事件时，提供应急响应服务，帮助用户恢复系统及调查取证
针对客户网络架构，建议合理的网络安全解决方案

**工作难度：**5颗星

薪资现状：

0****2

岗位二：安全运维工程师

**岗位释义：**维护网络系统的正常、安全运行，如果受到黑客攻击，则需要进行应急响应和入侵排查安全加固。很多刚毕业入行的新人，基本都从运维做起。

岗位职责：

日常终端维护，操作系统安装加固
完成网络安全设备故障排查、处置
完成相关管理制度文档的编写和提交

**工作难度：**3颗星

薪资现状：

0****3

岗位三：安全运营工程师

**岗位释义：**在运维的基础上，高效可持续地不断提升企业的安全防御能力。

岗位职责：

负责监控、扫描等各类安全策略的制定和优化
负责信息安全事件的应急响应
参与网络安全评估工作、安全加固工作和监控等等

**工作难度：**3颗星

薪资现状：

0****4

岗位四：安全开发工程师

**岗位释义：**顾名思义，对安全产品及平台、策略等进行开发工作。

岗位职责：

负责网络安全产品的系统技术设计、代码开发与实现、单元测试、静态检查、本地构建等工作；
参与公司其他产品的系统技术设计以及研发工作。

**工作难度：**5颗星

薪资现状：

0****5

岗位五：等保测评工程师

**岗位释义：**等保测评也叫等级保护测评，主要负责开展信息安全等级保护测评、信息安全风险评估、应急响应、信息安全咨询等工作。

岗位职责：

网络安全等级保护测评项目实施；
Web渗透测试、操作系统安全加固等安全项目实施配合

**工作难度：**3颗星

薪资现状：

0****6

岗位六：安全研究工程师

**岗位释义：**网络安全领域的研究人才。

岗位职责：

跟踪和分析国内外安全事件、发展趋势和解决方案
承担或参与创新型课题研究
参与项目方案设计，组织推动项目落实，完成研究内容、
负责网络安全关键技术攻关和安全工具研发

**工作难度：**5颗星

薪资现状：

0****7

岗位七：漏洞挖掘工程师

**岗位释义：**主要从事逆向、软件分析、漏洞挖掘工作

岗位职责：

通过模拟实施特定方法所获得的结果，评估计算机网络系统安全状况；
通过特定技术的实施，寻找网络安全漏洞，发现但不利用漏洞。

**工作难度：**5颗星

薪资现状：

0****8

岗位八：安全管理工程师

**岗位释义：**负责信息安全相关流程、规范、标准的制定和评审，负责公司整体安全体系建设。

岗位职责：

全业务系统网络安全技术体系的规划和建设，优化网络安全架构；
负责网络安全相关流程、规范、标准的指定和评审，高效处置突发事件；
负责网络安全防护系统的建设，提升网络安全保障水平；

**工作难度：**4颗星

0****9

岗位九：应急响应工程师

**岗位释义：**主要负责信息安全事件应急响应、攻击溯源、取证分析工作，参与应急响应、攻击溯源、取证分析技术的研究，提升整体重大信息安全事件应急处置能力。

岗位职责：

负责信息安全事件应急响应、攻击溯源、取证分析工作；
对安全事件的应急处置进行经验总结，开展应急响应培训；
负责各业务系统的上线前安全测试（黑盒白盒）及渗透测试工作；
参与应急响应、攻击溯源、取证分析技术的研究，提升整体重大信息安全事件应急处置能力。
跟踪国内外安全热点事件、主流安全漏洞、威胁情报、黑灰产动态并进行分析研究，形成应对方案；

**工作难度：**4颗星

薪酬现状：

岗位十：数据安全工程师

**岗位释义：**主要对公司的数据安全的日常维护和管理工作，确保公司数据安全。

岗位职责：

负责数据安全日常维护和管理工作，包括数据安全审核、数据安全事件的监控与响应、安全合规的审计与调查等；
负责数据安全标准规范的制定和管理，包括数据安全需求识别、风险分析、数据分级分类、数据脱敏、数据流转、泄露防护、权限管控等；推进相关安全管控策略在平台落地、执行。
负责开展与数据全生命周期管理有关的各项数据安全工作;
负责跨平台、跨地域数据传输、交互等数据安全方案制定与落地
定期组织开展数据安全自评工作，发现潜在数据安全风险，制定相应的管控措施，并推进落实整改。

**工作难度：**4颗星

薪酬现状：