基础shell文本处理工具

Linux下的Shell基础——文本处理工具(五) Linux Shell是一种基本功,由于怪异的语法加之较差的可读性,通常被Python等脚本代替。既然是基本功,那就需要掌握,毕竟学习Shell脚本的过程中,还是能了解到很多Linux系统的内容。 Linux脚本大师不是人人都可以达到的,但是用一些简单的Shell实现一些常见的基本功能还是很有必要的。 下面我介绍Linux下使用Shell处理文本时最常用的文本处理工具: 阅读详情

grep工具

grep是行过滤工具;根据关键字进行过滤

语法和选项
语法:

 grep [选项] “关键字” 文件名

常用选项:

  • -i 不区分大小写
  • -v 不包含 反向选择
  • -w 按单词搜索(精确匹配)
  • -o 打印匹配关键字
  • -c 统计匹配到的次数
  • -n 显示行号
  • -r 逐层遍历目录查找
  • -A 匹配行后面的几行
  • -B 匹配行前面的几行
  • -C 匹配行前后的几行
  • -l 只列出匹配的文件名
  • -L 列出不匹配的文件名
  • -e 使用正则匹配
  • -E 使用扩展正则匹配
  • ^key 以关键字开头
  • key$ 以关键字结尾
  • ^$ 匹配空行

举例说明:

# 忽略大小写匹配root的行
  grep -i 'root' passwd
# 精准匹配单词
  grep -w 'ftp' passwd
# 以#开头的行
  grep ^# passwd
# 不以#开头的行
  grep -v ^# passwd
# 以bash结尾的行
  grep bash$ passwd
# 打印空行行号
  grep -n ^$ passwd

cut工具

cut是列截取工具

基础入门-Shell脚本编程-常用文本处理工具:grep、awk、sed 本文介绍了Linux系统中三大常用文本处理工具:grep、awk和sed。grep用于基于正则表达式的文本搜索,支持多种匹配选项和模式;awk是强大的文本处理语言,擅长结构化数据处理、字段提取和报表生成;sed是流编辑器,可实现非交互式的文本替换、删除等编辑操作。三者各有侧重:grep侧重搜索,awk侧重处理分析,sed侧重编辑修改。掌握这些工具能显著提升Linux环境下的文本处理效率,适用于日志分析、配置文件处理、数据转换等多种场景。文章详细说明了各工具的基本语法、常用选项和典型示例,为日常运维工作提供了 阅读详情

相关推荐

文本处理与 Shell 入门

本文全面介绍了Linux文本处理工具与Shell脚本编程的核心技能。第一部分详细讲解cat/more/less、grep、sed、awk等文本处理工具的使用方法及实际应用场景;第二部分深入解析Shell脚本编程基础,包括变量定义、流程控制、函数编写及输入输出重定向等核心概念。文章通过大量实操案例(如日志分析、文件批量处理)演示如何将理论转化为实践,并提供了调试技巧和错误处理方法。最后,针对进阶用户介绍了Shell高级特性,如关联数组、参数扩展、进程替换等,帮助读者编写更高效、健壮的自动化脚本。全文强调实践导

zjw541806的博客 1293

Linux文本处理工具和Shell编程基础

变量的生效范围等标准划分变量类型普通变量:生效范围为当前shell进程;对当前shell之外的其它shell进程,包括当前shell的子shell 进程均无效环境变量:生效范围为当前shell进程及其子进程本地变量:生效范围为当前shell进程中某代码片断,通常指函数value 可以是以下多种形式name='root' #直接字串name="$USER" #变量引用name=`COMMAND` #命令引用name=$(COMMAND) #命令引用。

qq_40780313的博客 2692

如何实现SOLIDWORKS阵列的“智能变更”?

有时,我们在设计一个零件时,零件上有一排阵列孔,同时零件有不同的长度,我们又希望可以做到零件长度改变时,这排孔可以按长度等距增减孔阵列的个数;或是零件长度加长或缩短时,这排孔保持个数不变,按零件长度增减孔距。 那具体要怎么做呢?接下来,我们一起来看看怎么用SOLIDWORKS中简单的操作来实现这两种智能的变更: 零件长度加长或缩短时,这排孔要按长度等距增减孔阵列的个数。 零件长度加长或缩短时,这排孔保持个数不变,按零件长度增减孔距。 那接下来,我们一起来看看怎么用简单的操作来实现这两种智能的

SOLIDWORKS艾金米 2077

linux基础文本处理工具和shell编程基础

1、定义一个对所有用户都生效的命令别名,例如:lftps=‘lftp 172.168.0.1/pub’ 2、显示/etc/passwd文件中不以/bin/bash结尾的行 3、找出/etc/passwd文件中,包含二位数字或者三位数的行。 4、显示/proc/meminfo文件中以大写或小写S开头的行;用三种方式实现。 5、使用echo输出一个绝对路径,使用egrep取出路径名,类型执行dirn...

qq_42227818的博客 7602

【python3.7】解决报错 error: Microsoft Visual C++ 14.0 or greater is required. Get it with “Microsoft C++

解决pip安装py7zr遇到的报错问题。

水w的博客 3940

超螺旋滑模控制(STA)

超螺旋滑模控制又称超扭滑模控制,可以说是二阶系统中最好用的滑模控制方法。

Lyajpunov的博客 1万+

shell基础命令及部分文本处理工具

文章目录一、基础命令介绍1、diff2、patch3、cut4、sort5、uniq6、tr7、test8、&& ||二、练习题1、数据抓取2、用户类型判断3、文件检测三、文本处理工具grep 一、基础命令介绍 1、diff 用法: diff [参数] files/directorys (常用参数)-b 忽略空格 -B 忽略空行 -i 忽略大小写 -c 显示文件所有内容并标示不同 -r 对比目录 -u 合并输出(是指把不同的位置合并输出,而不是把所有的内

小螺号的博客 217

Python_构建同花顺问财智能选股API服务

本文详细介绍了如何使用Python构建同花顺问财智能选股API服务,涵盖从环境准备、核心API开发到高级功能扩展的全过程。通过Flask框架和pywencai库,开发者可以快速搭建稳定可靠的选股接口,实现自动化股票筛选与交易系统集成,提升量化投资效率。

weixin_30596343的博客 329

Linux:shell脚本基础和grep文本处理工具应用

shell脚本基础和grep文本处理工具应用shell脚本基础-bash变量和逻辑运行shell脚本基础-bash脚本编程基础及配置文件运维核心技能-grep命令与基本正则表达式运维核心技能-egrep进阶及文本处理工具应用 shell脚本基础-bash变量和逻辑运行 bash特性及bash脚本编程初步 终端,附着在终端的接口程序: GUI:KDE, GNome, Xfce CLI:/etc/shells bash zsh fish bash的特性: 命令行展开:~, {} 命令别名:

莫忘初心yhj 283

【k8s故障处理篇】calico-kube-controllers状态为“ImagePullBackOff”解决办法

【k8s故障处理篇】calico-kube-controllers状态为“ImagePullBackOff”解决办法

jks212454的博客 2307

海格通信嵌入式面试题及参考答案

计算电路的最高工作频率如何计算? 计算电路的最高工作频率主要考虑电路中的关键路径延迟。关键路径是指在整个电路中,信号传播延迟最长的路径。电路的最高工作频率的倒数就是时钟周期,而时钟周期必须大于关键路径的延迟时间。 首先要确定电路中各个模块的延迟。比如对于组合逻辑电路,可以通过查看芯片手册获取门电路的延迟参数。以一个简单的与门、或门、非门组成的组合逻辑为例,每个门都有自己的传输延迟,把信号从输入到输出经过的所有门的延迟相加,就得到这部分组合逻辑的延迟。 对于包含寄存器的电路,还需要考虑寄

大模型大数据攻城狮的专栏 1271

Linux Shell 脚本编程基础知识篇—sed文本处理工具

sed是一个功能强大的文本处理工具,用来对文本进行过滤与替换工作;sed通过输入读取文件内容,但一次仅读取一行内容进行某些指令处理后输出;sed更适合处理自动化、批处理和非交互式的文本处理任务,适合在脚本和命令行中使用。Linux sed 命令是利用脚本来处理文本文件。sed 可依照脚本的指令来处理、编辑文本文件。Sed 主要用来自动编辑一个或多个文件、简化对文件的反复操作、编写转换程序等。

weixin_55767624的博客 2118

【SMPL简介】SMPL: A Skinned Multi-Person Linear Model【源码复现】

SMPL是一种3D人体建模方法.在数字人或者人物角色三维重建领域有着广泛应用支持人体的各种形状及动作可以简单理解为通过训练获取的人物模型SMPL 输入是:姿态shape vectorβ\betaβ+ 影响动作Pose的参数θ\thetaθ输出是: 各种变化后vertex顶点的数据作者:Loper, Matthew and Mahmood, Naureen and Romero, Javier and Pons-Moll, Gerard and Black, Michael J.

zik的博客 3369

第四周、文本处理工具及shell基础

1、统计出/etc/passwd文件中其默认shell为非/sbin/nologin的用户个数,并将用户都显示出来 [root@iZbp19axymtpqhar62dycvZ data]# cat /etc/passwd |egrep -v '.*/sbin/nologin$' |cut -d: -f1 root sync shutdown halt wang [root@iZbp19axymtp...

wauzy的博客 191

大模型——AI对话四象限

{ "摘要": "文章揭示了90%的人不会有效与AI沟通的问题,指出简单粗暴的提问只能得到标准答案。作者提出'AI对话四象限'模型:1)双方都懂时提效;2)AI懂但需学会分层提问;3)共同探索未知领域;4)向AI传授独家知识。强调沟通技巧的重要性,认为会提问的人不会被AI替代。最后呼吁读者尝试四象限思维,与AI碰撞火花。" }

311

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

Linux用户和权限管理-文本处理工具和正则表达式及文件查找 -shell脚本编程-基础

打开文件 vim a.txt ,进入插入模式 i ,输入 "马哥出品,必属精品" ,按下 Esc 回到命令模式,输入 :wq 保存并退出。示例:find / -name "abc.txt" 在 / 目录下查找名为 abc.txt 的文件。在终端输入 cat a.txt ,如果显示出刚刚写入的 "马哥出品,必属精品" ,则说明写入成功。示例:grep "123" abc.txt 在 abc.txt 中查找包含 123 的行。示例:grep "a{2,4}b" 匹配 aab 、 aaab 、 aaaab。

leexzi的博客 755

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

Shell 编程——则表达式与文本处理神器:从基础工具到sed实战

面对文本处理需求,如何快速选择工具?简单截取:用cut(按列/字符位置);排序/去重:用sort+uniq(先排序再去重);字符转换:用tr(替换/删除/压缩单字符);复杂匹配+修改:用sed(正则匹配、增删改查);数据统计:用awk(搭配前面的工具)。正则表达式是这些工具的“通用语言”,熟练掌握基础正则,再结合工具的核心参数,就能轻松应对绝大多数文本处理场景。建议大家拿实际文件多练习,比如分析系统日志(/var/log/messages),慢慢就能体会到这些工具的“威力”啦!

dfl2504的博客 1010

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

No.3 Linux文本处理工具和shell脚本基础

1、统计出/etc/passwd文件中其默认shell为非/sbin/nologin的用户个数,并将用户都显示出来 [root@localhost ~]# cat /etc/passwd | grep -v '/sbin/nologin' | cut -d':' -f1 |uniq -c 1 root 1 sync 1 shutdown 1 halt 1 guo 1 mage 1 distro 1 magei

weixin_42534981的博客 170

linux grep c sh,Linux中文本处理工具三剑客之一grep及shell脚本基础

01 正则表达式REGEXP: Regular Expressions,由一类特殊字符及文本字符所编写的模式,其中有些字符(元字符)不表示字符字面意义,而表示控制或通配的功能,类似于增强版的通配符功能,但与通配符不同,通配符功能是用来处理文件名,而正则表达式是处理文本内容中字符。正则表达式被很多程序和开发语言所广泛支持:vim, less,grep,sed,awk, nginx,mysql 等正则...

weixin_39989190的博客 391

shell编程之正则表达式与文本处理

在 Shell 编程的世界里,正则表达式与文本处理器是两大不可或缺的利器。正则表达式(Regular Expression,简称 RE)作为一种强大的字符串匹配工具,能够通过特定的字符组合来描述和匹配一系列符合特定规则的字符串。它不仅在脚本编程中扮演着重要角色,还是文本编辑器及多种程序设计语言中的核心功能之一。本章将深入探讨正则表达式的定义、用途及其基础与扩展用法。通过具体的示例,你将会学习如何利用正则表达式快速查找、删除、替换文本中的特定字符串,从而提升文本处理的效率与准确性。

2503_91356004的博客 970

文本处理、基本扩展正则、shell脚本

文本处理、基本扩展正则、shell脚本 文本处理 一、查看文件内容命令:cat、tac、nl、tail、head、more、less 1、cat命令 默认查看文本所有内容 基本选项: -E:显示行结束符 -n:对显示出的每一行进行编号 -A:显示看不见的控制符、换行符、和tab键空格 -b:非空行进行编号 ...

weixin_30951743的博客 91

Shell基础学习---4、文本处理工具、综合应用案例(归档文件、发送信息)

Shell基础学习---4、文本处理工具、综合应用案例

星光不问赶路人,岁月不负有心人 658

shell编程基础

目录 1 shell介绍 1.1 什么是shell 1.2 shell脚本的执行方式 2 shell中的变量 2.1 系统变量 2.2定义变量 2.3 将命令的返回值赋给变量 2.4 特殊变量 3 运算符 4 流程控制 4.1 for循环 4.2 while循环 4.3 case 4.4 if判断 4.5 常用判断条件 5 read命令 6 shell自定...

我的祖传代码 1782

SHELL编程命令大全

文章目录一、文本处理工具1. grep(重要)语法和选项2. cut工具(重要)语法和选项3. sort工具语法和选项4.uniq工具5.tee工具6.diff工具语法和选项7. paste工具8. tr工具语法和选项二、bash的特性1、命令和文件自动补全2、常见的快捷键3 、==常用的通配符(重点)==4、==bash中的引号(重点)== 一、文本处理工具 1. grep(重要) grep是行过滤工具;用于根据关键字对行进行过滤 语法和选项 > grep [选项] '关键字' 文件名 OPT

一名小码农的博客 3万+

Linux 基础 - 正则、文本处理以及shell脚本

正则表达式、文本处理和 shell 脚本在 Linux 系统中是非常重要的概念和工具,可以帮助你处理和操作文本数据。以下是关于这些主题的基础知识和常用技巧。

qq_33240556的博客 437

shell 脚本的学习(1)(shell以及shell脚本的定义 文本处理三剑客)

一.什么是shell Shell是Linux上的一个命令解释器。它的作用是解释执行用户输入的命令,然后调用相应的应用程序,命令行中 每键入一个命令,Shell就解释执行一条,并将结果展示到命令行窗口中,这种称为交互式的方式。 Shell俗称壳,存在于操作系统的最外层,负责与用户直接对话。把用户的输入解释给操作系统,并将操作系统 输出的结果输出给屏幕返回给用户。 二.什么是shell脚本 Shell脚本就像早期dos年代的.bat,最简单的功能就是将许多指令汇整在一起,让使用者很容易地就能够一个操 作执行多个

菜鸟 1487
上一篇: 常用的shell巡检脚本
下一篇: ELK安装及采集日志邮件报警(ElasticSearch,Logstash,Kibana)
俞骏#
博客等级 码龄7年 387粉丝 39原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值