Linux shell 脚本攻略之统计文件的行数、单词数和字符数

最新推荐文章于 2022-10-05 11:21:52 发布
转载 最新推荐文章于 2022-10-05 11:21:52 发布 · 936 阅读 · 1 ·
CC 4.0 BY-SA版权
原文链接：http://www.cnblogs.com/pengdonglin137/p/3528086.html
文章标签：

#shell #操作系统 #awk

本文摘自《Linux Shell脚本攻略》，深入探讨了Shell脚本的基础知识及高级技巧，为读者提供了丰富的实战案例，帮助读者掌握Shell脚本编程的核心技能。

摘自：《Linux shell 脚本攻略》

image

转载于:https://www.cnblogs.com/pengdonglin137/p/3528086.html

Linux Shell脚本之正则表达式
江晓龙的博客
05-08 2136
正则表达式RE 重要的文本处理工具：vim sed awk grep 1.什么是正则表达式？ 正则表达式（regular expression，RE）是一种字符模式，用于在查找过程中匹配指定的字符。 在大多数程序里，正则表达式都被置于两个斜杠之间；例如/l[oO]ve/就是由正斜杠界定的正则表达式。 它将匹配被查找的行中任何位置出现的相同模式，在正则表达式中，元字符是重要的概念 匹配数字：1+$ ^：以xxx开头，+前面的对象出现一个或多个，$是以xxx结尾，[]里面的是匹配的模式 匹配mail：[a-z
wc命令
baoendemao的专栏
11-12 647
Linux系统中的wc(Word Count)命令的功能为统计指定文件中的字节数、字数、行数，并将统计结果显示输出。 1．命令格式： wc [选项]文件... 2．命令功能： 统计指定文件中的字节数、字数、行数，并将统计结果显示输出。该命令统计指定文件中的字节数、字数、行数。如果没有给出文件名，则从标准输入读取。wc同时也给出所指定文件的总统计数。 3．命令参数： -c 统计字节数。
linux终端 统计fl文件的行数,单词数和字符数,Linux shell 脚本攻略之统计文件的行数、单词数和字符数...
weixin_36378669的博客
04-28 424
AJAX表单提交以及数据接收ajax是一种传输方式,数据不是提交给ajax,而是 数据 由 ajax提交到后台(并不刷新页面) 要实现一个简单的ajax请求,要这3样东西,一个html页,一段js代码,一个可以响应请求的后台 这 ...java解析xml的4种经典方法========================================== xml文件 ...
3.17 统计文件的行数、单词数和字符数
weixin_38166689的博客
01-19 363
命令：wc 用途：统计文本文件的行数，单词数和字符数c 参数　　-l:　　行数 　　　　-w:　单词数 　　　　-c:　 字符数 yang@Ubuntu:~$ cat text.txt apple gold color yang@Ubuntu:~$ wc text.txt 4 3 19 text.txt 包含结束符（其中第一行为TAB） 参数...
统计文件中的字符数、单词数以及总行数
Read by heart
06-02 3955
【总结】 1.读取文件字符的一般步骤：首先打开文件并判断是否正常打开；然后先读取一个字符，然后判断是否为空文件，如果不是空文件则做循环；输出字符；读取下一个字符，如果下一个字符为EOF则结束循环。 2.统计文件中单词的数目：用word来标记，如果word为0表示此前的字符不是字母，未开始一个新单词；如果word为1表示已经开始或正在读取一个单词。 3.用二维数组来存储每行的字符数和单词数。 ...
Linux-shell脚本全面学习.pdf
05-24
+ `wc`：计算文件行数、单词数和字符数 + `cp`：文件拷贝 + `mv`：重命名文件或移动文件 + `rm`：删除文件 + `grep`：在文件搜索字符串 + `cut`：指定欲显示的文件容围 + `cat`：输出文件容到标准输出设备 +...
【Shell牛客刷题系列】SHELL1 统计文件的行数：学习wc命令和文本三剑客awk、grep、sed命令
一起加油~
10-05 3749
本文首先学习用于统计文件的字节数、单词数、行数等信息的wc命令，然后学习被誉为Linux系统中的文本三剑客的三个命令：`awk`、`grep`和`sed`命令，这三个命令是非常热门的命令，后续很多题目都会用到这三个命令；最后给出五种方案解决统计文件行数的问题。
精选资源
Linux shell脚本基础学习.pdf
04-01
在Shell命令和控制流程方面，Shell脚本支持多种Unix命令，其中一些是最常用的，例如用于显示文本的“echo”，列出文件的“ls”，计算文件行数、单词数、字符数的“wc”，文件复制的“cp”，文件重命名或移动的“mv”...
Shell中统计字符串中单词的个数的几种方法
09-15
`wc`是"word count"的缩写，它能统计文本的行数、单词数和字符数。当我们用`wc -w`时，它会返回字符串中的单词个数。例如： ```bash [linux@host ~]# echo 'one two three four five' | wc -w 5 ``` ### 方法二：...
Shell脚本统计文件行数的8种方法
热门推荐
IT改变人生
01-20 3万+
转自 http://www.jb51.net/article/61943.htm 获取单个文件行数 文件：test1.sh 行数：20 方法一 复制代码代码如下: awk '{print NR}' test1.sh|tail -n1 如图所示： 方法二 复制代码代码如下: awk 'END{
编写Shell程序，从文件中读取每一行显示并统计总行数
野心家-Andy的博客
04-02 5518
操作系统原理-课后作业2编写Shell程序从文件中读取每一行显示并统计总行数一、编写Shell脚本打开gedit文本编辑器。输入以下代码，并保存为read.sh。read -p "请输入文件名:" name awk '{print} END {printf "总行数:%d\n",NR}' $name ·  read命令用于读取文件，-p参数允许在命令行中给出一个提示，即“请输入文件名：”。...
Linux命令之统计文件行数、字数、字符数-wc
走过的足迹
02-24 2万+
转载自：wc》-linux命令五分钟系列之十七 wc(Word Count)命令用来统计文件内容信息,包括行数、字符数等 #显示文件内容信息,输出信息依次是:行数,字数,字节数,文件名称 wc filename #显示一个文件的行数 wc -l filename #显示一个文件的字节数 wc -c filename #显示一个文件的字符数 wc -m filename #显示一个文
shell脚本命令，统计文件行数
沧浪之水
10-31 1994
小脚本命令
shell脚本统计文件中单词的个数
mmbbz的专栏
04-25 7411
shell脚本统计文件中单词的个数 一、方案  http://www.cnblogs.com/youxuguang/p/5917215.html 方法一： （1）cat file|sed 's/[,.:;/!?]/ /g'|awk '{for(i=1;i<=NF;i++)array[$i]++;}END{for(i in array) print i,array[i]}'
shell 脚本统计文件夹下所有文件的字符数
FungLeo's Blog
08-22 2977
最近写了一些文章存放在一个文件夹下，今天想看看自己到底写了多少内容。于是想写一个脚本来进行统计。最终代码如下： #!/bin/bash files=$(ls) all=0 for i in $files; do if [ $i != 'wc.sh' ]; then head -n1 $i t=$(wc -m $i | cut -d ' ' -f5) all=$(...
shell统计文件中单词个数
zhanglu_1024的博客
11-18 3911
一个只有空格和单词组成的文本文件，使用shell脚本统计其中每个单词出现的次数。例如，文本文件： the a is aaa the i like a aa you then like i a aa 统计每个单词个数： the 2 a 3 is 1 aaa 1 i 2 like 2 aa 2 you 1 then 1 ...
操原作业（二） 编写一个shell脚本读取文件显示每一行并统计行数
qq_42606750的博客
03-17 3066
作业要求如图 代码： #！/bin/bash #读取、输出文本文件并统计行数 echo "Please enter a filename:" count=0 read File while read Line do echo $Line count=$(($count+1)) done &lt; $File echo "THere are $count lines." 代...
shell脚本生成统计信息
qiujianming的博客
11-21 434
MYSQL_BIN="/usr/local/mysql/bin/mysql" $MYSQL_BIN -u root -pming -e "select prod_id,prod_num from shop.order_detail " -N | sort -r |awk "   BEGIN{          old="";count=0   }    {            i
shell 脚本如何查询文件行数
最新发布
07-25
<think>我们有两个引用，用户的问题是如何在shell脚本中统计文件行数。引用[1]展示了使用find结合wc和awk来统计多个文件行数之和的方法，引用[2]则展示了一个shell脚本，通过循环遍历文件并过滤掉空行和注释行来统计代码行数。 用户的问题是如何在shell脚本中统计文件行数，我们可以提供多种方法，包括： 1. 使用wc命令直接统计单个文件行数。 2. 统计多个文件行数之和（不区分文件）。 3. 统计多个文件中每个文件的行数以及总和。 4. 在统计时排除空行和注释行（如引用[2]）。 我们将按照以下结构回答： 一、基本方法：使用wc命令 二、统计多个文件的行数之和 三、统计目录下特定类型文件的行数（递归） 四、排除空行和注释行（统计有效代码行） 五、在shell脚本中的完整示例 注意：在shell脚本中，我们需要注意命令的健壮性，比如处理文件不存在的情况。 开始回答： # Shell 脚本统计文件行数的方法 在 Shell 脚本中，统计文件行数是常见的任务，例如分析代码量或日志规模。常用的工具是 `wc`（word count）命令，它不仅可以统计行数，还可以统计单词数和字符数。下面详细介绍几种统计行数的方法，并提供可复用的脚本示例。 ## 一、基本方法：使用 `wc` 命令 `wc -l` 命令用于统计文件的行数。基本用法如下： ```bash wc -l filename ``` 输出格式为：`行数 文件名`，例如： ```bash $ wc -l example.txt 120 example.txt ``` 如果只需要行数数字（不包含文件名），可以使用以下方法： ```bash wc -l < filename ``` 或者： ```bash cat filename | wc -l ``` 这两种方法只输出数字，便于在脚本中赋值给变量： ```bash lines=$(wc -l < example.txt) echo "文件行数: $lines" ``` ## 二、统计多个文件的行数之和 如果需要统计多个文件的总行数（不区分文件），可以使用以下命令： ```bash wc -l file1.txt file2.txt | awk 'END{print $1}' ``` 或者使用更高效的方法（避免处理中间文件名）： ```bash cat file1.txt file2.txt | wc -l ``` 但注意，如果文件很大，使用 `cat` 可能会占用较多内存。替代方案是使用 `awk` 直接求和： ```bash wc -l file1.txt file2.txt | awk '{sum += $1} END {print sum}' ``` ## 三、递归统计目录下特定类型文件的行数 当需要统计一个目录及其子目录中所有特定类型文件（如所有 `.txt` 文件）的行数总和时，可以结合 `find` 和 `wc` 命令。 引用[1]提供了一种方法： ```bash find . -name "*.txt" -not -name "*.json" -exec wc -l {} + | awk '{sum += $1} END {print sum}' ``` 解释： - `find . -name "*.txt"`：查找当前目录下所有 `.txt` 文件。 - `-not -name "*.json"`：排除 `.json` 文件（可选，根据需求调整）。 - `-exec wc -l {} +`：对找到的文件执行 `wc -l` 命令。 - `awk '{sum += $1} END {print sum}'`：累加每个文件的行数并输出总和。 ## 四、排除空行和注释行（统计有效代码行） 在统计代码行数时，通常需要排除空行和注释行。引用[2]的脚本展示了如何排除以 `#` 或 `//` 开头的行以及空行： ```bash line=$(egrep -v '(^#|^//|^$)' ${file_name} | wc -l) ``` 我们可以修改这个命令以适应不同的注释风格（如 `#`、`//`、`/* */` 等）。但注意，多行注释的处理比较复杂，以下示例仅处理单行注释和空行。 ### 示例：统计 Python 文件的有效行数（排除空行和以 `#` 开头的行） ```bash file="example.py" effective_lines=$(grep -v '^#\|^$' "$file" | wc -l) ``` ### 示例：统计 C 语言文件的有效行数（排除空行和以 `//` 或 `/*` 开头的行，但注意 `/*` 可能跨行） 由于跨行注释难以用单行命令处理，简单场景下可以只排除 `//` 和空行： ```bash file="example.c" effective_lines=$(grep -v '^//\|^$' "$file" | wc -l) ``` 对于复杂情况，建议使用专门的代码统计工具（如 `cloc`）。 ## 五、在 Shell 脚本中的完整示例 以下是一个可复用的 Shell 脚本，用于统计指定目录下特定类型文件的行数（可选择是否排除注释行和空行）。 ```bash #!/bin/bash # 统计文件行数脚本 # 检查参数 if [ $# -lt 1 ]; then echo "用法: $0 <目录> [文件扩展名] [是否排除注释和空行(yes/no)]" exit 1 fi dir="$1" ext="${2:-*}" # 默认所有文件 exclude="${3:-no}" # 默认不排除 total_lines=0 # 查找文件并统计 while IFS= read -r -d $'\0' file; do if [ "$exclude" = "yes" ]; then # 根据文件类型排除注释和空行（这里以扩展名判断，简单示例） case "$file" in *.py|*.sh) lines=$(grep -v '^#\|^$' "$file" | wc -l) ;; *.c|*.cpp|*.h|*.java) lines=$(grep -v '^//\|^/\*\|^\*\|^$' "$file" | wc -l) ;; *) lines=$(wc -l < "$file") ;; esac else lines=$(wc -l < "$file") fi total_lines=$((total_lines + lines)) echo "$file: $lines 行" done < <(find "$dir" -type f -name "*.$ext" -print0) echo "总行数: $total_lines" ``` ### 脚本说明： 1. **参数处理**： - `$1`：要统计的目录。 - `$2`：文件扩展名（如 `txt`、`py`），默认所有文件。 - `$3`：是否排除注释和空行（`yes` 或 `no`），默认 `no`。 2. **文件查找**：使用 `find` 命令递归查找文件，`-print0` 和 `while IFS= read -r -d $'\0'` 处理文件名中的空格。 3. **行数统计**： - 根据 `exclude` 参数决定是否过滤注释行。 - 针对不同文件类型（如 `.py`、`.c`）使用不同的过滤规则。 4. **累加总行数**：将每个文件的行数累加到 `total_lines`。 ### 使用示例： ```bash # 统计当前目录下所有 .py 文件的行数（排除注释和空行） bash count_lines.sh . py yes ``` ## 注意事项 - **性能**：对于大目录，使用 `-print0` 和 `read -d $'\0'` 可以安全处理文件名中的空格和特殊字符。 - **跨行注释**：上述脚本对跨行注释（如 C 语言的 `/* ... */`）的处理不完善，复杂场景建议使用 `cloc` 等专业工具。 - **错误处理**：脚本中未处理文件读取错误，可添加权限检查。 总之，`wc` 是统计行数的核心工具，结合 `find`、`grep` 和 `awk` 可以实现灵活的统计需求。根据实际场景选择简单统计或有效代码行统计。 §§相关问题§§ 1. 如何用 `awk` 单独统计每个文件的行数并显示文件名？ 2. 在 Shell 脚本中如何处理文件名中的空格或特殊字符？ 3. 如何用 `cloc` 工具统计代码行数？ 4. 如何排除特定目录（如 `.git`）在行数统计之外？ 5. 如何优化大文件行数统计的性能？</think># Shell 脚本统计文件行数的方法 在 Shell 脚本中统计文件行数是常见任务，特别是在代码分析、日志处理等场景。以下是多种实用的统计方法，结合了引用中的最佳实践： ## 一、基本行数统计方法 ### 1. 使用 `wc -l` 命令 ```bash # 统计单个文件 line_count=$(wc -l < filename.txt) echo "文件行数: $line_count" # 统计多个文件 wc -l file1.txt file2.txt ``` ### 2. 统计目录下所有文件行数总和 ```bash # 统计当前目录所有.txt文件的总行数（排除.json文件） find . -name "*.txt" -not -name "*.json" -exec wc -l {} + | awk '{sum += $1} END {print sum}' [^1] ``` **说明**: - `find`: 递归查找文件 - `-exec wc -l {} +`: 对找到的文件执行行数统计 - `awk`: 累加所有文件的行数 ## 二、统计有效代码行数（排除注释和空行） 引用[2]提供了统计有效代码行的实用脚本： ```bash #!/bin/bash # 检查参数 if [ $# -ne 2 ]; then echo "用法: $0 <代码目录> <文件扩展名>" exit 1 fi CODE_DIR="$1" # 代码目录 CODE_TYPE="$2" # 文件扩展名（如 py, js, java） total_line=0 echo "开始统计 $CODE_DIR 目录下 .$CODE_TYPE 文件的有效代码行数..." # 遍历所有指定类型的文件 while IFS= read -r -d $'\0' file; do # 排除注释行(#, //)和空行 lines=$(grep -Ev '^\s*(#|//|$)' "$file" | wc -l) total_line=$((total_line + lines)) echo "$file: $lines 行" done < <(find "$CODE_DIR" -name "*.$CODE_TYPE" -type f -print0) echo "有效代码总行数: $total_line" [^2] ``` **使用示例**: ```bash bash count_lines.sh ~/projects py ``` ## 三、高级统计技巧 ### 1. 按文件类型分组统计 ```bash find . -type f -name "*.py" -exec wc -l {} + | awk 'END{print "Python 总行数:", $1}' find . -type f -name "*.js" -exec wc -l {} + | awk 'END{print "JavaScript 总行数:", $1}' ``` ### 2. 排除特定目录（如.git） ```bash find . -path ./.git -prune -o -name "*.java" -exec wc -l {} + | awk '{sum+=$1} END{print "Java代码总行数:", sum}' ``` ### 3. 带进度显示的统计 ```bash total_files=$(find . -name "*.go" | wc -l) counter=0 while IFS= read -r file; do counter=$((counter+1)) printf "处理中: %d/%d 文件\r" "$counter" "$total_files" wc -l "$file" >> tmp.txt done < <(find . -name "*.go") awk '{sum+=$1} END{print "总行数:", sum}' tmp.txt ``` ## 四、性能优化建议 1. **大文件处理**： ```bash # 使用高效工具 awk 'END{print NR}' huge_file.log ``` 2. **并行处理**： ```bash find . -name "*.log" | parallel -j 4 'wc -l {}' | awk '{sum+=$1} END{print sum}' ``` 3. **内存优化**： ```bash # 避免将大文件加载到内存 grep -c ^ huge_file.csv ``` ## 五、注意事项 1. 文件名包含空格时，使用 `-print0` 和 `read -d $'\0'` 2. 符号链接处理：`find -L` 包含符号链接指向的文件 3. 跨平台兼容：macOS 的 `wc` 与 Linux 有差异，建议安装 `gwc`（GNU coreutils） > 对于大型项目，推荐使用专业工具如 `cloc`(Count Lines of Code)，支持130+种语言： > `cloc --exclude-dir=node_modules,dist .`
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值