uniq

最新推荐文章于 2025-05-30 16:33:32 发布

wilber1202

最新推荐文章于 2025-05-30 16:33:32 发布

阅读量173

点赞数

CC 4.0 BY-SA版权

文章标签： filter

本文链接：https://blog.youkuaiyun.com/wellmikelan/article/details/7082987

本文深入探讨了CookieLog处理中的uniq、sort命令如何协作去除非相邻重复行，解释了-c、-d、-u、-i、-f、-s、-w参数的作用，提供了一个实例来展示如何高效分析访问频率并识别唯一行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

分析 Cookie Log 的需要，经常要用到 uniq 来去除重复行，一直都觉得挺好使的。偶然间发现，对于非相邻的重复行，并不能去除！需要配合 sort 使用。man 了下，发现赫然写着：“Filter adjacent matching lines……”。感情还是对其了解不够阿。

看了下其参数，有些还是比较有用的：

-c --count 显示重复的次数，这个一直在用，对于分析访问频率非常好用

-d --repeated 只显示重复行

-u --unique 只显示唯一行

-i --ignore-case

-f --skip-fields=N 不比较前 N 个字段

-s --skip-chars=N 不比较前 N 个字符

-w --check-chars=N 只比较前 N 个字符

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

wilber1202

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Linux常用命令之uniq命令详解

weixin_56303229的博客

12-26

979

uniq 命令是 Linux 系统中用于处理文本文件的工具之一，主要用于检查和删除文本文件中重复出现的行。它的工作原理是基于相邻行之间的比较，这意味着 uniq 只会移除连续的重复行，而对于非连续的重复行则无能为力。

js代码-uniq 函数，实现数组去重

07-16

`uniq`函数就是一种常用的自定义方法，用于从数组中去除重复的元素。在这个主题中，我们将深入探讨`uniq`函数的实现原理，以及如何在实际项目中应用。首先，让我们了解`uniq`函数的基本概念。`uniq`函数接收一个...

参与评论您还未登录，请先登录后发表或查看评论

linux基础56——uniq

www_dong的博客

08-30

416

1. 概念用于去除有序文件中的重复行并将结果输出到标准输出。为了使uniq 起作用，所有的重复行必须是相邻的，所以 uniq 经常和 sort 合用。 2. 语法 uniq [OPTION]... [INPUT [OUTPUT]] 3. 参数说明 -c, --count 显示行出现的次数 -d, --repeated 仅显示重复出现的行，即出现次数 >=2 的行，且只打印一次 -D, --all-repeated[=delimit-method] 仅显示重复的行，即出现

uniq命令使用

cfb37的博客

10-31

389

uniq -c testfile #删除重复行后的内容 3 test 30 #前面的数字的意义为该行共出现了3次 4 Hello 95 #前面的数字的意义为该行共出现了4次 2 Linux 85 #前面的数字的意义为该行共出现了2次。uniq [-cdu][-f<栏位>][-s<字符位置>][-w<字符位置>][–help][–version][输入文件][输出文件]-d或–repeated 仅显示重复出现的行列。

Linux uniq 命令

gongwanzhang的博客

05-30

979

Linux uniq 命令是一款高效的文本处理工具，主要用于检测和删除重复行。它通常与 sort 命令配合使用，通过比较相邻行来识别重复内容，并提供多种选项控制输出。基础功能包括删除重复行、统计重复次数、仅显示重复/唯一行等。

uniq命令

东城绝神

05-29

700

uniq命令

Linux uniq 命令介绍

11-28

813

Linux uniq 命令介绍uniq 命令文字uniq 是LINUX命令用途报告或删除文件中重复的行。语法描述uniq 命令删除文件中的重复行。如果执行成功，uniq 命令退出，返回值 0。否则，命令退出返回值大于 0。标志-c 在输出行前面加上每行在输入文件中出现的次数。-d 仅显示重复行。-u 仅显示不重复的行。-f Fields 忽略由 Fields 变量指定的字段数目。如果 Fields 变量的值超过输入行中的字段数目, uniq 命令用空字符串进行比较。

Linux命令-uniq

ZhanBiaoChina的博客

04-03

149

s 跳过每行开头的个字符进行比较 uniq -s 5 file.txt （跳过前5字符）-f 跳过前面的个字段进行比较 uniq -f 2 file.txt （跳过前两字段）-w 只比较每行的前个字符 uniq -w 10 file.txt （比较前10字符）-c 显示每行的重复次数 uniq -c file.txt。-i 忽略大小写进行比较 uniq -i file.txt。-d 只显示重复的行 uniq -d file.txt。-u 只显示唯一的行 uniq -u file.txt。

uniq 命令详解及实用案例

sre救赎之路

05-26

741

（英文全称：unique）是 Linux/macOS 系统中用于处理。掌握这些用法后，可快速解决日志分析、数据清洗、词频统计等实际问题。：对 CSV 文件按第 2 列（部门）去重，保留每行完整数据。：统计日志中重复的 IP 地址及其出现次数（需先排序）。：统计文本中每个单词的出现次数并按频率排序。：从用户列表中找出仅注册一次的用户。命令对数据去重或统计重复次数。：对已排序的文件去除连续重复行。：对混合大小写的单词去重（如。：找出重复的邮件地址。：忽略行首时间戳（如。

uniq用法linux,linux之uniq用法

weixin_34551614的博客

05-14

258

实例解说Linux命令行uniq2011-07-11 13:20 zhang liangkun.net字号：T|TLinux命令uniq的作用是过滤重复部分显示文件内容，这个命令读取输入文件，并比较相邻的行。在正常情况下，第二个及以后更多个重复行将被删去，行比较是根据所用字符集的排序序列进行的。该命令加工后的结果写到输出文件中。输入文件和输出文件必须不同。如果输入文件用“- ”表示，则从标准输入读...

javascript 删除数组中重复项（uniq）

12-10

`uniq`函数就是一个用于删除数组中重复项的实用工具。这个功能在数据处理、列表去重等场景中非常常见。以下是对几种实现`uniq`函数方法的详细解析。 1. **YUI的实现方式**： YUI（Yahoo! User Interface Library）...

uniq命令去除文件中的重复行

01-09

uniq命令全称是“unique”，中文释义是“独特的，唯一的”。该命令的作用是用来去除文本文件中连续的重复行，中间不能夹杂其他文本行。去除了重复的，保留的都是唯一的，也就是独特的，唯一的了。我们应当注意的是...

uniq:Uniq 内核源码树

06-12

Uniq是一个 x86 架构的操作系统内核。它不是基于Unix或Linux的，我们可以说它是一个类Unix操作系统内核，整个内核是从头开始编写的。此外，内核将在很大程度上尝试支持POSIX标准。 ####内核信息#### . . 开发...

JavaScript 数组的 uniq 方法

10-30

"JavaScript 数组的 uniq 方法" JavaScript 数组的 uniq 方法是将数组中重复的元素删除，返回一个新的数组，包含无重复的元素。这个方法可以给 Array 对象添加一个原型方法，以便删除数组中的重复元素。 uniq 方法...

基于STM32F103的步进电机S型加减速控制算法详解及应用

07-26

内容概要：本文深入探讨了STM32F103芯片用于步进电机S型加减速控制的具体实现方法。首先介绍了定时器TIM3的初始化配置，这是实现精确脉冲控制的基础。接着详细解析了S型曲线生成函数，该函数将加速段分为两个部分进行处理，分别采用二次函数和线性加二次项组合来模拟S型曲线的不同阶段。文中还展示了中断服务函数中的状态机设计，通过改变定时器的自动重装载寄存器（ARR）值实现了不同运行阶段的速度调节。此外，文章提到了一些调参技巧，如合理设置最大加速度、选择合适的总步数等，并讨论了硬件PWM的应用及其局限性。最后，简述了一个简单的运动规划器，它能够确保多段连续运动之间的平滑过渡。适合人群：对嵌入式系统有一定了解并希望深入了解步进电机控制机制的研发人员和技术爱好者。使用场景及目标：适用于需要精细控制步进电机启动停止过程的应用场合，如数控机床(CNC)、3D打印机等领域。目的是减少机械冲击，提高设备使用寿命和加工精度。其他说明：文中提供的完整工程代码可以帮助读者更好地理解和实践相关理论知识。同时提醒读者关注某些关键参数的选择，以确保最佳性能表现。

材料加工领域ANSYS Workbench瞬态热分析激光熔覆案例：热源加载与APDL代码应用

07-26

内容概要：本文介绍了如何使用ANSYS Workbench进行瞬态热分析，特别是针对激光熔覆的应用。主要内容包括热源加载方法及其APDL代码实现，以及如何输出节点坐标和温度值。文中详细讲解了从几何建模到热源定义，再到最终结果输出的具体步骤和技术细节。通过这些步骤，可以有效地模拟激光熔覆过程中的温度变化，为工艺优化提供了重要的参考。适合人群：对材料加工领域的激光熔覆技术和有限元分析感兴趣的工程技术人员、研究人员及高校师生。使用场景及目标：适用于需要深入了解激光熔覆过程中温度场变化的研究项目，旨在提高对激光熔覆工艺的理解并优化相关工艺参数。其他说明：本文不仅提供了详细的理论解释，还附带了具体的APDL代码示例，方便读者直接应用于实际工作中。此外，鼓励读者在实践中不断探索和完善，以适应不同的应用场景。

STM32项目集锦：锅炉控制器AD采集与通信实践、无刷电调设计创新、测量板多功能应用实用版

最新发布

07-26

三个基于STM32的项目——锅炉控制器、无刷电调和测量板的设计与实现。每个项目均提供了完整的原理图、PCB布局和源代码。锅炉控制器项目涵盖了热电偶AD采集、Modbus通信、IIC和SPI接口的应用；无刷电调项目重点在于电机的精确速度和位置控制，利用PWM功能并通过IIC/SPI接口实现智能控制；测量板项目则实现了电压和温度采样、OLED显示及温度超限报警功能。这些项目不仅展示了STM32的强大功能和灵活性，也为学习者提供了宝贵的学习资源。适合人群：嵌入式系统开发者、硬件工程师、电子爱好者及高校相关专业学生。使用场景及目标：① 学习STM32在工业控制、电机驱动和环境监测中的具体应用；② 掌握从硬件设计到软件编程的全流程开发技能；③ 提升对复杂系统架构的理解和优化能力。其他说明：文中提供的详尽资料有助于读者快速上手STM32开发，理解其内部工作机制，并应用于实际工程项目中。

电力电子技术：逆变技术Matlab模型图（电压型单相半桥全桥逆变电路与电流型三相逆变电路）高级版

07-26

利用Matlab进行电力电子技术中不同类型的逆变电路建模及其波形分析的方法。具体涵盖了电压型单相半桥逆变电路、电压型单相全桥逆变电路以及电流型三相逆变电路的建模过程。对于每种电路，文中不仅提供了具体的Matlab/Simulink代码片段，还深入探讨了关键参数的选择依据，如死区时间、调制指数、移相角度、LC滤波器参数等，并强调了这些参数对最终波形质量的影响。此外，作者分享了一些实际操作中的经验技巧，比如如何避免波形畸变、优化动态响应特性、确保电流波形的正弦性和相位关系等。适合人群：从事电力电子技术研发的专业人士，尤其是那些希望深入了解逆变技术并掌握Matlab仿真的工程师和技术爱好者。使用场景及目标：①为研究人员提供一套完整的逆变电路仿真解决方案；②帮助工程师快速搭建实验环境，验证理论假设；③降低实际硬件测试的风险和成本。阅读建议：读者可以跟随文中的步骤逐步尝试构建自己的逆变电路模型，在实践中体会各个参数的作用机制，并对比不同配置下的性能差异。同时，借助提供的FFT分析工具，能够更加直观地评估信号的质量。

sort uniq

05-24

### 使用 `sort` 和 `uniq` 命令 #### 一、`sort` 命令详解 `sort` 是 Linux/Unix 中用于对文本文件的内容进行排序的强大工具。默认情况下，它会基于 ASCII 编码顺序对每一行数据进行排序[^1]。以下是常用的参数及其功能： - `-b`: 忽略前导空白字符（如空格和制表符）。 - `-c`: 检查输入是否已排序；如果未排序，则返回错误消息并退出。 - `-d`: 只比较字母数字字符和空格字符，忽略其他字符。 - `-f`: 将所有的小写字母视为大写字母进行比较。 - `-n`: 按照数值大小而非字符串字典顺序进行排序。 - `-r`: 以相反的顺序排列输出结果。 - `-u`: 抑制重复行的显示，仅保留唯一的一份副本。 - `-k POS1[,POS2]`: 定义要排序的关键字段范围。 - `-t CHAR`: 设置字段分隔符为指定字符。示例代码如下所示： ```bash # 对文件 data.txt 进行升序排序，并保存到 sorted_data.txt 文件中 sort -o sorted_data.txt data.txt # 数值降序排序 sort -nr file_with_numbers.txt ``` #### 二、`uniq` 命令概述 `uniq` 命令主要用于过滤相邻的重复行。需要注意的是，该命令只会移除连续相同的记录，因此通常需要先通过 `sort` 来预处理数据以便获得全局去重的效果[^2]。主要选项有以下几个方面： - `-c | --count`: 统计每条不重复项的数量，在其左侧打印出现次数； - `-d | --repeated`: 仅仅展示那些存在多次实例的数据行； - `-i | --ignore-case`: 不区分大小写的匹配模式； - `-u | --unique`: 输出只发生过一次的独特项目列表。实际操作例子： ```bash # 查找 log_file.log 中唯一的 IP 地址 cat log_file.log | cut -d ' ' -f 1 | sort | uniq # 显示访问日志里各 ip 的请求频次 awk '{print $1}' access_log | sort | uniq -c | sort -nr ``` #### 三、两者联合运用场景分析当面对大量无规律的日志或者杂乱的信息集合时，单独依靠任何一个都不能达到理想效果。此时可以将这两个指令结合起来使用： 1. **去除完全相同的所有记录** 首先利用 `sort` 实现初步整理工作，接着再交给 `uniq` 处理掉多余的拷贝版本。 2. **统计频率最高的关键词组** 结合管道机制串联多个进程调用，最终得到我们关心的结果集。综合应用案例演示： ```bash # 计算某个文档中最常使用的单词 tr -cs "A-Za-z0-9" "\n" < input_text | tr "[:upper:]" "[:lower:]" | grep -v "^$" | sort | uniq -c | sort -rn | head -n 10 ```