linux文件取交集、差集、并集

最新推荐文章于 2023-04-21 06:00:00 发布

原创最新推荐文章于 2023-04-21 06:00:00 发布 · 1.6k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#linux文件取差集 #linux文件取交集 #linux文件取并集

Linux 专栏收录该内容

21 篇文章

订阅专栏

本文详细介绍如何使用Shell脚本来实现集合的交集、并集和差集操作，通过具体的命令行实例，展示了如何处理文本文件中的数据，进行集合运算。

# 交集
sort a.txt | uniq > aa.txt
sort b.txt | uniq > bb.txt
cat aa.txt bb.txt | sort | uniq -d
# 并集
cat a.txt b.txt | sort | uniq
# 差集
cat aa.txt bb.txt bb.txt | sort | uniq -u
# 差集
sort a.txt b.txt b.txt|uniq -u > diff.txt

linux文件取差集交集并集

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

代元培

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

大数据：SQL实现表之间的交集、并集、差集、非交集

金融科技和数据治理

05-10

8072

数据合集、并集和差集的产生（seq、cat、sort和uniq的综合使用）

weixin_43960055的博客

11-03

1552

合集、并集和差集（seq、cat和uniq的综合使用）不多废话，直接就上代码。 seq 1 10 产生1，2，… ，10 十个数据（默认步长为1），各个数据换行显示。 seq ‘ ’ 1 10 产生1，2，…，10 十个数据（默认步长为1），数据之间空一格显示。 (seq 0 3 17) >test1 从0到17之间，按照步长3选取数据。 cat test1 浏览test1文件内容。 (seq 3 6 18) >test2 从3到18之间，按照步长6选取数据，并命名为test2。 cat

参与评论您还未登录，请先登录后发表或查看评论

linux求两个列的交集并集差集

qq_34786604的博客

11-04

909

我们经常需要快速的知道两个列。一般这两个列是。我们想看看他们的逻辑情况（交集并集差集）

Linux实现文件内容去重及求交并差集

01-09

一、数据去重日常工作中，使用Hive或者Impala查询导出来可能会存在数据重复的现象，但又不想重新执行一遍查询（查询时间稍长，导出文件内容多），因此想到了使用Linux命令将文件的内容重复数据进行去除。案例如下：可以看到aaa.txx有3条重复数据想去掉多余的数据，只保留一条 sort aaa.txt | uniq > bbb.txt 将aaa.txt文件中重复数据去掉，输出到bbb.txt 可以看到bbb.txt文件中只保留了一条数据二、数据交、并、差 1)、交集(相当于user_2019 inner join user_2020 on user_2019.user_no=u

Linux 两个文件求交集、并集、差集

javaTalk

03-25

1493

目录一交集二并集三差集四参考文档如图所示，图左为 a.txt，图右为 b.txt。一交集命令： sort a.txt b.txt | uniq -d > c.txt 结果： -d ：显示重复出现的行列二并集命令：...

我与Linux系统的交集

linuxprobe2017的博客

03-22

259

一、初识Linux第一次知道Linux还是在我刚进大学的时候，从开始聊QQ、玩斗地主的时候起我就是用的Windows，从Windows2000一直到Windows7，当时我已经完全习惯了使用Windows，而且电脑对于我而言也只是用来聊QQ、看电视、玩游戏的。因此，对于操作麻烦还要重新学习命令什么的Linux我是拒绝的，这就是我与Linux的初识，留下的只有不好的印象。直到我学习计算机课程一年以后...

Linux求文件差集

a3amux18550的博客

04-07

197

grep -F -f listb lista -v 可以求差集A-B 转载于:https://www.cnblogs.com/ITEagle/archive/2013/04/07/3003611.html

centos6.8 查看两个文件的交、并、差集

大圣欲何的博客

11-29

1185

很少用到，长时间不用回忘记，记录一下。有两个文件/mnt/file 和 /mnt/files [root@vm1_185 mnt]# cat file hello world ! hello everybody ! hello basketball ! hello kobebryant ! [root@vm1_185 mnt]# cat files hello world ! hell...

linux取差集

qq_39460085的博客

10-24

601

A,B两个文件，取 A-B cat A B B|sort|uniq -u 取A交B sort A B | uniq -d

linux文件交集差集

夜宿荒寺

08-19

1036

文件的交集，差集

linux下取文件的交集并集差集

onlymayao的博客

06-10

407

交集 sort a.txt b.txt | uniq -d 并集 sort a.txt b.txt | uniq 差集 sort a.txt b.txt b.txt | uniq -u sort b.txt a.txt a.txt | uniq -u

高级shell扩展---uniq命令

panbuhei

11-06

438

uniq uniq 命令用于检查及删除文本文件中重复出现的行列，一般与 sort 命令结合使用。语法 uniq [-cdu][-f<栏位>][-s<字符位置>][-w<字符位置>][--help][--version][输入文件][输出文件] 参数： -c或--count 在每列旁边显示该行重复出现的次数。 -d或--repeated 仅显示重复出现的行列。 -f<栏位>或--skip-fields=<栏位> 忽略比较指定的栏位。 -s<

linux命令对两个文件求差集、交集、并集

dkgee

12-25

7261

一、差集有两个文件user_2020.txt、user_2019.txt 其中user_2020.txt中内容如下： uuu aaa bbb 111 user_2019.txt中内容如下： eeeee aaa bbb ccc aaa 示例一：求user_2020.txt - user_2019.txt的差集命令 sort user_2020.txt user_2019.txt user_2019.txt| uniq -u 结果如下： 111 uuu 示例二：求user_201.

linux得到两个文件的交集、并集

weixin_49621901的博客

04-21

818

1、两个文件的交集、并集（每个文件中不得有重复也可以是多个文件）(2)、取出两个文件的交集（只留下同时存在于两个文件中的文件）(1)、取出两个文件的并集（重复的行只保留一份）(1)、一个文件在上，一个文件在下。(2)、一个文件在左，一个文件在右。(3)、删除交集，留下其他的行。(1)、重复的多行记为一行。(2)、重复的行全部去掉。3、一个文件去掉重复的行。

Linux Shell文件差集

weixin_33932129的博客

09-28

185

file1-file2 => file3file1=/data/aaafile2=/data/bbbfile3=/data/cccsort -m <(sort $file1 | uniq) <(sort $file2 | uniq) <(sort $file2 | uniq) | uniq -u > $file3

linux两个文件取交集、并集、差集

Kenina_Xie的博客

10-29

2639

如何得到两个文件的交集、并集和差集？交集：两个文件中都出现的行并集：两个文件中的所有行加起来，去掉重复差集：在一个文件中存在，而在另一个文件中不存在。比如以下两个文件： a.txt aaa bbb ccc 111 222 b.txt ccc ddd eee 111 333 结果： a.txt和b.txt的交集： ccc 111 a.txt和b.txt的并集： 111 222 333 aaa bbb ccc ddd eee a.txt中存在b.txt中不存在： 222 aaa bbb b.txt中存在

Linux中求文件差集的方法

victorunique的专栏

01-15

901

求集合A与集合B的差集方法1:sort B B A | uniq -u方法2:grep -vFf file_b file_a

linux求两个文件的差集,Linux求两个文本文件的交集、差集、并集

weixin_33171065的博客

04-28

283

原标题：Linux求两个文本文件的交集、差集、并集一、交集sort a.txt b.txt | uniq -d二、并集sort a.txt b.txt | uniq三、差集a.txt-b.txt:sort a.txt b.txt b.txt | uniq -ub.txt - a.txt:sort b.txt a.txt a.txt | uniq -u四、相关的解释使用sort可以将文件进行排序(s...

linux如何对比两个文件重复的行

最新发布

11-21

<think> 首先，用户的问题是基于提供的引用内容：他们想知道在Linux系统中如何对比两个文件的重复行。引用中提到了几种方法，比如使用comm命令、grep、while循环等。我的回答需要遵循系统级指令： - 所有行内数学表达式用$...$格式。但这个问题是关于Linux命令的，可能不涉及数学，所以可能用不到，但如果有变量或代码，我会正确格式化。 - 独立公式用$$...$$格式。同样，可能不适用。 - LaTeX语法正确：确保任何数学或代码格式正确。 - 使用中文回答：整个回答必须用中文。 - 生成相关问题：在回答结束后，添加相关问题，就像示例中的"§§相关问题§§"。 - 回答中引用的段落末尾添加引用标识：例如[^1]。引用来自提供的引用内容，如引用[1]到[^5]。 - 回答结构清晰：逐步解决问题，确保可靠。用户的问题："我想查找在Linux系统中对比两个文件重复行的方法请问Linux系统中对比两个文件重复行的方法" 从引用中，关键点： - 引用[2]详细讨论了比较两个文件行的方法，包括while循环、for循环、grep和comm命令。 - 引用[5]提到了删除重复行的方法，但焦点是单个文件。 - 其他引用如[1]和[4]是关于查找和删除重复文件的，不是直接比较两个文件的重复行。 - 引用[3]是关于文件合并和交集。所以，核心是引用[2]的内容： - while遍历文件行比较。 - for遍历文件行比较（注意IFS设置）。 - grep方法。 - comm命令（推荐为最快最好用）。 comm命令特别有效：comm -12 file1 file2 输出两个文件的交集，即重复行。回答结构： 1. 介绍问题：解释用户的需求。 2. 逐步介绍方法： - 使用comm命令（最简单高效）。 - 使用grep命令。 - 使用shell循环（如while或for）。 - 可能提到其他方法。 3. 确保每个方法有代码示例或命令格式。 4. 添加引用标识：在相关部分末尾添加，如[^2]。生成相关问题： - 在回答结束后，添加"§§相关问题§§"，然后列出2-3个相关问题，类似于示例。相关问题想法： 1. 如何只输出不重复的行？ 2. comm命令的其他用法？ 3. 如何忽略大小写或空格进行比较？ 4. 性能优化建议？确保回答真实可靠：基于提供的引用和我的知识。comm命令确实是标准工具。最终回答大纲： - 开头：直接回答用户问题。 - 方法1: comm命令。[^2] - 方法2: grep命令。[^2] - 方法3: shell循环方法。[^2] - 简要比较。 - 结束语。 - §§相关问题§§ 用中文写。 </think> ### Linux系统中对比两个文件重复行的方法在Linux系统中，对比两个文件的重复行（即找出同时存在于两个文件中的行）是常见的任务。基于您提供的引用内容（特别是引用[2]），我将逐步解释四种可靠的方法，包括命令示例和注意事项。这些方法都基于标准Linux命令，如`comm`、`grep`和shell循环。以下是详细说明： #### 1. **使用`comm`命令（推荐方法，高效且简单）** - **原理**：`comm`命令专门用于比较两个已排序的文件，输出交集（重复行）、差集或并集。选项`-12`表示只输出两个文件共有的行（即重复行）。 - **命令格式**： ```bash sort file1.txt | uniq > sorted_file1.txt # 先对文件排序并去重（可选） sort file2.txt | uniq > sorted_file2.txt comm -12 sorted_file1.txt sorted_file2.txt ``` - `comm -12`：`-1`隐藏第一个文件独有的行，`-2`隐藏第二个文件独有的行，因此`-12`只显示公共行。 - **注意**：输入文件必须先排序，否则结果可能不准确。使用`sort`命令预处理文件。 - **示例**：假设`file1.txt`内容为`A\nB\nC`，`file2.txt`内容为`B\nC\nD`，运行`comm -12`会输出`B\nC`。 - **优点**：执行速度快，适合大型文件[^2]。 - **相关引用**：comm命令被描述为“该命令最快，最好用”[^2]。 #### 2. **使用`grep`命令（灵活但稍慢）** - **原理**：`grep`可以搜索一个文件中的行是否存在于另一个文件中。使用`-F`选项进行固定字符串匹配，避免正则表达式开销。 - **命令格式**： ```bash grep -F -f file1.txt file2.txt # 输出file2.txt中与file1.txt匹配的行 ``` - `-f file1.txt`：从file1.txt读取模式。 - `-F`：将模式视为固定字符串，提高性能。 - 如果您需要输出重复行到新文件，添加重定向：`grep -F -f file1.txt file2.txt > duplicates.txt`。 - **注意**：如果文件有特殊字符，使用`\b`或`\< \>`进行单词边界匹配（如`grep "\<word\>"`）。此方法不需要文件排序，但大文件时可能较慢[^2]。 - **示例**：运行`grep -F -f file1.txt file2.txt`会输出所有重复行。 - **优点**：支持部分匹配，适合复杂场景。 #### 3. **使用Shell循环（如`while`或`for`，适合小文件或自定义处理）** - **原理**：通过shell脚本逐行读取文件并进行比较。引用[2]提供了两种方法： - **`while`循环**：逐行读取文件，嵌套比较。 ```bash while read lineb; do while read linea; do if [ "$lineb" = "$linea" ]; then # 注意变量加引号避免空格问题 echo "$lineb" >> duplicates.txt fi done < file2.txt done < file1.txt ``` - **`for`循环（需设置IFS）**：处理空格等分隔符。 ```bash IFS=$'\n' # 设置域分隔符为换行符 for i in $(cat file1.txt); do for j in $(cat file2.txt); do if [[ "$i" == "$j" ]]; then echo "$i" >> duplicates.txt fi done done ``` - **注意**： - 变量比较时，必须加双引号（如`"$lineb"`），否则空格会导致错误。 - IFS设置是必要的，以防止shell将空格视为分隔符。 - **缺点**：性能较差，文件大时效率低，仅推荐小文件或特殊需求[^2]。 - **优点**：脚本灵活，可添加额外逻辑（如计数或过滤）。 #### 4. **其他方法（简要参考）** - **`awk`或`sed`**：引用[5]提到使用`awk`或`sed`处理单个文件的重复行（如`sort file.txt | awk '!a[$0]++'`），但扩展到两个文件较复杂，不如以上方法直接。 - **工具如`fdupes`**：引用[4]提到`fdupes`用于查找重复文件，但它是基于文件内容哈希，不是逐行比较，不适用于本场景。 #### 方法比较与建议 - **效率**：`comm`命令最快（尤其对大型文件），其次是`grep`，shell循环最慢。 - **准确性**：所有方法默认区分大小写和空格；如需忽略大小写，在命令中添加选项如`grep -i`或`comm`前用`tr '[:upper:]' '[:lower:]'`预处理。 - **通用步骤**： 1. 备份文件以防误操作。 2. 预处理：使用`sort`和`uniq`去除文件内重复行（可选）。 3. 选择合适方法运行命令。 4. 输出结果保存到文件（如`> duplicates.txt`）。通过以上方法，您可以高效地对比Linux系统中的文件重复行。如果需要更多细节或处理特殊情况，请参考相关命令手册（`man comm`或`man grep`）[^2][^5]。