linux求文件共有行。多个文件求共有行交集完全匹配-w

最新推荐文章于 2024-04-19 13:20:00 发布
最新推荐文章于 2024-04-19 13:20:00 发布
阅读量453 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/geekfocus/article/details/111771111

grep -F -f a.txt b.txt #求文件交集
sort a.txt b.txt | uniq -d #求两文件交集
sort a.txt b.txt b.txt | uniq -u #求两文件不重复的项

awk ‘{print $0}’ 01.txt 02.txt 03.txt 04.txt | sort | uniq -c | awk ‘{if($1==4)print}’ > universe.txt
主义uniq -c计数和后面的值中间是空格不是tab

Linux内存管理（82）：Linux PSI 详解(2)
私房菜
05-29 1441
在《PSI 详解(1)》上一文中整理的 PSI 的原理和一些重要的数据结构，本文将在其基础上，详细剖析 PSI 初始化过程、数据采集过程、数据统计过程，也将cgroup 关于PSI 的注意点和流程一并整理。PSI 功能依赖CONFIG_PSI，当该 config 没有使能，psi.c是不会被编译到 image的。
linux12 -MYSQL数据库 --＞07数据库多表查询
明日之星
07-04 1117
文章目录一、重要关键字的执行顺序1、where筛选条件2、group by分组3、分组注意事项4、having分组之后的筛选条件5、distinct去重6、order by 排序7、limit 限制展示条数8、正则 regexp二、多表操作1、前期表准备2、表查询3、子查询4、知识点补充5、总结三、mysql数据库多表查询1、多表查询分类2、多表查询准备3、多表连接查询1、 交叉连接（ 笛卡尔积查询 ）1）笛卡尔积查询介绍2）笛卡尔积查询使用2、内连接（inner join on）只连接匹配的行1）inne
Linux 两个文件求交集、并集、差集
javaTalk
03-25 1366
目录 一 交集 二 并集 三 差集 四 参考文档 如图所示，图左为 a.txt，图右为 b.txt。 一 交集 命令： sort a.txt b.txt | uniq -d > c.txt 结果： -d ：显示重复出现的行列 二 并集 命令：...
linux: 多个文件内容（交集，并集，补集，单词个数统计）
eyeofeagle的博客
08-04 3259
原文件如下： 问题如下： 统计两个文件中，单词频数 求出ip 的频数 求出两个文件的交集 求出文件b 和 (文件a 交集 文件b) 的补集 1，统计单词频数 2，统计ip频数 3，求出两个文件的交集 4，求出文件b (补集) （文件a 交集 文件b） ...
Linux下求两个文件交集的方法
u013015681的博客
06-05 1062
linux下求两个文件的交集，参考 ：https://blog.youkuaiyun.com/autofei/article/details/65793201、comm命令    comm -2 file1 file22、sort file1 file2|uniq -d
Linux文件比较操作---文本文件的交集、差集与求差
weixin_34019929的博客
06-12 402
为什么80%的码农都做不了架构师？>>> ...
linux使用grep获取两个文件相同的行或不同的行
SeaSky_Steven的博客
01-08 2万+
linux的使用过程中会经常使用到匹配两个文件的操作 如果文件足够大，就无法通过人手动完成两个文件的匹配工作，这时候可以使用grep工具来帮助我们完成对文件的匹配工作。 grep文件匹配时用到的参数grep进行文件内容匹配工作是用到的参数主要有两个，分别是 1. 取出两个文件中的相同部分内容“-wf”参数. 2. 取出两个文件中的不同部分内容“-wvf”参数 操作指南 创建两个文件分别是aaa....
Mysql- --DQl语句（select数据查询语言，多表查询，View试图）linux常用（重点）
2401_83817769的博客
04-19 390
我想问下大家当初选择做程序员的初衷是什么？有思考过这个问题吗？高薪？热爱？既然入了这行就应该知道，这个行业是靠本事吃饭的，你想要拿高薪没有问题，请好好磨练自己的技术，不要抱怨。有的人通过培训可以让自己成长，有些人可以通过自律强大的自学能力成长，如果你两者都不占，还怎么拿高薪？架构师是很多程序员的职业目标，一个好的架构师是不愁所谓的35岁高龄门槛的，到了那个时候，照样大把的企业挖他。为什么很多人想进阿里巴巴，无非不是福利待遇好以及优质的人脉资源，这对个人职业发展是有非常大帮助的。
超实用篇→文件和目录cd命令
weixin_64314555的博客
11-29 5635
文件和目录 cd命令 用于切换当前目录，它的参数是要切换到的目录的路径，可以是绝对路径，也可以是相对路径。 cd /home 进入 '/ home' 目录\ cd .. 返回上一级目录\ cd ../.. 返回上两级目录\ cd 进入个人的主目录\ cd ~user1 进入个人的主目录\ cd - 返回上次所在的目录 复制代码 pwd命令 显示工作路径 [root@mailvip ~]# pwd\ /root 复制代码 ls命令 查看文件与目录的命令，list之意 ls 查看目录中的
Linux Capabilities 基础概念与基本使用
qq_68163788的博客
01-07 2264
Linux 是一种安全的操作系统，它把所有的系统权限都赋予了一个单一的 root 用户，只给普通用户保留有限的权限。root 用户拥有超级管理员权限，可以安装软件、允许某些服务、管理用户等。 作为普通用户，如果想执行某些只有管理员才有权限的操作，以前只有两种办法： 一是通过 `sudo` 提升权限，如果用户很多，配置管理和权限控制会很麻烦； 二是通过 [SUID](https://en.wikipedia.org/wiki/Setuid)（Set User ID on execution）来实现，
面试--超大文件取交集
wmq534的专栏
08-20 3519
如果仅仅只是要取两个文件中都存在的数字，而不用管这个数字在两个文件中出现的次数的话，用BitSet就行了。 这个昨天有人讨论过，说给40亿个整数排序。 用数组显然是不行的，太大了，一个整形使用4Byte，1亿个int就会花400M左右的内存，10亿就是4G内存。 因为int的最大数是2^32 - 1 == 约43亿，用一个二进制的下标来表示一个int值，大概需要43亿个bit位，
LINUX Shell 下求两个文件交集和差集的办法
热门推荐
autofei的专栏
07-01 7万+
假设两个文件FILE1和FILE2用集合A和B表示，FILE1内容如下：abceda FILE2内容如下：cdac基本上有两个方法，一个是comm命令，一个是grep命令。分别介绍如下： comm命令， Compare sorted files FILE1 and FILE2 line by line. With  no op
linux shell 对两个文件的处理
train的专栏
10-10 1937
<br /> <br />(1)两个文件的交集，并集<br />前提条件：每个文件中不得有重复行<br />1. 取出两个文件的并集(重复的行只保留一份)<br />cat file1 file2 | sort | uniq > file3<br />2. 取出两个文件的交集(只留下同时存在于两个文件中的文件)<br />cat file1 file2 | sort | uniq -d > file3<br />3. 删除交集，留下其他的行<br />cat file1 file2 | sort | uni
转载 linux文件取交集、差集、并集
喵咖的专栏
10-24 2317
如何求两个文件的交集、并集和差集？------sort和uniq闪亮登场
Linux处理求两个文件交集、差集
fsx2550553488的博客
06-28 1955
两个文件交集、差集两个文件，如： [root@localhost grep]# cat 1.txt a b c a d aa bb aa [root@localhost grep]# cat 2/txt a b c bb fsx分析，文件1.txt和文件2.txt：1.txt - 2.txt(a) d aa (aa)2.txt - 1.txtfsx1.txt 交 2.txta b c bbcomm...
linux两个文件交集，合并，去重
bitcarmanlee的博客
09-05 1万+
1.两个文件的交集，并集 cat file1 file2 | sort | uniq &gt; result cat file1 file2 | sort | uniq -d &gt; result cat file1 file2 | sort | uniq -u &gt; result 第一条命名求两个文件的并集，如果有重复的行只保留一行。 第二条命令求两个文件的交集，即两个文件中都有...
linux grep命令Ff和wf从两个文件中提取相同内容的行
haixian_wu的博客
03-09 1万+
首先——grep -Fftext1：chr1    1304143chr1    1304787chr1    1305007chr1    1305066chr1    1305096chr1    1508459text2：chr1    1305066chr1    1305096chr1    1508459chr1    1304143chr1    1304787chr1    130...
python写一段代码实现，1.读取两个文件夹中的stl文件，第一个文件夹中的文件都能在第二个文件夹中找到同名文件 2.对所有同名文件进几何一致对比 3.记录每对同名文件的对比结果和对比时间，不存在同名文件的对比时间为空 4.所有结果写进一个xlsx表格里面
最新发布
03-13
<think>好的，我现在需要帮用户解决如何用Python比较两个文件夹中的同名STL文件的几何一致性，并生成Excel报告的问题。首先，我得理清楚整个流程的步骤，然后逐一解决每个环节可能遇到的问题。 首先，用户的需求是读取两个文件夹中的STL文件，确保第一个文件夹里的每个文件在第二个文件夹中有同名文件。然后对比这些同名文件的几何一致性，记录结果和时间，最后保存到Excel。所以步骤大致分为：文件配对、几何对比、记录结果、输出Excel。 第一步，文件配对。我需要遍历两个文件夹，找出同名的STL文件。这里需要注意的是，可能存在一个文件夹中有而另一个没有的情况，所以需要处理这种情况，并记录错误。Python中可以用os模块来遍历文件夹，获取文件名列表。然后通过集合操作找出交集，即两个文件夹都存在的同名文件。同时，还要检查是否有重复的文件名，比如在同一个文件夹中有多个同名文件，但用户需求可能默认每个文件夹中的文件名是唯一的。这一步需要处理异常，比如文件缺失的情况，应该记录下来。 接下来是读取STL文件。STL文件有二进制和ASCII两种格式，需要分别处理。如何判断文件是二进制还是ASCII呢？通常可以尝试用文本方式打开，如果读取失败可能是二进制。或者检查文件头信息。比如二进制STL文件开头有80字节的头信息，接着是4字节的三角形面片数量，然后是每个面片的50字节数据。ASCII文件则以“solid”开头。因此，可能需要先检测文件类型，再选择相应的读取方式。不过，用户可能更关注几何数据是否一致，而不管格式。或者可能需要将两种格式的文件内容转换为统一的格式进行比较。或者直接比较文件内容，但如果是不同格式的同几何体，直接比较内容会失败。因此，可能需要将STL文件解析为几何数据（如顶点、面片信息）再进行比较。 这里存在一个问题：如何正确解析STL文件，无论是二进制还是ASCII格式，提取几何数据进行比较。Python中有没有现成的库可以处理STL文件？比如numpy-stl库，可以读取STL文件并提取网格数据。可能需要安装该库，使用它来读取两个文件，然后比较它们的顶点和面片是否相同，或者计算某种几何差异度量，比如顶点坐标的误差总和或最大值。 假设用户安装了这个库，那么接下来需要编写代码读取两个文件夹中的同名文件，使用stl库加载，然后比较它们的几何数据。例如，对于每个文件，比较顶点数组和面片数组是否完全一致，或者允许一定的数值误差（浮点数精度问题）。 然后，对比结果需要记录到Excel中，包括文件名、是否一致、对比时间、可能的错误信息。用Python处理Excel的话，可以使用openpyxl库或者pandas库，将数据保存为DataFrame然后导出到Excel。同时，需要记录时间，可以使用time模块记录开始和结束时间，计算耗时。 现在需要整合这些步骤： 1. 遍历两个文件夹，获取所有STL文件名。 2. 检查对应关系，确保每个文件在另一个文件夹中存在。 3. 对于每对文件，读取并解析为几何数据。 4. 比较几何数据是否一致。 5. 记录结果和时间到Excel。 接下来，具体代码如何实现？ 首先，导入必要的库：os、time、stl（如numpy-stl）、pandas（用于生成Excel）。 然后，遍历文件夹： folder1 = 'path1' folder2 = 'path2' 获取folder1中的STL文件列表： files1 = [f for f in os.listdir(folder1) if f.endswith('.stl')] 同理获取files2。然后找出交集，即共同的文件名： common_files = set(files1) & set(files2) 但是用户要求确保第一个文件夹中的每个文件在第二个文件夹中存在，所以可能需要检查files1中的每个文件是否都在files2中。如果有缺失，应该记录错误。 然后，对于每个共同文件： for file in common_files: path1 = os.path.join(folder1, file) path2 = os.path.join(folder2, file) # 读取并比较 读取STL文件，可以使用numpy-stl的mesh模块： from stl import mesh def compare_stl(file1, file2): try: mesh1 = mesh.Mesh.from_file(file1) mesh2 = mesh.Mesh.from_file(file2) # 比较顶点和面片 # 可能需要比较points数组是否相同 if np.array_equal(mesh1.points, mesh2.points): return True, None else: return False, "几何数据不一致" except Exception as e: return False, str(e) 不过，需要注意浮点数的精度问题，直接比较array_equal可能不准确，如果文件保存时有小数点位数不同，可能会有微小差异。因此，可能需要使用np.allclose进行比较： tolerance = 1e-6 if np.allclose(mesh1.points, mesh2.points, atol=tolerance): ... 另外，比较面片的方向是否一致可能也需要考虑，但用户可能只关心几何形状是否一致，而不关心面片的顺序或方向。但STL文件的顶点顺序可能不同，导致面片数组不同，但几何形状相同。这时候，直接比较顶点数组可能不够，需要更复杂的比较方法，比如检查顶点集合是否相同（不管顺序），但这可能会非常耗时，尤其是对于大文件。 这个问题需要明确用户的需求：是比较文件内容完全一致，还是几何形状一致？如果用户需要几何一致性，可能需要更复杂的比较方法，比如计算体积、表面积，或者检查顶点是否相同，但顺序可能不同。这种情况下，可能无法简单通过比较数组来判断，而需要更高级的几何处理。 但可能用户的情况是，同一模型导出的STL文件，可能在两个文件夹中是同样的格式和顺序，此时直接比较points数组即可。如果用户的情况可能存在格式不同（如二进制和ASCII），则需要确保解析后的数据是否一致。例如，用numpy-stl库读取两种格式的文件，得到相同的points数据，那么比较是可行的。 所以，假设用户的两个文件夹中的STL文件是同格式的（比如都是二进制），或者即使不同格式，但解析后的几何数据相同，那么上述方法有效。否则，可能需要统一处理两种格式。 接下来，处理对比结果，记录时间和错误。然后用pandas将结果保存为DataFrame，并导出到Excel。 同时，需要考虑异常处理，比如文件无法读取、格式错误等，应捕获异常并记录错误信息。 现在，编写代码的大致结构： import os import time import numpy as np from stl import mesh import pandas as pd def compare_stl_files(folder1, folder2, output_excel): # 获取文件列表 files1 = [f for f in os.listdir(folder1) if f.lower().endswith('.stl')] files2 = [f for f in os.listdir(folder2) if f.lower().endswith('.stl')] # 检查文件配对 results = [] for file in files1: if file not in files2: results.append({ '文件名': file, '结果': '错误：第二个文件夹中无此文件', '耗时': None, '错误信息': '文件缺失' }) continue path1 = os.path.join(folder1, file) path2 = os.path.join(folder2, file) start_time = time.time() try: mesh1 = mesh.Mesh.from_file(path1) mesh2 = mesh.Mesh.from_file(path2) # 比较顶点数据 if np.array_equal(mesh1.points, mesh2.points): result = '一致' error = None else: result = '不一致' error = '顶点数据不同' # 或者使用容差比较 # if np.allclose(mesh1.points, mesh2.points, atol=1e-6): except Exception as e: result = '错误' error = str(e) end_time = time.time() results.append({ '文件名': file, '结果': result, '耗时': end_time - start_time, '错误信息': error }) # 创建DataFrame并保存 df = pd.DataFrame(results) df.to_excel(output_excel, index=False) return df 然后，调用该函数： compare_stl_files('folder1', 'folder2', 'comparison_results.xlsx') 不过，这里有几个问题需要注意： 1. 需要处理两个文件夹中的文件，确保每个文件在另一个中存在。当前代码只遍历files1，并检查是否在files2中存在。如果files2中的文件不在files1中，会被忽略，但用户的需求是第一个文件夹中的每个文件都要在第二个中有对应的，所以正确的处理方式可能是只处理files1中的所有文件，并确保每个都在files2中存在。其他文件可能不需要处理，或者用户可能需要处理所有共同文件。需要明确。 根据用户的问题描述：“确保第一个文件夹中的每个文件在第二个文件夹中有同名文件”，所以应该处理第一个文件夹中的所有STL文件，并且如果第二个文件夹中不存在对应的文件，则记录错误。 因此，上述代码是正确的，遍历files1中的每个文件，检查是否存在于files2中。如果存在，则比较，否则记录错误。 另一个问题是，numpy-stl库是否正确处理所有STL文件？比如，如果文件是ASCII格式，是否能够正确读取？根据numpy-stl的文档，Mesh.from_file方法应该可以处理两种格式，自动检测。因此，代码应该可以处理两种格式的文件。 另外，比较points数组是否相同，是否足够？points数组包含每个三角形的顶点数据，每个三角形由三个顶点组成，每个顶点有三个坐标。如果两个文件中的三角形顺序不同，但几何形状相同，这样的比较会认为不一致。但这种情况是否常见？比如，不同的STL导出工具可能会生成不同顺序的三角形，但几何体相同。此时，直接比较points数组会错误地认为不一致。这个问题可能需要更深入的几何比较，比如计算所有顶点的集合（去重后比较），或者计算体积、表面积等属性是否相同。 但这样的处理比较复杂，可能需要更多的计算。用户的需求是“几何一致性”，可能指的是形状相同，而不管三角形如何划分或排列。这时候，直接比较顶点和面片可能不够，需要更高级的方法。比如，使用trimesh库进行网格比较，计算哈希或几何属性。 例如，使用trimesh库的Trimesh对象，可以计算边界框、体积、表面积，或者进行顶点和面的哈希比较。但需要安装trimesh库。 如果用户的需求是严格比较几何形状是否相同，可能需要这样的方法。但用户的问题中可能只需要文件内容层面的比较，即同一模型导出的STL文件是否二进制或ASCII内容一致，或者解析后的数据是否一致。需要根据具体情况判断。 由于用户的问题中未明确这一点，可能需要假设用户希望比较解析后的几何数据是否相同，即每个三角形的顶点坐标是否相同，顺序也相同。这种情况下，当前的代码是可行的。但如果顺序不同，但坐标相同，代码会报告不一致，而实际上几何是相同的。这时用户可能需要更智能的比较方法，但实现起来复杂。 因此，在回答中，需要说明这一点，可能建议用户如果文件生成方式不同，可能需要更复杂的比较方法，但当前代码基于三角形顶点的顺序和数值进行比较。 另外，关于性能，对于大文件，读取和比较可能耗时较长，需要记录时间。 最后，将结果写入Excel，使用pandas的to_excel方法即可。 现在，可能遇到的错误包括： - 文件无法读取（格式错误、损坏） - 文件存在但无法解析 - 内存不足（大文件） 代码中已经用try-except捕获异常，并记录错误信息。 综上，代码的大体结构是正确的，但需要安装必要的库（numpy-stl, pandas, openpyxl）。 用户可能需要安装这些库： pip install numpy-stl pandas openpyxl 在回答中，需要给出完整的代码示例，并解释各个步骤。同时，提醒用户注意点，比如几何比较的局限性，需要安装库等。 此外，用户可能需要处理路径问题，比如文件夹路径是否正确，是否有访问权限，所以在代码中可能需要添加路径存在性检查。 最后，生成相关问题，比如如何提高比较效率，如何处理不同格式的STL文件，或者如何比较几何形状而非数据顺序等。</think>### 解决方案 以下是使用Python比较两个文件夹中同名STL文件几何一致性并生成Excel报告的完整实现方案： ```python import os import time import pandas as pd from stl import mesh import numpy as np def compare_stl_files(folder1, folder2, output_file="result.xlsx"): """ 比较两个文件夹中同名STL文件的几何一致性 参数: folder1: 第一个文件夹路径 folder2: 第二个文件夹路径 output_file: 输出Excel文件名 """ # 获取文件列表并转换为小写 files1 = {f.lower(): f for f in os.listdir(folder1) if f.lower().endswith('.stl')} files2 = {f.lower(): f for f in os.listdir(folder2) if f.lower().endswith('.stl')} results = [] for filename_lower, original_name in files1.items(): record = { '文件名': original_name, '结果': '未匹配', '耗时(s)': 0, '错误信息': None } start_time = time.time() try: # 检查文件是否存在 if filename_lower not in files2: raise FileNotFoundError(f"目标文件夹中缺少文件 {original_name}") # 构建完整路径 path1 = os.path.join(folder1, original_name) path2 = os.path.join(folder2, files2[filename_lower]) # 读取STL文件 mesh1 = mesh.Mesh.from_file(path1) mesh2 = mesh.Mesh.from_file(path2) # 比较几何数据（考虑浮点误差） if np.allclose(mesh1.points, mesh2.points, atol=1e-6): record['结果'] = '一致' else: record['结果'] = '不一致' except Exception as e: record['结果'] = '错误' record['错误信息'] = str(e) finally: record['耗时(s)'] = round(time.time() - start_time, 4) results.append(record) # 生成Excel报告 df = pd.DataFrame(results) df.to_excel(output_file, index=False) return df # 使用示例 compare_stl_files("folder1", "folder2", "comparison_results.xlsx") ``` ### 关键步骤说明 1. **文件匹配**： - 使用字典保存原始文件名的大小写映射，避免大小写差异导致匹配失败 - 自动处理Windows/MacOS/Linux系统的文件名大小写差异 2. **几何比较**： - 使用`numpy-stl`库解析STL文件，支持二进制和ASCII格式[^3] - 采用`np.allclose`比较浮点数据，设置公差`atol=1e-6`消除存储误差 3. **异常处理**： - 捕获文件缺失、格式错误等异常 - 记录详细的错误信息方便排查 4. **性能优化**： - 精确记录每个文件的处理耗时 - 使用向量化操作加速数据比较 ### 注意事项 1. 安装依赖库： ```bash pip install numpy-stl pandas openpyxl ``` 2. 扩展建议： - 对大型文件(>100MB)可添加进度条显示 - 需要精确几何比对时，可增加体积/表面积计算比对 - 支持自定义公差阈值
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值