<python> 取出第一个文件中存在,而第二个文件中不存在的行(可用于日志文件的数据比对)

最新推荐文章于 2025-02-21 14:23:21 发布
转载 最新推荐文章于 2025-02-21 14:23:21 发布 · 721 阅读 · 0

该博客介绍用Python取出第一个文件中存在、第二个文件中不存在的行，可用于日志文件的数据比对，借助Python相关功能完成文件内容对比操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

def diff(old_file, new_file, diff_file):
    with open(old_file) as f1:
        set1 = set(f1)    #把打开的文件转换成集合,集合中必须是不同元素,去除相同行
    with open(new_file) as f1:
        set2 = set(f1)    #把打开的文件转换成集合,集合中必须是不同元素,去除相同行
    diff = set2 - set1    #python中集合可以通过'-'去除相同数据
    with open(diff_file, 'w') as f1:
        f1.writelines(diff)   #把多行数据写入文件中

if __name__ == '__main__':
    old_file = '/opt/passwd'        #原始文件
    new_file = '/opt/password'     #经过一天访问添加的文件
    diff_file = '/opt/diff_file'      #存放新增的不同数据
    diff(old_file, new_file, diff_file)

 

sxjwcs
关注
教外谈（2）：C/C++结合python实现阿里云盘数据同步
余识-
09-27 2296
本章主要介绍如何使用C/C++, 结合python语言, 以及多个第三方开源库, 实现阿里网盘的收费功能 同步数据
多测师肖sir_高级讲师_第2个月第6讲python之模块（001）
多测师肖sir的博客
01-12 4299
一个项目中有很多个包，目录不能导入 包是有_init_.py 文件 备注： 1、未调用时，显灰色 2、一个模块中只要导入一次就可以 模块的导入方法一： 格式： import +模块名 import time # 导入time模块 print(‘dcs杭州大佬！！’) time.sleep(5) print (‘多测师都是万元户’) 模块导入方法二： from 包名.模块名称 import +指定的类、函数、方法 案例： 场景一：bb模块中定义一个函数A, SS文件来调用bb文件中函数A bb.
Python之提取一个文件有而另一个文件没有的内容
运维@小兵的博客
01-26 704
#!/usr/local/bin/python3 #AUTHOR:anqixiang #DATE:2020-01-26 #MODIFY: #FUNCTION:提取出name2文件有而name1文件没有的部分，并保存到save_file文件中 name1 = '/etc/passwd' name2 = '/tmp/mima' save_file = '/tmp/result.txt' #存放结...
python 两个文件对比，以文件1为标准将文件2中有相等的内容整行取出
jj1130050965的博客
08-14 575
python
saltstack自动化运维工具学习
qq_42971895的博客
09-23 474
1、salt介绍 saltstack是由thomas Hatch于2011年创建的一个开源项目，设计初衷是为了实现一个快速的远程执行系统。 2、salt强大之处 系统管理员日常会进行大量的重复性操作，例如安装软件，修改配置文件，创建用户，批量执行命令等等。如果主机数量庞大，单靠人工维护实在让人难以忍受。 早期运维人员会根据自己的生产环境来写特定脚本完成大量重复性工作，这些脚本复杂且难以维护。系统管理员面临的问题主要是1、系统配置管理，2、远程执行命令，因此诞生了很多开源软件，系统维护方面有fabric、pu
python根据一个文件中的key和另外一个文件key对比，同时提取value
jj1130050965的博客
06-29 548
python 文件 key value 对比
查询一个文件里面的内容是否出现在另一个文件里
haimengao的专栏
09-27 1082
import os import sys class Diff: def __init__(self): pass def run(self, url_file, template_file): f_template = open(template_file, 'r') f_tem = f_template.readlines(
Snort首先需要使用者根据入侵行为的特征，按照一定的规范将这些特征编写成规则，最后通过检测网络数据与规则数据库中的规则是否匹配来判断入侵与否。在Snort入侵检测系统中，规则的匹配效率是影响Snort检测效率的关键。而规则匹配的核心技术是模式匹配算法。 请实现一个模式匹配算法，用于网络入侵行为的检测。若检在网络日志中检测到任何一条检测规则中的ip地址，则输出“Network intrusion detected.”，反之输出“Nothing detected.” 输入 输入共 � + � + 1 n+m+1行，第1行两个整数 � , � n,m ( � , � ≤ 100 ) (n,m≤100) 2 ∼ � + 1 2∼n+1行每行为一条检测规则。规则的格式为: protocol:网络协议 ip:ip地址 msg:"附加信息" � + 2 ∼ � + � + 1 n+2∼n+m+1行共 � m行，为网络日志内容。 输出 输出一行，若检在网络日志中检测到任何一条检测规则中的ip地址，则输出“Network intrusion detected.”，反之输出“Nothing detected.”。
03-29
如果题目中的规则中的IP地址是严格在“ip:”后面的值，而日志中的IP地址可能出现在其他字段的值中，或者作为独立的字符串存在，那么需要遍历日志行的所有部分，寻找可能的IP地址。 例如，假设日志中的某一行是...
比对数据库和redis里的数据，清楚redis里冗余的数据
最新发布
08-03
<think>我们面对的问题：如何比对数据库和Redis中的数据并清理Redis中的冗余数据？ 冗余数据指的是：Redis中存储了数据库里已经不存在的数据，或者数据库中的数据已经更新而Redis中还是旧数据。 步骤： 1. 确定...
【Python爬虫(37)】解锁分布式爬虫：原理与架构全解析
邓邓子的博客
02-21 2003
分布式系统是建立在网络之上的软件系统，它由多台独立的计算机组成，这些计算机通过网络相互连接并协同工作，共同完成特定的任务。从用户的角度来看，分布式系统就像是一个单一的、统一的系统，用户无需关心系统内部的具体实现细节，使用起来如同操作一台计算机。例如，万维网（World Wide Web）就是一个典型的分布式系统，用户在浏览网页时，无需了解网页数据存储在哪台服务器上，也不用关心网页是如何从不同的服务器传输到本地的，所有这些细节都对用户透明，用户只需要关注网页的内容本身。分布性。
找出两个文本文件的不同的行
weixin_33851429的博客
11-09 1083
用shell找出两个文本文件的不同的行 亲自实验过的方法如下： 第一种：comm命令法 命令如下：comm -3 file1 file2 有一个问题就是，如果两个文件排序不一样的话，会出问题 第二种：grep命令法 命令如下：grep -vwf file1 file2 统计file1中没有，file2中有的行 具体使用环境以后再补充，今天先记录到这里。 参考文档：...
comm 比较两个文件中相同不同行
ilmlife的专栏
03-10 949
comm -12 file1 file2 就只显示在两个文件中都存在的行comm -23 file1 file2 只显示在第一个文件中出现而未在第二个文件中出现的行comm -13 file1 file2 只显示在第一个文件中未出现而出现在第二个文件中的行 其中参数意义：   -1   不显示只在第1个文件里出现过的列。(suppress lines unique to FILE1)  
Python：判断表中的数据在另一张表是否存在
彼方_的博客
03-02 2669
将分表中的相关数据到总表中进行对比，如果数据在总表中存在，则存储到“匹配.xls” import xlrd import xlwt import xlutils from xlutils.copy import copy # 打开表格并获取 allTable = xlrd.open_workbook("E://总表.xlsx") allShell = allTable.sheet_by_index(0) allCol = allShell.col_values(16) myTable = xlrd.op
实用的shell脚本小命令，比较两个文件内容，输出file1中有，但是file2中没有的内容
aischang
07-24 3518
主要使用的是grep命令： grep -vwf  file1 file2  该命令比较两个文件内容，输出file1中有，但是file2中没有的内容 脚本aischang.sh内容很简单 [root@ddi response]# more aischang.sh #!/bin/sh  cat named.response.0 |awk -F '|' '{print $2}' |uniq &gt;...
python 检测数据质量，当两个dataFrame中相互判断，当A中出现后更新到B中然后保存到数据库中
jsg_0311的博客
11-07 148
distinct_rule是字典校验是指的哪些字段判断重复distinct_rule =['xm','zjh','xb','csrq']table_name是保存的表面。# 获取全部重复的数据。# 获取重复的第一行。rows是原始数据，
Python-Pandas之两个Dataframe的比较（二）
苏小败在路上
03-19 6796
今天找到一个好方法，可以直接比较两个df，这个方法包含在hashlib库里面，代码如下： import hashlib, sys files = [] try: files = [sys.argv[1], sys.argv[2]] except: print('命令行未检测到文件参数。') # 这个方式可以通过命令行运行： # # python3 cmpfiles....
如何在python中从txt文件中提取特定元素所在的行并将所有特定元素所在的行保存到新的txt文件中
toCVer的博客
12-30 7354
最近在做实例分割，想将分割出的每个实例提取出来 类似于这种，将实例标签为8和十一的分别提取出来 代码很简单，如下所示 import re import sys import os str = [] fa = open("0000_014.txt", 'r') for line in fa.readlines(): print line str1 = line.split(" ")[-1] str2 = str1.split('.')[0] int_value =
grep 求两个文件之间的不同行和相同行
u010764629的博客
12-14 2362
  1. 下面是一些有意思的命令行参数： grep -i pattern files：不区分大小写地搜索。默认情况区分大小写， grep -l pattern files ：只列出匹配的文件名， grep -L pattern files ：列出不匹配的文件名， grep -w pattern files：只匹配整个单词，而不是字符串的一部分（如匹配‘magic’，而不是‘magical’）， ...
找出两文件中相同的行，两文件不同的行，文件1有文件2没有的行
热门推荐
ysdaniel的专栏
09-17 2万+
删除两文件中相同的行，列出两个文件中不同的行： cat 09-07_as_route 09-14_as_route | sort | uniq -u | sort -n - 或 awk '{print}' 09-07_as_route 09-14_as_route | sort | uniq -u | sort -n  注： 这两个文件09-07_as_route  09-14_as_ro
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值