pyinotify监控文件和文件夹变化

  之前写了脚本,死循环调用inotifywait监控文件夹,如果文件有变动,则启动

rsync进行同步。但是当前需求有点变化,文件要按照日期建文件夹进行存储,

且文件变化很快,如果直接监控最顶级目录系统资源将消耗很大,所以考虑还是自

写一下好,如果系统资源量变化大,且不用时时同步时可以根据文件变动对变动

对文件进行记录,可以按照优先规则进行同步。

 

    官方网站: http://trac.dbzteam.org/pyinotify

 

    系统要求:Linux kernel with inotify ≥2.6.13

              Python ≥2.4

 

    直接使用easy_install安装非常简单

    # sudo easy_install pyinotify

    如果不能联网,则需要直接下载压缩包,进行编译安装。

 

    首先测试下是否可用:

    使用以下命令监控/tmp文件夹,

    # python -m pyinotify /tmp

    在/tmp文件夹下新建1.txt,并随后进行删除。看到显示的记录如下:

<Event dir=False mask=0x100 maskname=IN_CREATE name=1.txt path=/tmp pathname=/tmp/1.txt wd=1 >

<Event dir=False mask=0x20 maskname=IN_OPEN name=1.txt path=/tmp pathname=/tmp/1.txt wd=1 >

<Event dir=False mask=0x4 maskname=IN_ATTRIB name=1.txt path=/tmp pathname=/tmp/1.txt wd=1 >

<Event dir=False mask=0x8 maskname=IN_CLOSE_WRITE name=1.txt path=/tmp pathname=/tmp/1.txt wd=1 >

<Event dir=True mask=0x40000020 maskname=IN_OPEN|IN_ISDIR name='' path=/tmp pathname=/tmp wd=1 >

<Event dir=True mask=0x40000010 maskname=IN_CLOSE_NOWRITE|IN_ISDIR name='' path=/tmp pathname=/tmp wd=1 >

<Event dir=False mask=0x200 maskname=IN_DELETE name=1.txt path=/tmp pathname=/tmp/1.txt wd=1 >

 

    效果不错,继续向下进行。只要有创建、删除和关闭写就打印出变化的文件或目录,代码如下:

import  re

import pyinotify

 

wm = pyinotify.WatchManager()

mask = pyinotify.IN_DELETE | pyinotify.IN_CREATE | pyinotify.IN_CLOSE_WRITE

 

class EventHandler(pyinotify.ProcessEvent):

    def process_IN_CREATE(self, event):

        self.rebuild(event)

 

    def process_IN_DELETE(self, event):

        self.rebuild(event)

 

    def process_IN_CLOSE_WRITE(self, event):

        self.rebuild(event)

 

    def rebuild(self, event):

        chang_name=re.compile(".+\.swp$|.+\.swx$|.+\.swpx$")

        if not chang_name.match(event.pathname):

            print event.pathname

 

handler = EventHandler()

notifier = pyinotify.Notifier(wm, handler)

wdd = wm.add_watch('/tmp', mask, rec=True,auto_add=True )

 

notifier.loop()

 

    代码里使用正则表达式过滤因为使用vim打开文件产生的缓存文件。也可以用exclude_filter方法

在官方文档中例子如下,但是我测试多次没有成功,所以直接用正则过滤。

 

# Exclude patterns from list

excl_lst = ['^/etc/apache[2]?/',

            '^/etc/rc.*',

            '^/etc/hostname',

            '^/etc/hosts',

            '^/etc/(fs|m)tab',

            '^/etc/cron\..*']

excl = pyinotify.ExcludeFilter(excl_lst)

# Add watches

res = wm.add_watch(['/etc/hostname', '/etc/cups', '/etc/rc0.d'],

                   pyinotify.ALL_EVENTS, rec=True, exclude_filter=excl)

   

     如果监控文件太多,需要对系统做一下修改sysctl -n -w fs.inotify.max_user_watches=16384。
<think>好的,我现在需要解决用户的问题,关于使用Python实时监控文件夹变化的解决方案。首先,用户提到了几个引用,我需要先理解这些引用的内容,看看是否有相关的库或方法已经被提到。 引用[1]提到了PyInotify,这个库用于监听文件系统的变化,并且可以集成到Django或Flask等框架中。引用[2]讨论了在Windows下监控新增文件夹的需求,可能使用了不同的库,比如watchdog。引用[3][4]也提到了实时监控文件夹中的文件变化,特别是处理日志文件的情况,可能涉及到持续读取新文件的需求。 接下来,我需要确定Python中常用的库有哪些。常见的库包括watchdogpyinotify。watchdog是一个跨平台的库,支持Linux、macOSWindows,而pyinotify主要针对Linux系统,因为inotify是Linux内核的特性。用户的问题没有指定操作系统,但引用[2][4]提到了Windows,所以需要确保推荐的库在Windows下可用。 watchdog库应该是首选,因为它跨平台,且API友好。而pyinotify可能在Windows上不可用,因此需要指出这一点。另外,用户可能还需要知道如何处理事件,比如创建、修改、删除等,以及如何编写事件处理程序。 另外,用户的问题还提到了生成相关问题,需要根据回答内容提出相关问题,比如如何过滤特定事件、处理性能问题、与其他框架集成等。 现在需要整理步骤,先介绍推荐的库,再给出代码示例,说明不同库的适用场景,最后生成相关问题。同时,要确保使用正确的LaTeX格式,行内公式用$...$,独立公式用$$...$$,但在这个问题中可能用不上太多数学公式,不过如果有性能分析可能需要用到。但根据用户的问题,可能不需要数学公式,所以重点放在代码库的介绍上。 需要检查是否有遗漏的库,比如os模块的轮询方式,虽然效率低,但简单。不过用户需要的是实时监控,所以可能更推荐watchdog或pyinotify。此外,引用[3]中提到的代码可能需要用到tail -f的功能,可以结合文件读取来实时监控日志文件变化。 最后,确保回答结构清晰,分点说明,代码示例正确,引用正确标注。同时,生成的相关问题要围绕监控文件夹变化的应用场景、优化方法、不同库比较等。</think>### Python实时监控文件夹变化的解决方案 在Python中,实时监控文件夹变化的常用工具库包括 **Watchdog** **PyInotify**。两者的核心原理均基于操作系统提供的文件系统事件通知机制,但适用场景平台支持有所不同。 --- #### 1. Watchdog(跨平台推荐) **Watchdog** 是一个跨平台库,支持 Windows、Linux macOS。它通过抽象不同操作系统的底层API(如Windows的 `ReadDirectoryChangesW` Linux的 `inotify`)实现统一的事件监听接口[^4]。 **安装方法**: ```bash pip install watchdog ``` **示例代码**(监控文件夹创建/修改/删除事件): ```python from watchdog.observers import Observer from watchdog.events import FileSystemEventHandler class MyHandler(FileSystemEventHandler): def on_modified(self, event): if not event.is_directory: print(f"文件被修改: {event.src_path}") def on_created(self, event): print(f"新增文件文件夹: {event.src_path}") def on_deleted(self, event): print(f"文件文件夹被删除: {event.src_path}") if __name__ == "__main__": path = "监控文件夹路径" observer = Observer() observer.schedule(MyHandler(), path, recursive=True) observer.start() try: while True: time.sleep(1) except KeyboardInterrupt: observer.stop() observer.join() ``` **特点**: - 支持递归监控子目录(`recursive=True`) - 可区分文件类型(通过 `event.is_directory`) - 跨平台兼容性强[^2][^4] --- #### 2. PyInotify(仅限Linux) **PyInotify** 基于Linux内核的 `inotify` 机制,性能高效但仅适用于Linux系统[^1]。 **安装方法**: ```bash pip install pyinotify ``` **示例代码**: ```python import pyinotify class EventHandler(pyinotify.ProcessEvent): def process_IN_CREATE(self, event): print(f"新增文件: {event.pathname}") def process_IN_MODIFY(self, event): print(f"文件被修改: {event.pathname}") wm = pyinotify.WatchManager() handler = EventHandler() notifier = pyinotify.Notifier(wm, handler) wdd = wm.add_watch("监控文件夹路径", pyinotify.IN_CREATE | pyinotify.IN_MODIFY) notifier.loop() ``` **特点**: - 低延迟,适合高频率事件场景 - 支持细粒度事件(如权限变更、移动操作) --- #### 3. 其他方法:轮询检测(不推荐) 通过 `os.listdir()` 定期检查文件夹内容,适用于简单场景但效率较低: ```python import os import time def monitor_folder(path): previous = set(os.listdir(path)) while True: current = set(os.listdir(path)) added = current - previous removed = previous - current if added: print(f"新增文件: {added}") if removed: print(f"删除文件: {removed}") previous = current time.sleep(5) ``` --- ### 选择建议 - **跨平台需求** → 使用 **Watchdog** - **Linux高性能场景** → 使用 **PyInotify** - **与其他框架集成**(如Django/Flask) → Watchdog更易扩展[^1] --- 相关问题
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值