【翻译WINDOWS NT FILE SYSTEM INTERNAL】NT缓存管理器一(6)

本文详细阐述了操作系统中缓存读写操作的过程,包括应用程序如何通过I/O管理器与文件系统交互,缓存管理器如何参与数据的读取与写入等关键步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

缓存读操作

考虑由一个用户应用程序发起的读操作。这个读操作通过NT I/O管理器被传递到文件系统。图6-3指示,满足读请求(使用缓存管理器提供的拷贝接口)的操作顺序。

下面的列表给出了对于这个图中每个步骤的解释。注意图中的箭头表示了控制流。

1.应用程序执行一个读操作,这个操作导致系统控制传递给内核中的I/O管理器。

2.I/O管理器通过IRP把读请求导向到适当的文件系统驱动。用户缓冲区可能被映射进系统虚拟地址空间,或者I/O管理器分配一个内存描述符(MDL)来表示缓冲区,并锁定与这个MDL有关的页内存,再或者I/O管理器不做修改直接传递缓冲区的虚拟地址空间。第三部分中,你将看到文件系统驱动控制 那些I/O管理器执行的操作。

3.文件系统驱动接受将读操作导向到被缓冲打开的文件的读请求和通知。如果文件缓存尚不存在,文件系统驱动调用缓存管理器来初始化文件缓存。依次,缓存管理器请求虚拟内存管理器为将要被缓存的文件创建文件映射(段对象)。

4.文件系统驱动使用CcCopyRead()缓存管理调用将读请求传递到NT缓存管理器。缓存管理器负责执行所有必要的步骤,将数据转移到用户缓冲区。

5.缓存管理器测试数据结构来决定那里是否有包含用户请求字节范围的映射视图。如果没有存在的映射视图,缓存管理器会创建一个。

6.缓存管理器简单的执行内存拷贝操作,从被映射试图到用户缓冲区。

7.如果文件映射视图不被包含所需数据的物理页支持,一个页错误将发生,然后控制被传递给虚拟内存管理器。

8.虚拟内存管理器分配用来存储被请求数据的物理页,页错误发生,然后通过NT I/O管理器发出一个非缓存IO(noncachedpaging I/O)读操作到文件系统驱动。注意,尽管上图没有指出分页I/O请求经过I/O管理器,但这是很确定的。

9.上面所述收到非缓存读请求时,文件系统驱动创建一个对应的I/O请求来从二级存储设备获取数据,并发送这个I/O请求到底层驱动。

10.文件系统驱动下面的设备驱动从二级存储设备(或者通过网络)获取数据,并完成请求。

11.文件系统驱动完成来自NT虚拟内存管理器测的分页I/O请求。

12.导致页错误的指令重新执行。

13.缓存管理器完成从文件映射视图到用户缓冲区的拷贝操作。这时候,拷贝将完成,除非招致一个页错误,(尽管理论上说,在一个刚刚出想过页错误的页上重复发生一个页错误是可能的,但是实际上这不会发生)。

14.缓存数据被拷贝到用户缓冲区中之后,缓存管理器返回控制给文件系统驱动。注意,这些数据将仅仅在预留给缓存管理器的虚拟地址空间中被缓存下来(无论如何,这些数据可能在任意时刻,被NT缓存管理器从系统内存中丢弃)。

15.文件系统驱动完成I/O管理器发送来的原始IRP。

16.I/O管理器完成原始的用户读请求。



缓存写操作


现在,考虑一个有用户程序发起的写操作。图6-4描述了执行满足写操作的步骤顺序(使用缓存管理器提供的拷贝接口)。如你将要看见的一样,这些操作步骤与前面描述的读操作的步骤很相似。对于每一个步骤的解释被罗列在下面:

1.一个用户应用程序执行写操作,导致控制被转移给内核中的I/O管理器。

2.I/O管理器通过使用一个IRP将这个写操作导向到合适的文件系统驱动。像在读操作中一样,缓冲区可能被映射进系统虚拟地址空间,或者一个MDL被创建,再或者缓冲区的虚拟地址不作任何改变直接传递给文件系统驱动。

3.文件系统驱动注意到写操作是导向到一个以缓存访问方式打开的文件。想读操作例子中描述的那样,如果这个文件的缓存尚没有被初始化,文件系统驱动将调用缓存管理器来初始化这个文件的缓存。虚拟内存管理器位要被缓存的文件创建一个文件映射(段对象)。

4.文件系统驱动通过CcCopyWrite()缓存管理器调用简单的下发写请求到NT缓存管理器,CcCopyWrite()是缓存管理器提供的可用的拷贝接口中的一个。

5.缓存管理器测试数据结构,决定是否存在包含被用户修改字节范围的文件映射视图,如果没有找到已存在的映射视图,缓存管理器会创建一个文件映射视图。

6.缓存管理器执行从(用户缓冲区)到(与文件映射视图相关的虚拟地址范围)的内存拷贝操作。

7.如果虚拟地址范围不被物理内存页支持,一个页错误将发生,而后控制转移到虚拟内存管理器。

8.虚拟内存管理器分配物理内存页,这些页用来存储被请求数据(发生页错误)。图6-4中,假定所有页正在被用户写满。在一个场景中,既不是缓存管理器也不是虚拟内存管理器(在数据修改之前)把已经存在的数据从磁盘读出来。无论如何,如果部分页正在被修改,在页被允许修改之前,页错误将导致虚拟内存管理器发起分页I/O读操作。这个导致页错误的指令被重新执行。

9.缓存管理器完成从用户缓冲区到与文件映射视图相关的虚拟地址范围的拷贝操作。

10.缓存管理器将控制权返回给文件系统驱动。注意,用户数据现在归于系统内存,并且不会立即写回到二级存储介质。真正的到二级存储设备的数据转移,将被缓存管理器延迟执行。

11.缓存管理器完成请求。

12.文件系统驱动完成NT I/O管理器发来的原始IRP。

13.I/O管理器完成早先的用户写请求。


import json import requests import os import time from datetime import datetime, timedelta import pytz from mutagen.mp3 import MP3 from mutagen.mp4 import MP4 import subprocess import platform # 全局变量,用于缓存 tenant_access_token 和上次更新的时间 tenant_access_token = None token_last_updated = None def get_broadcast_data(): """ 获取并提取播报数据 """ # 获取 tenant_access_token global tenant_access_token, token_last_updated # 检查 token 是否过期,过期则重新获取 if tenant_access_token is None or token_last_updated is None or (datetime.now() - token_last_updated) > timedelta(hours=2): tenant_access_token = get_auth_token() if tenant_access_token: token_last_updated = datetime.now() if not tenant_access_token: print("获取 tenant_access_token 失败!") return [] # 获取 Feishu Bitable 数据 url = 'https://open.feishu.cn/open-apis/bitable/v1/apps/E1zybPqiqa0TaesZjKKch5ZcnJd/tables/tblwFY4k3pmrV5WK/records/search' headers = { 'Content-Type': 'application/json', 'Authorization': f'Bearer {tenant_access_token}' # 使用获取到的 token } data = {} # 如果需要传递查询条件,可以在这里添加 try: response = requests.post(url, headers=headers, json=data) response.raise_for_status() # 如果响应失败,将抛出异常 response_dict = response.json() # 将返回的 JSON 数据转换为字典 items = response_dict.get("data", {}).get("items", []) data = [] for item in items: fields = item.get("fields", {}) data.append({ "播音日期": extract_broadcast_date(fields, '播音日期'), "时间段": extract_time_segment(fields, '时间段'), "开播音乐file_token": extract_file_token(fields, '开播音乐'), "开场白-播报file_token": extract_file_token(fields, '开场白-播报'), "需更新文案-播报file_token": extract_file_token(fields, '需更新文案-播报'), "壹首歌file_token": extract_file_token(fields, '壹首歌'), "需更新文案2-播报file_token": extract_file_token(fields, '需更新文案2-播报'), "贰首歌file_token": extract_file_token(fields, '贰首歌'), "结束语-播报file_token": extract_file_token(fields, '结束语-播报'), "结束音乐file_token": extract_file_token(fields, '结束音乐') }) return data except requests.exceptions.HTTPError as http_err: print(f"HTTP 错误发生: {http_err}") except Exception as err: print(f"其他错误发生: {err}") return [] def extract_file_token(fields, field_name): """提取 file_token""" field_data = fields.get(field_name, []) if isinstance(field_data, list) and len(field_data) > 0: value = field_data[0] if isinstance(value, dict): return value.get("file_token", "") return '' def extract_time_segment(fields, field_name): """提取时间段字段""" field_data = fields.get(field_name, []) if isinstance(field_data, list) and len(field_data) > 0: value = field_data[0] if isinstance(value, dict): return value.get("text", "") return None def extract_broadcast_date(fields, field_name): """提取播音日期字段""" field_data = fields.get(field_name, 0) if isinstance(field_data, int): try: timestamp = field_data / 1000 # 时间戳转化为秒 parsed_date = datetime.fromtimestamp(timestamp, tz=pytz.utc).astimezone(pytz.timezone('Asia/Shanghai')) return parsed_date.strftime("%Y-%m-%d") # 转换为 "YYYY-MM-DD" 格式 except (ValueError, OverflowError): pass return None def get_auth_token(): """获取认证 token""" url = "https://open.feishu.cn/open-apis/auth/v3/tenant_access_token/internal" headers = {"Content-Type": "application/json; charset=utf-8"} payload = {"app_id": "cli_a882683e8779d00c", "app_secret": "3NKkALA7vyMRVnpKJinmrb1LJ7YuK4H0"} try: response = requests.post(url, json=payload, headers=headers) response.raise_for_status() data = response.json() if data["code"] == 0: return data["tenant_access_token"] else: print(f"请求失败:{data['msg']}(错误码:{data['code']})") except requests.exceptions.RequestException as e: print(f"请求异常:{e}") return None def create_folder(folder_name): """创建文件夹""" if not os.path.exists(folder_name): os.makedirs(folder_name) def download_file(file_token, save_path, authorization): """下载文件""" url = f"https://open.feishu.cn/open-apis/drive/v1/medias/{file_token}/download" headers = {"Authorization": "Bearer " + authorization} try: response = requests.get(url, headers=headers, stream=True) if response.status_code == 200: with open(save_path, 'wb') as f: for chunk in response.iter_content(chunk_size=8192): f.write(chunk) print(f"文件已成功下载到: {save_path}") return True else: print(f"请求失败,状态码: {response.status_code}") print(f"错误信息: {response.text}") except Exception as e: print(f"发生异常: {str(e)}") return False def get_audio_duration(file_path): """获取音频时长""" try: if file_path.endswith(".mp3"): audio = MP3(file_path) elif file_path.endswith(".mp4"): audio = MP4(file_path) else: print(f"不支持的文件格式: {file_path}") return 0 return audio.info.length except Exception as e: print(f"获取音频时长失败: {e}") return 0 def kill_previous_players(): """清理之前残留的播放器进程""" system = platform.system() # 获取当前操作系统类型 try: if system == "Windows": subprocess.run(['taskkill', '/F', '/IM', 'wmplayer.exe'], stdout=subprocess.PIPE, stderr=subprocess.PIPE) subprocess.run(['taskkill', '/F', '/IM', 'vlc.exe'], stdout=subprocess.PIPE, stderr=subprocess.PIPE) elif system == "Darwin": # macOS subprocess.run(['killall', 'afplay'], stdout=subprocess.PIPE, stderr=subprocess.PIPE) elif system == "Linux": subprocess.run(['pkill', 'mpg123'], stdout=subprocess.PIPE, stderr=subprocess.PIPE) print("已清理之前残留的播放器进程") except Exception as e: print(f"清理播放器进程时发生错误: {e}") def play_music_in_folder(folder_path): """播放文件夹中的音频文件,并在播放完成后关闭播放器""" audio_files = [f for f in os.listdir(folder_path) if f.endswith((".mp3", ".mp4"))] processes = [] # 用于存储播放器进程 for file_name in audio_files: full_file_path = os.path.join(folder_path, file_name) try: duration = get_audio_duration(full_file_path) if duration <= 0: print(f"无法获取 {file_name} 的时长,跳过播放") continue print(f"播放 {file_name},预计播放时长:{duration} 秒") if os.name == 'nt': # Windows 系统 process = subprocess.Popen(['start', '', full_file_path], shell=True) elif os.name == 'posix': # MacOS 或 Linux 系统 process = subprocess.Popen(['afplay', full_file_path]) # 对于 MacOS 使用 afplay else: print(f"不支持的操作系统类型: {os.name}") continue processes.append(process) # 保存进程对象 time.sleep(duration) # 等待音频播放完成 except Exception as e: print(f"无法播放 {full_file_path}: {e}") # 关闭所有播放器进程 for process in processes: try: if process.poll() is None: # 检查进程是否仍在运行 process.kill() # 强制终止进程 print("播放器已强制关闭") except Exception as e: print(f"关闭播放器失败: {e}") def process_time_segment(segment, download_offset, play_offset, data, authorization, folder_name): """处理个时间段的下载和播放""" target_data = next((entry for entry in data if entry["时间段"] == segment), None) if not target_data: print(f"未找到时间段 {segment} 的文件数据!") return current_time = datetime.now(pytz.timezone('Asia/Shanghai')).strftime('%H:%M') segment_start_time = segment.split("-")[0] # 如果当前时间已经超过该时间段的开始时间,则跳过 if current_time > segment_start_time: print(f"当前时间已超过时间段 {segment} 的开始时间,跳过该时间段的处理") return # 等待到达下载时间 download_time = (datetime.strptime(segment_start_time, "%H:%M") - timedelta(minutes=download_offset)).strftime("%H:%M") while current_time != download_time: current_time = datetime.now(pytz.timezone('Asia/Shanghai')).strftime('%H:%M') time.sleep(1) print(f"开始下载 {segment} 的文件") files = [] file_tokens = [ ("开播音乐file_token", "mp3"), ("开场白-播报file_token", "mp4"), ("需更新文案-播报file_token", "mp4"), ("壹首歌file_token", "mp3"), ("需更新文案2-播报file_token", "mp4"), ("贰首歌file_token", "mp3"), ("结束语-播报file_token", "mp4"), ("结束音乐file_token", "mp3") ] for i, (key, file_format) in enumerate(file_tokens): token = target_data.get(key) if token: save_path = os.path.join(folder_name, f"file_{i+1}.{file_format}") if download_file(token, save_path, authorization): files.append(save_path) # 清理之前残留的播放器进程(调整到这里) kill_previous_players() # 等待到达播放时间 play_time = (datetime.strptime(segment_start_time, "%H:%M") - timedelta(minutes=play_offset)).strftime("%H:%M") while current_time != play_time: current_time = datetime.now(pytz.timezone('Asia/Shanghai')).strftime('%H:%M') time.sleep(1) print(f"开始播放 {segment} 的文件") play_music_in_folder(folder_name) # 播放结束后再次清理播放器进程 kill_previous_players() # 删除下载的文件 for file in files: os.remove(file) print(f"已删除文件: {file}") def main(): """主函数""" data = get_broadcast_data() if not data: print("未获取到有效的数据!") return global tenant_access_token authorization = tenant_access_token if not authorization: return folder_name = "bobao" create_folder(folder_name) segments = [ ("08:10-08:15", 10, 0), # 提前10分钟下载文件,0-准点播放 ("10:30-10:40", 10, 0), ("13:00-13:10", 10, 0), ("15:00-15:10", 10, 0), ("16:30-16:35", 10, 0), ("19:00-19:14", 10, 0) ] for segment, download_offset, play_offset in segments: process_time_segment(segment, download_offset, play_offset, data, authorization, folder_name) # 主程序结束后,再清理次播放器进程 kill_previous_players() if __name__ == "__main__": main() 上述代码会不会出现请求频率过高的问题?
05-28
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值