fakerth的博客

分布式文件服务模块是OpenHarmony系统中提供跨设备文件访问能力的核心组件，基于分布式软总线实现动态组网。主要功能包括：分布式文件系统（POSIX规范兼容的跨设备访问）、云同步服务（云端文件同步/下载/上传）、云盘服务管理、设备状态管理、文件传输共享等。采用分层架构设计（daemon-service-kit），支持多用户环境，通过统一API接口屏蔽底层差异。模块位于文件管理子系统，与设备管理、存储服务等协作，为应用层提供分布式文件访问和云同步能力。

OpenHarmony存储管理服务模块摘要 存储管理服务模块是OpenHarmony系统中提供基础存储管理能力的核心组件，位于文件管理子系统下。主要功能包括外置存储卡管理、文件加解密、磁盘/卷管理、用户目录管理、存储空间统计、文件共享等。该模块采用分层架构设计，分为storage_api、storage_manager和storage_daemon三层，实现了服务分离和统一接口设计。

OpenHarmony文件访问接口模块提供了基础文件IO操作能力，包括文件管理、目录操作、统计信息获取、流式读写和文件锁等功能。该模块位于文件管理子系统底层，通过LibN抽象层提供统一的JS/Native/C接口，支持同步/异步操作模式，并采用适配器、工厂等设计模式实现多语言兼容。核心类包括FileNExporter（文件操作）、StreamNExporter（流式处理）等，通过NExporter工厂创建导出器，为上层应用提供高性能、安全的文件访问能力，同时对接底层文件系统和系统服务。

应用文件服务模块摘要 应用文件服务模块是OpenHarmony系统中文件管理子系统的核心组件，提供文件分享、URI管理、权限控制等基础功能。该模块采用分层架构设计，包含文件分享、URI解析、沙箱管理等核心类，支持应用间文件共享、跨设备文件同步等场景。核心功能包括： 基于URI的统一文件标识和访问 跨设备文件分享能力 细粒度文件权限控制 数据备份恢复服务 应用沙箱安全管理

文章摘要 OpenHarmony的mod_fs模块是文件系统操作的核心组件，位于interfaces/kits/js/src/mod_fs目录下。该模块提供完整的文件操作功能，包括文件读写、目录管理、文件监控和流处理等。核心包含模块入口module.cpp、通用功能函数common_func、文件系统工具fs_utils等组件。

OpenHarmony文件系统模块mod_fileio解析 摘要：mod_fileio是OpenHarmony核心文件管理模块，基于Node.js N-API构建，提供完整的文件I/O操作功能。模块包含标准版和V9精简版两个版本，通过目录操作类(DirNExporter)、文件操作类(FileNExporter)、流操作类(StreamNExporter)等组件实现文件系统访问。核心功能包括同步/异步文件读写、目录操作、流处理、文件状态获取及监控等，支持多种文件打开模式和操作标志位。

OpenHarmony文件访问模块摘要 mod_file是OpenHarmony分布式文件系统的核心JavaScript接口模块，基于Node-API技术实现，提供完整的文件系统操作能力。模块采用工厂模式设计，通过FileNExporter类导出12个核心API，包括文件/目录的创建、删除、复制、移动、读写等操作。所有接口均采用异步模式实现，包含参数解析、URI验证、异步任务创建和执行回调的标准流程。模块内部定义了FileInfo等数据结构，并通过CheckUri等安全机制确保操作安全。

OpenHarmony文件管理API提供跨语言文件操作能力，核心模块包括基础文件操作(ohos.file.fs)、文件系统统计(ohos.file.statvfs)、文件哈希计算(ohos.file.hash)等。项目采用分层架构设计，最高层提供完整文件系统抽象，中间层处理I/O操作，基础层实现基本文件功能。通过Node-API技术桥接JavaScript与C++，支持多语言接口，包括C、Rust等，并基于Linux io_uring实现高性能异步IO模块。

摘要：OpenHarmony的volumemanager模块提供卷设备管理功能，支持查询、挂载/卸载卷设备以及格式化操作。关键API包括getAllVolumes（获取所有卷信息）、mount（挂载卷）、unmount（卸载卷）和format（格式化卷）。使用需申请相应权限，仅支持特定文件系统类型（如vfat/exfat）。文档提供了错误码说明和测试示例代码，包含卷状态管理和操作界面实现。该模块为系统API，从版本9开始支持，适用于外置存储设备管理场景。

在日常使用电脑、手机或嵌入式设备时，我们经常会接触到 “磁盘”、“分区”、“卷”、“文件系统”、“挂载点” 这些术语。它们看起来相关，但到底是怎么连接在一起的？本文将以 OpenHarmony的存储抽象为例，从最底层的物理磁盘一直讲到最终的挂载点，完整走一遍磁盘挂载的流程。

自己的电脑上配一个虚拟机还是很有必要的，用起来比双系统方便一点，之前搞了100g的ubuntu没用到，后面重装redhat觉得随便搞个20g就够用了，后面用到之后就遇到磁盘不够用的情况，只能说情况允许的话，磁盘搞大一点。

重定向文件访问是指通过修改文件系统的路径，使对某个文件或目录的访问请求被转到另一个文件或目录。这在系统管理、测试和开发中非常有用，因为它允许您在不修改应用程序或服务配置的情况下，改变文件的实际存储位置。

MLPerf™ 基准测试由来自学术界、研究实验室和行业的 AI 领导者联盟 MLCommons 开发，旨在对硬件、软件和服务的训练和推理性能进行无偏评估。它们都在规定的条件下进行。为了保持在行业趋势的前沿，MLPerf 不断发展，定期举行新的测试，并添加代表 AI 技术水平的新工作负载。每个基准测试套件均由工作组专家社区定义，他们为 AI 系统制定公平的基准测试。工作组定义要运行的 AI 模型、运行模型所依据的数据集、设置允许对模型进行哪些更改的规则，并测量给定硬件运行模型的速度。

PnetCDF 是一个高性能并行 I/O 库，用于访问 Unidata 的 NetCDF经典格式文件，特别是 CDF-1、2 和 5 格式。CDF-1 是默认的 NetCDF 经典格式。 CDF-2 是通过使用标志 NC_64BIT_OFFSET 创建的扩展格式，以支持 64 位文件偏移量。 CDF-5 文件格式是 CDF-2 的扩展，通过使用标志 NC_64BIT_DATA 创建，支持无符号数据类型并使用 64 位整数，允许用户定义大维度、属性和变量（> 2B 数组元素）。

NUMA这种构架下，不同的内存器件和CPU核心从属不同的 Node，每个 Node 都有自己的集成内存控制器（IMC，Integrated Memory Controller）。在 Node 内部，架构类似SMP，使用 IMC Bus 进行不同核心间的通信；不同的 Node 间通过QPI（Quick Path Interconnect）进行通信

ulimit 命令用于查看和设置 shell 运行时的资源限制。它可以控制各种资源，如文件打开数量、堆栈大小、CPU 时间等。ulimit 命令通常用于限制 shell 启动的进程的资源使用量，以防止系统资源被耗尽。ulimit命令的主要作用是提高系统的性能和稳定性。通过合理地设置资源限制，可以防止因过度使用系统资源而导致系统崩溃或性能下降。例如，通过设置最大文件大小的限制，可以避免同时打开过多的文件导致系统崩溃；通过设置最大虚拟内存的限制，可以避免进程占用过多的内存导致系统变慢。

python提取内存、cpu、lustre相关信息

proc/fs 是一个特殊的虚拟文件系统目录，在 Linux 系统中用于提供有关文件系统的信息和控制接口。这些信息和控制接口可用于监视和管理系统中各种文件系统的状态和行为。

fopen函数是标准I/O库函数的一部分，它提供了更高级别的文件操作功能，例如缓冲、格式化输入输出等。而open函数直接与底层文件系统交互，提供了更底层的文件操作。linux下的fopen是open的封装函数，fopen最终还是要调用底层的系统调用open。选择使用open还是fopen取决于你的需求和使用环境。如果你需要更底层的文件操作或者在特定的系统调用接口上工作，可以选择使用open函数。如果你更倾向于使用标准C库函数以及提供的高级别文件操作功能，可以选择使用fopen函数。

Lustre架构是用于集群的存储架构。Lustre架构的核心组件是Lustre文件系统，它在Linux操作系统上得到支持，并提供了一个符合POSIX *标准的UNIX文件系统接口。Lustre存储架构用于许多不同类型的集群。它以支持世界上许多最大的拥有数万个客户端系统、pb (PiB)存储和每秒数百GB (GB/sec)的I/O吞吐量的高性能计算(HPC)集群而闻名，许多HPC站点使用Lustre文件系统作为站点范围的全局文件系统，为几十个集群提供服务。

Lustre架构是用于集群的存储架构。Lustre架构的核心组件是Lustre文件系统，它在Linux操作系统上得到支持，并提供了一个符合POSIX *标准的UNIX文件系统接口。Lustre存储架构用于许多不同类型的集群。它以支持世界上许多最大的拥有数万个客户端系统、pb (PiB)存储和每秒数百GB (GB/sec)的I/O吞吐量的高性能计算(HPC)集群而闻名，许多HPC站点使用Lustre文件系统作为站点范围的全局文件系统，为几十个集群提供服务。

darshan-parser 输出的开头显示了有关作业的总体信息的摘要。还可以使用–perf、–file或–total命令行选项生成其他作业级别摘要信息。本文即对darshan生成的日志进行分析。

Darshan的安装

参考Linux内核深度解析

挂载ext4文件系统

文件系统的相关概念

参考linux内核深度解析

参考linux内核深度解析

可以看到chunks目录下我们的文件被分成数据块，块大小限制为512k。解决方法： -l enp0s3。

文件：一组有意义的信息的集合。