文件锁浅谈

后端系列文章目录

---

前言

笔者近日在生产环境遇到文件锁故障java.io.IOException no locks available，造成上线延期，在此谈谈文件锁，以及它的应用。

一、简介

在程序开发中，比较常见遇到的是进程内锁，就Java后端而言，尝尝使用悲观锁和乐观锁来处理，如synchronized关键字等。

如果是进程之间使用锁，就可以考虑文件锁，比如在同一个节点上，部署两个实例，这两个实例需要通过锁来进行同步。

如果是多节点的进程之间需要同步，也可以考虑文件锁，只不过文件锁需要在共享文件系统上，比如nfs文件系统。当然，这种情况，更常见的是使用分布式锁，比如zookeeper等。

笔者遇到的情况，是在多个节点之间，使用nfs文件锁，来到达多个节点同步的目的。

二、代码实践

以下可以使用 FileChannel 和 FileLock 来通过 Java 中的文件锁机制同步访问文件。在这里，通过以下步骤实现一个文件锁的示例：

1. 打开文件。
2. 使用 FileChannel.tryLock() 方法尝试获取文件锁。
3. 如果获取锁成功，则执行文件操作。
4. 如果锁已经被其他进程或线程持有，则抛出异常。
5. 最后释放锁并关闭文件通道。

代码如下：

import java.io.IOException;
import java.nio.channels.FileChannel;
import java.nio.channels.FileLock;
import java.nio.file.StandardOpenOption;
import java.nio.file.Paths;
import java.nio.file.Path;

public class FileLockExample {

    public static void main(String[] args) {
        Path realPath = Paths.get("write.lock");
        FileChannel channel = null;
        FileLock lock = null;

        try {
            // 打开文件通道（如果文件不存在，则会创建）
            channel = FileChannel.open(realPath, StandardOpenOption.CREATE, StandardOpenOption.WRITE);
            
            // 尝试获取文件锁
            lock = channel.tryLock();
            
            if (lock != null) {
                // 成功获取锁后进行操作
                System.out.println("File locked successfully. Performing file operations...");

                // 模拟写入文件，通常文件锁不写入内容
                channel.write(java.nio.ByteBuffer.wrap("This is a locked file operation.\n".getBytes()));
                System.out.println("File written successfully.");
                
                // 释放锁
                lock.release();
                System.out.println("File lock released.");
            } else {
                // 锁失败，说明文件正在被其他进程使用
                System.out.println("Unable to obtain lock. File is already locked by another process.");
            }
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            // 确保文件通道被正确关闭
            try {
                if (channel != null) {
                    channel.close();
                }
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
}

在一些开源组件中，在工作目录经常可以看到write.lock文件，0字节大小，一般用于文件锁来实现同步。

三、机制原理

文件锁通常是在 操作系统内核 中实现的，它会通过如下方式来确保文件锁的正确性：

• 锁的状态管理：操作系统会维护每个文件的锁信息，当一个进程请求锁时，操作系统会检查该文件是否已被其他进程锁定。如果已被锁定，操作系统会将当前进程放入等待队列，直到锁被释放。

• 锁的粒度：文件锁一般是在文件级别进行的，操作系统对文件的锁定状态进行管理，确保文件的某些区域不会被多个进程同时修改（例如，某个进程在修改文件内容时，另一个进程不能同时修改相同部分）。

• 锁的协作：文件锁通常是协作性的，意味着应用程序在进行文件操作时必须显式地请求和释放锁。操作系统负责确保这些锁的请求按顺序进行，并协调进程间的访问。

Java 提供的 FileChannel 和 FileLock 只是封装了操作系统提供的文件锁功能，帮助开发者方便地进行文件级别的同步操作。

操作系统通过文件锁来实现文件级别的同步和互斥。不同操作系统的文件锁实现方式略有不同，Linux 使用 flock() 系统调用来实现文件锁，它支持共享锁和独占锁。Linux 还支持 文件区域锁，即锁定文件的某一部分，而不是整个文件。此外，Linux 提供了 fcntl 系统调用，用于更细粒度的文件锁。

四、分布式文件锁

很多分布式文件系统并不支持文件锁，如hdfs，但是nfs文件系统是支持文件锁的。目前常用的nfs底层协议nfsv3和nfsv4都是支持文件锁的，但是它们之间有很大的不同。

查看挂载的nfs使用的是哪种协议，可以通过命令mount | grep nfs查看，vers=3即nfsv3协议，nfsv4即nfsv4协议。

分类	状态	复杂度	可靠性
nfsv3	无状态协议，不会记录客户端与服务器的会话状态。	文件锁需要一个额外的服务来跟踪和管理锁状态，这就是 nfs-lock（依赖 lockd）	如果 lockd 服务未启动或异常中断，文件锁将失效，导致潜在的写冲突风险。客户端或服务器重启后，锁状态可能丢失，需要客户端重新申请。
nfsv4	NFSv4 是一个 状态化协议，会跟踪客户端和服务器之间的会话及资源的状态。文件锁作为会话的一部分，与会话状态直接绑定。只要客户端会话存在，锁状态就会保持有效。	NFSv4 合并了以前版本中的多个组件：文件系统协议（NFS）。文件锁协议（NLM）。挂载协议（MOUNT）。这种整合使得 NFSv4 只需要一个协议即可处理所有文件和锁请求，减少了对外部服务的依赖。	由于锁状态绑定到客户端会话，NFSv4 避免了 NFSv3 中可能因客户端或服务器重启而丢失锁状态的问题。当客户端断开连接时，NFSv4 会自动释放相关锁，防止资源被长时间占用。

NFSv4 通过内置的状态化锁机制，消除了对 nfs-lock 服务的依赖，不仅简化了架构，还提高了锁管理的可靠性和性能。这使得它在分布式环境中更适合需要文件锁的场景，同时减少了运维负担。如果环境允许，建议尽可能使用NFSv4。

笔者遇到的情况，就是客户环境使用nfsv3协议，但是nfs服务端nfs-lock没有正常启动，导致报上面的异常错误。

总结

单节点多进程之间，使用文件锁来进行同步是比较方便的，如果是多节点，还是建议使用zookeeper来进行同步，以免分布式文件锁导致一些故障，目前市场上这种解决方案也是主流。