RandomAccessFile、FileInputStream、BufferedInputStream不同方式读取同一个文件,内存消耗情况的对比

开发人员在处理400M二进制文件abc.bat时遇到内存问题,RandomAccessFile和FileInputStream在部分安装了DGS加密软件的电脑上消耗大量内存。尽管只用1024字节数组循环读取,但原因不明,可能与加密软件有关。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

场景描述

我有一个400M的二进制文件abc.bat,需要读取文件内容进行解析。功能开发完成后验证时,一共试了4台安装了DGS加密软件的办公电脑和3台个人笔记本电脑,发现在其中有2台安装了DGS加密软件的电脑上,出现了内存消耗及其不正常的情况,其他2台办公电脑和3个个人本都没有问题,所以也不知道是不是加密软件导致(因为最近2个月中加密软件给我们开发工作带来了各种诡异问题,所以个人更倾向于是加密软件导致)。
在有问题的2台电脑上内存消耗情况如下:
方式1----RandomAccessFile,消耗28G(没错,是28个G!!!)
方式2----FileInputStream,消耗11G(没错,是11个G!!!)
方式3-—BufferedInputStream,消耗800M。

方式1:

        File localFile = new File("D:/abc.dat");
        byte[] bytes = new byte[1024];
        try(RandomAccessFile randomAccessFile = new RandomAccessFile(localFile, "rw")) {
            while (randomAccessFile.read(bytes) > -1) {
            }
        } catch (Exception e) {
        }

方式2:

        File localFile = new File("D:/abc.dat");
        byte[] bytes = new byte[1024];
        try(FileInputStream fileInputStream = new FileInputStream(localFile)) {
            while (fileInputStream.read(bytes) > -1) {
            }
        } catch (Exception e) {
        }

方式3:

        File localFile = new File("D:/abc.dat");
        byte[] bytes = new byte[1024];
        try(BufferedInputStream bufferedInputStream = new BufferedInputStream(new FileInputStream(localFile))) {
            while (bufferedInputStream.read(bytes) > -1) {
            }
        } catch (Exception e) {
        }

虽然使用RandomAccessFile、FileInputStream、BufferedInputStream不同的3种方式,但是我是读取的相同的文件、且都是通过一个1024字节大小的数组来循环读取内容的,并没有把全部文件读入到内存,为什么会出现RandomAccessFile、FileInputStream在个别的电脑上内存消耗不正常的情况呢?因为什么导致的呢?

DQN(Deep Q-Network)是一种使用深度神经网络实现的强化学习算法,用于解决离散动作空间的问题。在PyTorch中实现DQN可以分为以下几个步骤: 1. 定义神经网络:使用PyTorch定义一个包含多个全连接层的神经网络,输入为状态空间的维度,输出为动作空间的维度。 ```python import torch.nn as nn import torch.nn.functional as F class QNet(nn.Module): def __init__(self, state_dim, action_dim): super(QNet, self).__init__() self.fc1 = nn.Linear(state_dim, 64) self.fc2 = nn.Linear(64, 64) self.fc3 = nn.Linear(64, action_dim) def forward(self, x): x = F.relu(self.fc1(x)) x = F.relu(self.fc2(x)) x = self.fc3(x) return x ``` 2. 定义经验回放缓存:包含多条经验,每条经验包含一个状态、一个动作、一个奖励和下一个状态。 ```python import random class ReplayBuffer(object): def __init__(self, max_size): self.buffer = [] self.max_size = max_size def push(self, state, action, reward, next_state): if len(self.buffer) < self.max_size: self.buffer.append((state, action, reward, next_state)) else: self.buffer.pop(0) self.buffer.append((state, action, reward, next_state)) def sample(self, batch_size): state, action, reward, next_state = zip(*random.sample(self.buffer, batch_size)) return torch.stack(state), torch.tensor(action), torch.tensor(reward), torch.stack(next_state) ``` 3. 定义DQN算法:使用PyTorch定义DQN算法,包含训练和预测两个方法。 ```python class DQN(object): def __init__(self, state_dim, action_dim, gamma, epsilon, lr): self.qnet = QNet(state_dim, action_dim) self.target_qnet = QNet(state_dim, action_dim) self.gamma = gamma self.epsilon = epsilon self.lr = lr self.optimizer = torch.optim.Adam(self.qnet.parameters(), lr=self.lr) self.buffer = ReplayBuffer(100000) self.loss_fn = nn.MSELoss() def act(self, state): if random.random() < self.epsilon: return random.randint(0, action_dim - 1) else: with torch.no_grad(): q_values = self.qnet(state) return q_values.argmax().item() def train(self, batch_size): state, action, reward, next_state = self.buffer.sample(batch_size) q_values = self.qnet(state).gather(1, action.unsqueeze(1)).squeeze(1) target_q_values = self.target_qnet(next_state).max(1)[0].detach() expected_q_values = reward + self.gamma * target_q_values loss = self.loss_fn(q_values, expected_q_values) self.optimizer.zero_grad() loss.backward() self.optimizer.step() def update_target_qnet(self): self.target_qnet.load_state_dict(self.qnet.state_dict()) ``` 4. 训练模型:使用DQN算法进行训练,并更新目标Q网络。 ```python dqn = DQN(state_dim, action_dim, gamma=0.99, epsilon=1.0, lr=0.001) for episode in range(num_episodes): state = env.reset() total_reward = 0 for step in range(max_steps): action = dqn.act(torch.tensor(state, dtype=torch.float32)) next_state, reward, done, _ = env.step(action) dqn.buffer.push(torch.tensor(state, dtype=torch.float32), action, reward, torch.tensor(next_state, dtype=torch.float32)) state = next_state total_reward += reward if len(dqn.buffer.buffer) > batch_size: dqn.train(batch_size) if step % target_update == 0: dqn.update_target_qnet() if done: break dqn.epsilon = max(0.01, dqn.epsilon * 0.995) ``` 5. 测试模型:使用训练好的模型进行测试。 ```python total_reward = 0 state = env.reset() while True: action = dqn.act(torch.tensor(state, dtype=torch.float32)) next_state, reward, done, _ = env.step(action) state = next_state total_reward += reward if done: break print("Total reward: {}".format(total_reward)) ``` 以上就是在PyTorch中实现DQN强化学习的基本步骤。需要注意的是,DQN算法中还有很多细节和超参数需要调整,具体实现过程需要根据具体问题进行调整。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值