Internet 协议及应用

已于 2025-03-01 16:59:42 修改
阅读量876 收藏 29
点赞数 21
文章标签： 网络 计算机网络
于 2025-02-07 18:46:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qiongloucheng/article/details/145473230
版权

#理论基础复习起来还是有点枯燥的，不过理论知识是非常重要的，不然如果不懂得其中的原理，生搬硬套的话很快就会忘记的#

一、网络层协议

IPv4地址 （唯一识别网络中不同的主机 ）

1.IP地址的表示：
二进制：32b
十进制：点分十进制（ 每8位为1组，共4组，用"."隔开 ）

2.IP地址的分类

  1. 固定位：IP地址分为A、B、C、D、E五类，其中A、B、C类是常用的，D类用于多播，E类保留用于实验和未来使用。每一类IP地址的固定位不同，用于标识网络号和主机号的分界。

  2. 第一个十进制的范围：对于A、B、C类IP地址，第一个十进制数的范围分别是：

    • A类：1-126

    • B类：128-191

    • C类：192-223

  3. 网络号占____位，主机号占____位：

    • A类IP地址：网络号占8位，主机号占24位。

    • B类IP地址：网络号占16位，主机号占16位。

    • C类IP地址：网络号占24位，主机号占8位。

  4. 能容纳最多的主机个数：

    • A类IP地址：可以容纳 2^{24}−2 个主机（减去网络地址和广播地址）。

    • B类IP地址：可以容纳 2^{16}−2 个主机。

    • C类IP地址：可以容纳 2^^{}{8}−2 个主机。

 

3.特殊的IP地址

说明：特殊地址不能分配给普通主机使用

 子网技术 

子网技术是一种将一个较大的网络划分为多个较小的子网络的技术，主要用于优化网络管理、提高性能和增强安全性。

子网技术的定义

子网技术是将一个基于类别的网络（如A类、B类或C类网络）进一步划分为多个更小的子网。这些子网在逻辑上是独立的，但物理上仍然属于同一个主网络

 子网划分的原因

  • 优化网络管理：通过将网络划分为多个子网，可以更灵活地分配IP地址，便于对不同部门或区域进行管理。

  • 提高网络性能：减少广播域的大小，降低广播流量对网络的影响，从而提高网络的整体性能。

  • 增强安全性：子网之间通过路由器隔离，可以限制网络攻击的范围，增强网络的安全性

子网划分的方法

        两级结构变 三级结构

       借用n位来划分子网，则可以划分出2^{n}个子网；主机号剩余m位，则该子网最多容纳
2^{m}-2台主机
-2是什么呢？
是除了每个子网都有其 特定的网络地址和广播地址
假如每个子网有14台计算机，且子网掩码是255.255.255.240,那么，我们知道可设置的子网数量为
2^{4} = 16 > 14，而其中的两个用于网络地址和广播地址，则刚刚好等于16，而子网掩码规定
最低0.47元/天 解锁文章
ChatGPT 使用 拓展资料：强化学习DQN 单模型、双模型、DoubleDQN、DuelingDQN
段智华的博客
03-26 3684
ChatGPT 使用 拓展资料：强化学习DQN 单模型、双模型。
PyTorch实战：强化学习入门
AI天才研究院
02-18 201
1. 背景介绍 1.1 什么是强化学习 强化学习（Reinforcement Learning，简称RL）是一种机器学习方法，它通过让智能体（Agent）在环境（Environment）中采取行动，根据环境给出的奖励（Reward）或惩罚（Penalty）来学习最优策略。强化学习的目标是让智能体在长期
掌握PyTorch的策略梯度和Qlearning实现
AI天才研究院
01-25 678
1.背景介绍 策略梯度和Q-learning是两种非常重要的强化学习算法，它们在人工智能和机器学习领域具有广泛的应用。在本文中，我们将深入探讨PyTorch实现策略梯度和Q-learning的核心概念、算法原理、最佳实践以及实际应用场景。 1. 背景介绍 强化学习是一种机器学习方法，它涉及到一个智能体与环境之间的交互过程。智能体通过执行动作来影响环境，并从环境中接收反馈来学习如何取得最大化的...
DDQN的Pytorch实现.zip
05-19
使用Pytorch和多项式分布采样实现DDQN算法 DDQN和Nature DQN一样，也有一样的两个Q网络结构。在Nature DQN的基础上，通过解耦目标Q值动作的选择和目标Q值的计算这两步，来消除过度估计的问题。
强化学习与 PyTorch【1.0】
最新发布
qq_43416206的博客
04-05 909
其实，在本书的开头就给人工智能下定义是不合适的， 因为定义下得不好， 很可能会误导读者。但是， 对人工智能的定义没有基本的认识， 也是一件很麻烦的事情，因为很可能没过多久就会有读者开始纠结于“这种人工智能够不够智能”“这个东西配不配叫人工智能” 这样基本的而充满争议的问题了。需要注意的是，机器学习也好，人工智能也罢，这两个词汇本身就在无形中给人一种误导。它们让人们觉得， 机器是自己在学习的， 由人制造出来的这个“智能”的东西自己有分析、 思考、进化的能力。
强化学习：DQN（转载）
qq_30934313的博客
01-10 209
关于强化学习中DQN 主要内容： 强化学习是什么？ 主要表现的3个方面 ： 1 使用神经网络逼近函数 2 使用经验回放进行训练 3 设置单独的target DQN 计算Q值 详见http://www.broadview.com.cn/article/419382 ...
【强化学习】深度Q网络(DQN)求解倒立摆问题 + Pytorch代码实战
热门推荐
知不足而奋进，望远山而前行
10-22 2万+
Agent 必须在两个动作之间做出决定 - 向左或向右移动推车 - 以使连接到它的杆保持直立。 深度 Q\mathrm{Q}Q 网络算法是这样的，我们初始化两个网络 ：估计网络 QQQ 和 目标网络 Q^，Q^\hat{Q} ， \hat{Q}Q^​，Q^​ 就等于 QQQ ，一开始 目标网络 Q^\hat{Q}Q^​ 与原来的 QQQ 网络是一样的。在每一个回合中，我们用演员与环境交互，在每一次交互的过程中，都会得到一个 状态 sts_tst​ ，会采取某一个动作 at。a_{t 。}at。​ 怎么知道采
pytorch DQN实战
qq_45092173的博客
03-05 463
Deep Q-Network实战 示例一立杆子 示例一源自莫烦pytorch教学4.5, 原文链接：https://www.bilibili.com/video/av15997678?p=27 """ View more, visit my tutorial page: https://morvanzhou.github.io/tutorials/ My Youtube Channel: http...
强化学习算法：此存储库包含大多数基于pytorch实现的经典深度强化学习算法，包括-DQN，DDQN，Dualling Network，DDPG，SAC，A2C，PPO，TRPO。 （更多算法仍在进行中）
01-30
深度强化学习算法 该存储库将使用PyTorch实现经典的深度强化学习算法。 该存储库的目的是为人们提供清晰的代码，以供他们学习深度强化学习算法。 将来，将添加更多算法，并且还将保留现有代码。 当前实施 深度Q学习网络（DQN） 基本DQN 双Q网络 决斗网络架构 深度确定性策略梯度（DDPG） 优势演员评判（A2C） 信任区域策略梯度（TRPO） 近端政策优化（PPO） 使用克罗内克因素信任区域（ACKTR）的演员评论家 软演员评论（SAC） 更新信息 :triangular_flag: 2018年10月17日-在此更新中，大多数算法已得到改进，并添加了更多关于图的实验（DPPG除外）。 PPO现在支持atari游戏和mujoco-env 。 TRPO非常稳定，可以得到更好的结果！ :triangular_flag: 2019-07-15-在此更新中，不再需要为openai基准安装。 我在rl__utils模块中集成了有用的功能。 DDPG也重新实现，并支持更多结果。 自述文件已被修改。 代码结构也有微小的调整。 :triangular_flag: 201
【PyTorch深度强化学习】：精通DQN与DDPG算法（专家级攻略）
[【PyTorch深度强化学习】：精通DQN与DDPG算法（专家级攻略）](https://d3i71xaburhd42.cloudfront.net/e6a1640c03c50a55ef3e00a0592dbb0851fe33bb/3-Figure1-1.png) # 1. 深度强化学习基础 在深度强化学习（DRL）...
【PyTorch入门到精通】：深度学习神经网络构建必备技能
PyTorch是一个流行且功能丰富的深度学习框架，广泛应用于研究和工业界。本文首先介绍了PyTorch框架的基本概念和核心组件，然后详细探讨了其基础操作，包括张量的使用、自动求导机制，以及如何构建和管理深度学习模型...
DDQN_Mario:超级马里奥兄弟的Pytorch-DDQN实现
05-03
超级马里奥兄弟的Pytorch-DDQN实现 该项目和实现本文的 必需的 结果 参考 nailo2c / dqn-mario
Python-深度强化学习PyTorch实现集锦
08-11
This repository contains most of classic deep reinforcement learning algorithms, including - DQN, DDPG, A3C, PPO, TRPO. (More algorithms are still in progress)
【PyTorch强化学习优化】：梯度裁剪与熵正则化的终极策略
![【PyTorch强化学习优化】：梯度裁剪与熵正则化的终极策略]...PyTorch是一个流行的深度学习框架，其动态计算图和易用性使得它在强化学习领域有着
《边做边学深度强化学习：PyTorch程序设计实践》——6.2DDQN
longgegeo的博客
01-26 1303
重新实现函数update_target_q_function，在其中执行Brain类的函数update_target_q_network，在Environment类的试验（episode）结束时，执行Agent类的函数update_target_q_function。Dueling Network是一种在动作价值函数输出层之前增加一层，用于输出状态价值V(s)和优势函数A(s,a) = Q(s,a)-V(s)的方法，学习状态价值V(s)时，能独立于动作而学习状态价值V(s)，具有提高学习性能的优点。
基于Pytorch的强化学习(DQN)之 Multi-agent 训练架构
ZDDWLIG的博客
04-03 8744
目录 1. 引言 2. 训练架构 2.1 Fully decentralized 2.2 Fully centralized 2.3 Centralized&Decentralized 1. 引言 我们上一次讲到了Multi-agent的基本概念，现在来讲讲具体的训练方法，以Actor-Critic方法为例。 2. 训练架构 我们知道在Single-agent中的Actor-Critic方法中需要一个策略函数 作为Actor进行执行action，还有一个价值函数 进
DQN原理及PyTorch实现【强化学习】
新缸中之脑
12-02 723
欢迎来到我们的强化学习系列的第三部分。在上两篇博客中，我们介绍了强化学习中的一些基本概念，并研究了多臂bandit问题及其求解方法。这篇博客会有点长，因为我们将首先学习一些新概念，然后应用深度学习来构建深度 RL 代理。然后我们将训练该代理来平衡车杆。可以在访问这篇博客对应的代码库。
基于Pytorch的强化学习(DQN)之 Experience Replay
ZDDWLIG的博客
03-29 2166
目录 1. 引言 2. 经验回放算法 2. 优先经验回放 2.1 抽取方法改进 2.2 学习率修正 1. 引言 我们之前学过TD 算法，基本的TD算法的思路如下 观测到一个transition 计算TD target 计算TD error 梯度下降 我们发现一个transition在使用之后就会被丢弃了，我们不会在后面使用到它，这样的训练速度就非常慢：想象AI在打boss，但是一下就被秒了，它从中获取不到足够的信息，只能一遍又一遍地去刷boss，那又需要将前面的所以关..
《白话强化学习与PyTorch》学习笔记---第八章
cat_ziyan的博客
11-11 4335
《白话强化学习与PyTorch》学习笔记-第八章 第八章用了DQN及各种改进算法来训练Gym中的atari游戏—pong 首先先来看一下官方网站中的游戏介绍： 简单来说，训练目的是使得分最大化。在这个环境中的观察结果(observation)是RGB图像，大小为（210，160，3），在2~4（随机采样）帧内重复同一个动作。从环境中得到observation后，我们会先对数据进行预处理操作： d...
pytorch实现DQN强化学习
06-01
DQN（Deep Q-Network）是一种使用深度神经网络实现的强化学习算法，用于解决离散动作空间的问题。在PyTorch中实现DQN可以分为以下几个步骤： 1. 定义神经网络：使用PyTorch定义一个包含多个全连接层的神经网络，输入为状态空间的维度，输出为动作空间的维度。 ```python import torch.nn as nn import torch.nn.functional as F class QNet(nn.Module): def __init__(self, state_dim, action_dim): super(QNet, self).__init__() self.fc1 = nn.Linear(state_dim, 64) self.fc2 = nn.Linear(64, 64) self.fc3 = nn.Linear(64, action_dim) def forward(self, x): x = F.relu(self.fc1(x)) x = F.relu(self.fc2(x)) x = self.fc3(x) return x ``` 2. 定义经验回放缓存：包含多条经验，每条经验包含一个状态、一个动作、一个奖励和下一个状态。 ```python import random class ReplayBuffer(object): def __init__(self, max_size): self.buffer = [] self.max_size = max_size def push(self, state, action, reward, next_state): if len(self.buffer) < self.max_size: self.buffer.append((state, action, reward, next_state)) else: self.buffer.pop(0) self.buffer.append((state, action, reward, next_state)) def sample(self, batch_size): state, action, reward, next_state = zip(*random.sample(self.buffer, batch_size)) return torch.stack(state), torch.tensor(action), torch.tensor(reward), torch.stack(next_state) ``` 3. 定义DQN算法：使用PyTorch定义DQN算法，包含训练和预测两个方法。 ```python class DQN(object): def __init__(self, state_dim, action_dim, gamma, epsilon, lr): self.qnet = QNet(state_dim, action_dim) self.target_qnet = QNet(state_dim, action_dim) self.gamma = gamma self.epsilon = epsilon self.lr = lr self.optimizer = torch.optim.Adam(self.qnet.parameters(), lr=self.lr) self.buffer = ReplayBuffer(100000) self.loss_fn = nn.MSELoss() def act(self, state): if random.random() < self.epsilon: return random.randint(0, action_dim - 1) else: with torch.no_grad(): q_values = self.qnet(state) return q_values.argmax().item() def train(self, batch_size): state, action, reward, next_state = self.buffer.sample(batch_size) q_values = self.qnet(state).gather(1, action.unsqueeze(1)).squeeze(1) target_q_values = self.target_qnet(next_state).max(1)[0].detach() expected_q_values = reward + self.gamma * target_q_values loss = self.loss_fn(q_values, expected_q_values) self.optimizer.zero_grad() loss.backward() self.optimizer.step() def update_target_qnet(self): self.target_qnet.load_state_dict(self.qnet.state_dict()) ``` 4. 训练模型：使用DQN算法进行训练，并更新目标Q网络。 ```python dqn = DQN(state_dim, action_dim, gamma=0.99, epsilon=1.0, lr=0.001) for episode in range(num_episodes): state = env.reset() total_reward = 0 for step in range(max_steps): action = dqn.act(torch.tensor(state, dtype=torch.float32)) next_state, reward, done, _ = env.step(action) dqn.buffer.push(torch.tensor(state, dtype=torch.float32), action, reward, torch.tensor(next_state, dtype=torch.float32)) state = next_state total_reward += reward if len(dqn.buffer.buffer) > batch_size: dqn.train(batch_size) if step % target_update == 0: dqn.update_target_qnet() if done: break dqn.epsilon = max(0.01, dqn.epsilon * 0.995) ``` 5. 测试模型：使用训练好的模型进行测试。 ```python total_reward = 0 state = env.reset() while True: action = dqn.act(torch.tensor(state, dtype=torch.float32)) next_state, reward, done, _ = env.step(action) state = next_state total_reward += reward if done: break print("Total reward: {}".format(total_reward)) ``` 以上就是在PyTorch中实现DQN强化学习的基本步骤。需要注意的是，DQN算法中还有很多细节和超参数需要调整，具体实现过程需要根据具体问题进行调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值