- 博客(39)
- 收藏
- 关注
RSS订阅原创 你是否想过，让AI像人类一样协作竞争?——展望智能体协作新范式
智能体按贡献度排序，优先调整高贡献个体的策略，通过梯度反传修正其Q值函数，直到群体价值无法提升。本文将揭示一个革命性的理论框架——通过博弈论的三大理性视角重构多智能体强化学习（MARL），让智能体在个体与集体的博弈中找到最优平衡点。当其他智能体采取特定策略时，个体会穷举所有可能动作，计算每个动作的期望收益Q(s,a_i|a_-i)，最终选择使个体价值最大化的动作。这个框架体现着多智能体系统的"理性协作"——在博弈论内，博弈不是你死我活的战争，个体与集体的利益不是非此即彼的选择题，而是相互成就的协奏曲。
2025-02-08 00:14:09
321
原创 计算机网络（王道考研）笔记个人整理——第六章：应用层
通用顶级域名 com（公司、企业），net（提供信息），org（非营利性组织），gov（政府），int（国际组织），aero（航空传输企业），museum（博物馆），travel（旅游业）…比POP3协议复杂，当用户PC上的IMAP客户程序打开IMAP服务器邮箱时，用户可以看到邮箱的首部，若用户需要打开某个邮件，该邮件才上传到用户的计算机上。类别域名：ac（科研机构），com（工商金融企业），edu（教育），gov（政府），mil（中国官方机构），net（互联网服务），org（非营利性组织）
2024-04-13 14:16:30
1056
原创 计算机网络（王道考研）笔记个人整理——第五章：传输层
动态调整发送方的发送窗口大小，即接收窗口rwnd（接收方设置确认报文段的窗口字段来将rwnd通知给发送方），发送方的发送窗口取接收窗口rwnd和拥塞窗口cwnd的最小值。（发送缓存：准备发送的数据&已发送但尚未收到确认的数据、接收缓存：按序到达但尚未接收应用程序读取的数据&不按序到达的数据）紧急位URG：为1时标明此报文段中有紧急数据，是高优先级的数据，应尽快传送，不用再缓存里排队，配合紧急指针字段使用。2.服务端为该TCP连接分配缓存和变量，并向客户端返回确认报文段，允许连接，无应用层数据。
2024-04-13 14:12:42
956
原创 计算机网络（王道考研）笔记个人整理——第四章
3.组播（多播）：当网络中的某些用户需要特定数据时，组播数据发送者仅发送一次数据，借助组播路由协议为组播数据包建立组播分发树，被传递的数据到达距离用户端尽可能近的节点后才开始复制和分发，是一点对多点的传输方式。转发表由路由表得来，可以用软件实现，也可以用特殊硬件实现，转发表必须包含完成转发功能所必须的信息，在转发表的每一行必须包含从要到达的目的网络到输出端口和某些MAC地址信息的映射。对地址为x的相邻路由器发来的RIP报文，修改此报文中的所有项目，把”下一跳“字段中的地址改为x，并把所有”距离“字段+1。
2024-04-13 14:11:02
1185
原创 计算机网络（王道考研）笔记个人整理——第三章
时传送基带信号的双绞线以太网，T表示采用双绞线，现10BASE-T采用的是无屏蔽双绞线，传输速率10Mb/s，每段双绞线最长100m，采用CSMA/CD介质访问控制。链路层扩展以太网：网桥根据MAC帧目的地址对帧转发和过滤，当网桥收到帧不向所有接口转发此帧，二是先检查此帧的目的MAC地址，然后再确定该帧转发到哪一个接口，或是把它丢弃。MAC功能包括帧的封装/卸妆，帧的寻址和识别，帧的接收与发送，链路管理，帧的差错控制。失序的帧将被缓存并返回确认帧，所有帧都被收到后按序交付上层，然后向前移动窗口。
2024-04-13 14:05:23
1381
原创 计算机网络（王道考研）笔记个人整理——第二章
码元指一个固定时长的信号波形（数字脉冲），代表不同离散数值的基本波形，是数字通信中数字信号的计量单位，这个时长内的信号称为k进制码元，而该时长称为码元宽度。4.由于码元的传输速率受奈氏准则制约，所以要提高数据的传输速率，就必须设法使每个码元携带更多比特的信息量，即采用多元制的调制方法。信号：数据的电气/电磁的表现，是数据再传输过程中的存在形式（数字信号：信息参数取值是离散的；功能（再生数字信号）：对信号进行再生和还原，对衰减的信号进行放大，保持与元数据相同，以增加信号传输的距离，延长网络长度。
2024-04-13 13:59:07
1294
原创 计算机网络（王道考研）笔记个人整理——第一章
使用校验点使会话在通信失效时从校验点/同步点继续恢复通信，实现数据同步（适用于传输大文件）功能：成帧（定义帧的开始和结束）；典型应用层服务：文件传输（FTP），电子邮件（SMTP），万维网（HTTP），也即www。功能：可靠传输（类似于qq传输文件）、不可靠传输（类似于qq离线文件，发信息）；下层向上层服务，每一层次有特定的协议和功能，协议为功能服务，是打包和拆包的过程。透明传输：指不管所传数据是什么样的比特组合，都应该能够在链路上传送。功能：路由选择（最佳路径），流量控制，差错控制，拥塞控制。
2024-04-13 13:58:08
1194
原创 REINFORCE及进阶算法讲解笔记
总结估计VALUE-methods没有在理论上证明收敛，而policy-methods不需要估计value function。本算法总结了过去的算法，将过去算法作为特例看待，证明了即使是结合函数估计和实际采样的value梯度都可以无偏估计，证明了某种梯度迭代可以收敛到局部最优值。拓展：加入baseline，可以由任何方式得到，但不依赖于具体action和θ，可以减少variance具体计算时需要t从T开始，不断减小，累计梯度，最后更新θ和w；进一步改进：使用TD方法来估计Gt。
2024-04-11 13:46:11
1093
原创 Deep Deterministic Policy Gradient（DDPG）算法讲解笔记
Deep Deterministic Policy Gradient，基于actor-critic模型提出了一个有效的value based连续型空间的RL算法，引入了一些帮助训练稳定的技术。基础：DQN,Batchnormm,Discretize,微积分backgroundDQN改进的推广Policy based方法（TRPO）已经在action space取得突破传统discretize action space无法拓展到高维空间，阻碍了value based在连续型空间发展。
2024-04-11 13:44:31
1074
原创 前端移动端布局的俩种方式（单独制作移动端页面、响应式页面布局）
列嵌套最好row套row，可以自动消除父亲的padding，而且高度自动和父亲一样高。第一子盒子默认索引号为0，设置order为-1即可让该盒子成为第一个子盒子。align-content侧轴felx-wrap换行后可设置，单行下无效。变量命名规范：必须有@前缀，不包含特殊字符，不以数字开头，大小写敏感。align-items，align-content侧轴排列。例如：行（row）盒子内，每个盒子占三份，四个盒子共十二份。子元素根据主轴排列，设置主轴后剩下的即为侧轴。flex-direction主轴方向。
2024-04-11 13:41:02
969
原创 前端React笔记（尚硅谷）
ref回调函数如果以内联函数的方式定义，在节点更新过程中重新执行render，ref回调函数被执行俩次，第一次传入参数null（清空ref），第二次传入dom节点，定义成类的绑定函数可以避免更新时调用俩次的问题（不会清空ref）函数的柯里化：通过函数调用返回函数，实现多次接收参数最后统一处理的函数编码形式。2.如果A继承B类，且A类中写了构造器，则A类构造器中super必须调用。js语句是if（），for（），switch（）等等。3.类中所定义的方法都放在类的原型对象上，供实例使用。
2024-04-11 13:37:07
1326
原创 js-bom和dom笔记
文档页面内容完全加载完成会触发该事件调整窗口大小事件窗口大小发生变化则触发，常用window.innerWidth作响应式布局定时器(回调函数，事件)只调用一次的定时器重复调用的定时器定义全局变量var timer = null；同步和异步同步任务在主线程上执行，形成执行栈异步任务通过回调函数实现（包括普通事件：click，resize；资源加载：load，error；定时器），他们的相关回调函数会放在任务队列中先同步，再异步，同步任务重复获取异步任务并执行，这种机制为事件循环。
2024-04-11 13:32:03
982
原创 前端css笔记（pink老师）
css书写顺序自适应屏幕用了这个方法以后，如果希望页面内的盒子也适应屏幕大小，则使用以下方法，会根据父亲的宽高计算出该盒子的宽高margin和padding也可以这样用，padding可以撑开盒子，某些时候这样使用很方便。兼容性适配 浏览器私有前缀兼容老版本，新版本无需添加。li去除小点,a去除下划线,去除input聚焦时的默认框元素的显示模式（块级，行内，行内块）表单域form点击后可跳转到index.html并传递锚点链接 name=输入内容location对象的search可获得?
2024-04-11 13:11:44
1013
原创 一些优雅的算法（c++）
链式前向星实现：设置三个数组，一个数组h用来存节点，一个数组e用来存值，一个数组ne用来存下一个节点。我们需要设置索引idx来实现ne的查找，不然没法链接起来。
2024-04-11 12:52:46
2236
1
原创 mininet的相关笔记
进程虚拟化网络仿真工具，可以创建一个含有主机、交换机、控制器和链路的虚拟网络，其交换机支持openflow，具有高度灵活的自定义软件定义网络。功能和应用为openFlow应用程序提供一个简单、便宜的网络测试平台。启用复杂的拓扑测试，无需连接物理网络。具有拓扑感知和OpenFlow感知的CLI，用于调试或运行网络范围的测试。支持任意自定义拓扑，主机数可达4096，并包括一组基本的参数化拓扑提供用于网络创建和实验的可扩展Python API优点。
2024-04-11 12:29:30
697
原创 深度强化学习路由优化、流量工程有关论文笔记
过程：给定网络中的一组预先生成的路径，流（源-目的）根据每个路由器路由表中安装的转发条目，沿着具有不同流量分割比的路径转发。当流量变化时，集中控制器将计算一个新的路由策略来适应流量动态，然后更新基于流的转发条目，以促进有意的路由策略和实现细粒度的流量控制。对于一个给定的TM，FlexEntry的任务是(1)决定需要多少关键条目（即K）实现接近最优性能路由更新开销，(2)选择一个好的组合K路由器目的地对作为关键条目，和(3)重新分配选定的流量容许下跳2平衡链路利用基于关键条目的网络。
2024-04-11 12:14:52
1253
1
原创 ryu、python安装、版本问题
usr/bin/python2.7 mininet位置python2到python3变化原因：在python2，‘/’ 只留下了整数部分，去掉了小数，是int型。而在 python3里，‘/’ 的结果是真正意义上的除法，结果是float型。所以便出现了该问题；‘//’才是python3中结果为整数的除法。/改成//3.路径问题-traffic.py799行,改成traffic.npy的路径。
2024-04-11 12:07:44
541
原创 强化学习-DQN改进及一些强化学习路由优化论文笔记
由于训练过程中有大量TDerror变更，以及新加入的transition，快速更新rank需要一直维持记录一个排好序的所有TD-error的序列，这样才能在o（logn）的时间内确定rank，否则每个新样本加入时更新rank都需要O（n）的时间。中心性的概念类似于描述一个顶点与其他顶点的关系的图中的度的概念，该链路与其他链路共享更多的转发路径，即具有较高的中心性。状态：状态是网络状态信息表示的吞吐量矩阵大小t×n，其中t表示时间步长的长度，d表示流类型的数量，和n表示总数的交通强度。
2024-04-11 12:03:38
1711
2
原创 使用vscode调试cmake项目无法单步调试、传参错误的问题
用launch.json传入五个参数，main函数接收到了10个，如果有传参个数不对就退出的代码，改掉即可。可能是vscode集成的debug工具有些问题。问题：按照配置博客配置好后，无法单步调试，且传入main函数的参数有误。原因：有可能是传参传入了相对路径，需要改为绝对路径。
2023-07-04 15:16:08
729
1
原创 aurora使用一段时间后伪代码出现红叉的问题
安装Aurora注册机，附百度网盘链接链接：https://pan.baidu.com/s/1aEC1a2Lro-AWdM4pYPVpqg。点击register即可注册，出现“success”表示注册成功，此时可以继续使用Aurora了。aurora需要输入register key。下载完成后，解压运行压缩包里的文件。可能需要关闭电脑病毒扫描。...
2022-08-19 01:34:39
1039
2
原创 L2-2 小字辈 天梯赛
本题给定一个庞大家族的家谱，要请你给出最小一辈的名单。输入格式：输入在第一行给出家族人口总数 N（不超过 100 000 的正整数） —— 简单起见，我们把家族成员从 1 到 N 编号。随后第二行给出 N 个编号，其中第 i 个编号对应第 i 位成员的父/母。家谱中辈分最高的老祖宗对应的父/母编号为 -1。一行中的数字间以空格分隔。输出格式：首先输出最小的辈分（老祖宗的辈分为 1，以下逐级递增）。然后在第二行按递增顺序输出辈分最小的成员的编号。编号间以一个空格分隔，行首尾不得有多余空格。输入样例：
2022-03-21 21:12:34
186
原创 ubuntu不小心删掉了/usr/bin下面的可执行程序python
16.04.1-Ubuntu相关usr 指 Unix System Resource/usr/bin下面的都是系统预装的可执行程序，会随着系统升级而改变。/usr/local/bin目录是给用户放置自己的可执行程序的地方，推荐放在这里，不会被系统升级而覆盖同名文件。/usr/local/bin一般优先于/usr/bin问腿sudo rm /usr/bin/python # 执行了这个即删掉了连接的快捷方式解决办法which python # 我使用的是conda虚拟环境，先查看pytho
2021-12-01 18:07:23
2971
原创 jupyter使用
pip install jupyter #下载jupyter notebook --allow-root #在指定文件夹启动复制出现的地址进入即可
2021-11-11 23:27:50
901
原创 github下载的RST文件如何打开阅读？
可以将 RST 文件理解为 Python 使用的 Markup 文件。直接在pycharm里打开文件夹进行阅读，只不过中文可能出现乱码。将文件后缀名改成md，但原有格式会变化在github直接预览安装包pip install sphinxpip install sphinx_rtd_theme在父文件路径下执行，doc表示该路径的子文件名，需替换成你需要 打开阅读 的文件名。sphinx-build -b html doc build 执行成功后会出现一个build
2021-11-07 11:16:57
3357
1
原创 2021年第十二届蓝桥杯C++B组省赛个人部分题解
A空间答案：67108864#include<bits/stdc++.h>using namespace std;//结果：67108864 int main(){ cout<<256*1024*1024/4; return 0;}B卡片答案：3181#include<bits/stdc++.h>using namespace std;//答案：3181 int use[20]={2021,2021,2021,2021,2021,2021,202
2021-04-25 11:33:01
1459
原创 加减乘 计蒜客 深度优先搜索
请对于下面式子进行填空，填入加减乘，使这个表达式成立。请输出一共有多少种方案可以使得表达式成立。思路：若第一个空填+，则下一步分别有加减乘三种填法。本题容易忽略乘法的优先级问题，需要对乘号特殊处理。#include<cstdio>#include<iostream>using namespace std;int ans;int deal(int a,char c,int b){ if(c=='+'){ return a+b; } if(c=='-'){
2021-04-07 17:39:30
158
原创 方程的解数 计蒜客 深度优先搜索
方程的解数 计蒜客 深度优先搜索蒜头君在求解一个n元的高次方程：其中：x1,x2,…,xn 是未知数，k1,k2,…,kn是系数，p1,p2,…,pn是指数。方程中所有数都一定是整数。假设未知数 1≤xi≤M,i=1…n。你能帮蒜头君算出这个方程的整数解个数吗？输入格式第一行输入一个整数 n(1≤n≤4)。第二行输入一个整数 M(1≤M≤150)。第3行到第 n+2 行，每行输入两个整数，分别表示 ki(∣ki∣≤20)和 pi(1≤pi≤4)。两个整数之间用一个空格隔开。输出格式输出一
2021-04-03 20:47:34
357
原创 补全等式 计蒜客 深度优先搜索
补全等式 计蒜客 深度优先搜索下图中，每个方块代表 1…13 中的某一个数字，但不重复。例如：1×2+9×7=13×510×8-12×3=11×4只要有任意一个方块代表的数字不同，就算两种不同的方案。请你计算，一共有多少种不同的方案。思路：可以把它想象成经典的寻路问题，从第一个点连到第二个点，一直连到第12个点，满足上面俩式则计数。这里在清楚标记后不需要将当前位置的值清零，因为dfs退回时会给当前位置重新赋值。答案：122368#include<cstdio>#incl
2021-04-02 17:24:58
176
原创 计蒜客：矩阵求和 枚举
给你一个从 n×n 的矩阵，里面填充 1 到 n×n 。例如当 n 等于 3 的时候，填充的矩阵如下。1 2 34 5 67 8 9现在我们把矩阵中的每条边的中点连起来，这样形成了一个新的矩形，请你计算一下这个新的矩形的覆盖的数字的和。比如，n = 3n=3 的时候矩形覆盖的数字如下。 24 5 6 8那么当 n 等于 101 的时候，矩阵和是多少？思路：自己画一个图找规律。#include<iostream>using namespace std;int ma
2021-03-31 20:11:21
206
原创 计蒜客 找质数 枚举
一天蒜头君猜想，是不是所有的偶数（除了 22），都可以用两个质数相加得到呢？于是聪明的蒜头君就找你来验证了。输入格式第一行输入一个整数 tt 表示测试组数。接下来 tt 行，每行一个整数 nn。输出格式输出两个整数，因为答案可能有多个，所有要求输出的这两个整数是所有答案中字典序最小的。样例输入34820样例输出2 23 53 17思路是先用数组标记每一个质数，再循环找出质数。不知道为什么用cin，cout会运行超时，必须用printf…等我明白了再补上#include<
2021-03-26 22:24:43
231
原创 nginx监听转发解决axios跨域问题
简单易懂nginx监听转发解决axios请求接口api的跨域问题在前端部署过程中遇到了axios的跨域问题，摸索了很久最后才在学长帮助下整明白了一点。跨域问题可以后端解决，这里介绍前端解决的办法，方便部署。教程如下1.windows安装nginxhttps://nginx.org/en/download.html我安装的是stable version下的nginx/Windows-1.18.0 PGP安装后解压到软件工作区所在的文件夹2.修改配置我用的是vscode（其他编译软件也可
2021-03-25 09:12:02
2538
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人