- 博客(78)
- 资源 (9)
- 收藏
- 关注
RSS订阅
原创 本博客索引
No. 题目 时间 关键字 1 Enhancements of V2X Communication in Support of Cooperative Autonomous Driving 20-03-06 自动驾驶 V2X标准 2 Vehicle-to-Everything (v2x) Services Suppo...
2020-04-26 09:41:20
1057
原创 [代码解读]基于多代理RL的车联网频谱分享_Python实现
论文原文：Spectrum Sharing in Vehicular Networks Based on Multi-Agent Reinforcement Learning论文翻译 & 解读：[论文笔记]Spectrum Sharing in Vehicular Networks Based on Multi-Agent Reinforcement Learning代码地址：ht...
2020-04-18 11:15:29
12394
52
原创 【环境配置】虚拟机中配置C++环境
前言为实现 CSAPP 配套C++练习题，在虚拟机上配置c++环境准备一个Linux系统1 下载Linux发行版镜像选择最常见的Linux发行版Ubuntu，其在官网上可下载，我选择的版本号是 20.04.2，官网链接如下：https://ubuntu.com/download/esktop2 选择虚拟机软件个人经历有限，听说过的虚拟机软件只有两种：VMware 和 VirtualBox。本次首先使用VMware后安装系统过慢，安装后使用卡顿严重。试用VirtualBox后几小时便完成了安装系统
2021-03-15 14:45:56
5367
2
原创 [leetcode刷题]剑指 Offer 29. 顺时针打印矩阵
题目输入一个矩阵，按照从外向里以顺时针的顺序依次打印出每一个数字。示例 1：输入：matrix = [[1,2,3],[4,5,6],[7,8,9]]输出：[1,2,3,6,9,8,7,4,5]示例 2：输入：matrix = [[1,2,3,4],[5,6,7,8],[9,10,11,12]]输出：[1,2,3,4,8,12,11,10,9,5,6,7]限制：0 <= matrix.length <= 1000 <= matrix[i].leng
2021-03-07 10:28:37
509
原创 A Survey on Multi-Agent Reinforcement Learning Methods for Vehicular Networks
摘要在物联网（IoT）的飞速发展下，车辆可以被视为移动的智能体，它们可以进行通信，合作以及竞争资源和信息。 车辆需要学习策略并做出决策，以提高多智能体系统（MAS）应对不断变化的环境的能力。多智能体强化学习（MARL）被认为是在高度动态的车载MAS中寻找可靠解的学习框架之一。 在本文中，我们对与车辆网络相关的研究问题进行了调查，例如资源分配，数据卸载，缓存放置，超可靠的低延迟通信（URLLC）和高移动性管理。此外，我们展示了MARL的潜在应用，该技术可在车辆万物互联（V2X）场景中实现分布式和可扩展的决策
2021-03-04 12:21:16
1047
原创 [cpp项目]2048
当前时间：2021/3/1项目网址：https://www.nowcoder.com/project/index/8源码及教程（readme）：https://git.nowcoder.com/68/2048起步安装依赖# 依赖库- linux: apt-get install libncurses5-dev- Mac: brew install ncurses- Windows: 1. 安装编译器MinGW,https://sourceforge.net/projec...
2021-03-01 14:51:54
602
2
原创 A Survey on Multi-Agent Reinforcement Learning Methods for Vehicular Networks
摘要在物联网（IoT）的飞速发展下，车辆可以被视为移动的智能体，它们可以进行通信，合作以及竞争资源和信息。 车辆需要学习策略并做出决策，以提高多智能体系统（MAS）应对不断变化的环境的能力。多智能体强化学习（MARL）被认为是在高度动态的车载MAS中寻找可靠解的学习框架之一。 在本文中，我们对与车辆网络相关的研究问题进行了调查，例如资源分配，数据卸载，缓存放置，超可靠的低延迟通信（URLLC）和高移动性管理。此外，我们展示了MARL的潜在应用，该技术可在车辆万物互联（V2X）场景中实现分布式和可扩展的决
2020-11-28 00:55:27
1024
1
原创 [多智能体强化学习] 王树森YouTube课程笔记
前言近期在设计V2X资源分配任务下的状态空间和动作空间，可以说是一筹莫展，是自己菜，现在看来可能也是涉及到一些关于多智能体强化学习实现过程中过于细节的点，目前的知识储备还不够。因此打算用半周到一周的时间重电，希望之后能有进展。本文内容来自于友人LX所推荐的油管教程，链接如下：多智能体强化学习，一共两节课40min左右。教程废话不多干货不少，老师的声音还好听，推荐直接去看原教程。这里还要多一嘴，那就是对于强化学习来说，单主体和多主体的界限，在某种程度上来说是很模糊的，并不是场景中有多个主体需要..
2020-11-25 21:42:07
3135
7
原创 [强化学习] 我的场景中有多个主体，那是不是就一定要用多智能体强化学习？
我的场景中有多个主体，那是不是就一定要用多主体强化学习？sarl：Single Agent Reinforcement Learning, 单主体强化学习marl：Multi Agent Reinforcement Learning, 多主体强化学习先上结论：不是，使用 sarl 可以解决你所说的 “场景中存在多个主体” 的问题。示例空口无凭，下面用我一个场景来举例子说明此问题：考虑车联网的场景，有多个车，多个信道，多个车同时发送信息。我们的目标就是决定每个车使用哪个信.
2020-11-14 13:35:15
1169
原创 [强化学习] V2X 场景下 Agent 的构建
0.前言本文自用，整理RL中各要素的实现方式及承载函数。最终目的是清楚RL都需要哪些功能，端到端的算法要如何搭建，这些功能应放在哪个模块（函数）中实现目前我能想到的RL功能为：从 env 中获取 state ok 激活 NN 获取 action ok 根据 action、env 更新 NN 补1：由当前状态 s_t 和 action ，获取下一时刻的状态 s_(t+1) 补2：将上一状态、当前状态、奖励、动作存buffer ok 补3：从buffer中采样并更新DQN参数 ok
2020-11-03 19:24:05
2193
4
原创 [C/Cpp项目笔记] 流程式C语言项目笔记：cJSON源码解析
源码地址：https://sourceforge.net/projects/cjson/0.前言先修知识：Cpp or C语言。（博主本科学过Cpp，近期完成《Essential C++》阅读）简介：本项目名为cJSON，其中json是一种数据交换格式，开头的c表示此项目是由c语言进行编写项目的核心目标：通过 以一定规则编写字符串 或者 一系列c语言的语句，将 指定元素以结构体cJSON表示 并 构造多个cJSON结构体之间的联系，为了实现可视化，对cJSON的打印也是其重要内容收获：
2020-11-01 20:03:00
879
原创 [LTE] RRU BBU 和 前传(fronthaul)
RRU和BBU基站由三部分构成：天线，射频单元RRU，基带处理单元BBU。其中一个天线连接一个RRU，是确定的。BBU进行基带处理，通过RRU产生射频信号后由天线负责发送出去过去一个BBU连接多个RRU，装在一间房中，放在塔下；现在多个BBU放在一间房中，连接老多RRU，RRU放在塔上，对应的天线旁边。优势天线和RRU之间的馈线变短，减少了很多损耗 不用给BBU依次准备房子，省成本 BBU可以使用虚拟化简化管理前传BBU和RRU原本在一起的，现在不在了.
2020-09-13 22:10:27
2542
转载 [c++] queue和deque比较
1、queue可以看到是从队首弹出，先入先出并且queue只能从队首删除元素2、deque可以看到deque可以访问两端但是只能修改队头而deque可以访问两端并且可以在队首和队尾删除和插入元素
2020-09-11 10:26:00
1126
原创 [C++] STL 之 unordered_set
基本特性是一个集合：因此集合中是不存在重复成员的，当加入重复成员时视为无事 unorder：无序，暗示 unordered_set 类的底层实现为 Hash ，好处为使得搜索、插入、移除拥有常数时间使用[1]2.1.unordered_set构造std::unordered_set<std::string> c：初始化容器 std::unordered_set<std::string> c{ "aaa", "bbb", "ccc" }：初始化容器，并将"aaa",
2020-09-11 09:32:32
773
原创 【文献阅读4】Position-Based User-Centric Radio Resource Management in 5G UDN for URLLC Vehicular Commu
Position-based user-centric radio resource management in 5G UDN for ultra-reliable and low-latency vehicular communications（点击可见原文）论文要解决的问题场景：UUDN+车联网，城镇中的高速公路 待传数据：车辆协同感知信息的V2I上行传输 研究对象：RRM（无线资源管理） 资源：虚拟小区的构建和时频资源块的分配 优化目标：高可靠低时延考虑到协同感知信息生成的周期.
2020-08-26 14:33:43
707
2
原创 【文献阅读03】Deep Reinforcement Learning Based Resource Allocation for V2V Communications
Deep Reinforcement Learning Based Resource Allocation for V2V Communications（点击可见原文）p.s.此文19年发表，到20年8月被引199次论文要解决的问题单播和广播场景下，考虑V2V通信的资源分配，使用分布式方案，在无 global information 的前提下为 V2V链路 or 车辆 找到最优的子带和功率等级，该算法能满足V2V链路的延迟约束并最小化对 V2I 的干扰。使用深度强化学习解决，已开源并有哥们写
2020-08-26 14:32:56
4392
6
原创 [文献提炼] 车联网中资源分配的问题建模 又三篇
前言摘录和分析看过的论文中SYSTEM MODEL /PROBLEM FORMULATION 的部分，关注论文的关键词为 UUDN V2X RL。本文为第二期，第一期链接：https://blog.youkuaiyun.com/m0_37495408/article/details/107546431Model-Free Ultra Reliable Low Latency Communication (URLLC): a Deep Reinforcement Learning Framework..
2020-07-27 17:00:14
2591
原创 [文献提炼] 车联网中资源分配的问题建模 三篇
前言摘录和分析看过的论文中SYSTEM MODEL /PROBLEM FORMULATION 的部分，关注论文的关键词为 UUDN V2X RL。Spectrum Sharing in Vehicular Networks Based on Multi-Agent Reinforcement Learning本文是19年使用RL解决V2X资源分配问题的经典开源论文链路的表示：考虑蜂窝车联网如上，在单一基站覆盖下存在 M 个 V2I 和 K 个 V2V，传输高数据率的娱乐数据和高...
2020-07-26 15:09:10
6162
1
原创 [环境配置] Python tensorflow CUDA cuDNN版本对照表
本博文内容来自官网使用场景1.有了工程代码，其中制定了python版本，需要从零开始安装tensorflow-gpu，此时建议以Python -- tensorflow -- CUDA -- cuDNN 的版本依赖顺序进行安装2.跑通了一份代码，但是手欠把 tensorflow莫名升级了，不知道该安装哪个版本的tf注意和CUDA的版本对应，比如我用的 CUDA 是10.0，所以必须要用 1.13 以上版本的 tensorflow。这里要清楚你的CUDA版本并非是由你决定的，是由你的显
2020-07-20 22:16:22
3975
原创 【文献阅读02】Reinforcement Learning based Control of Imitative Policies for Near-Accident Driving
Reinforcement Learning based Control of Imitative Policies for Near-Accident Driving（点击可见原文）论文要解决的问题道路安全相关的高危场景中，根据场景中的细微变化，可能需要动作准则发生较大的改变。快速的动作准则的变更可能需要另一个准则来对其进行处理。因此，设置两种不同的驾驶模式(不同的驾驶模式体现对于效率和安全性的不同权衡)，将模式之间的转移作为优化的目标，由RL学习；模式内的具体行车动作由IL学习。.
2020-07-09 16:13:48
742
原创 【文献阅读01】Eco-Vehicular Edge Networks for Connected Transportation: A Distributed Multi-Agent Reinfor
Eco-Vehicular Edge Networks for Connected Transportation: A Distributed Multi-Agent Reinforcement Learning Approach（点击可见原文）论文要解决的问题用户中心式的虚拟小区 (VC, virtual cell) 中，考虑V2I通信，在保证可靠性、数据速率、用户公平性的前提下，通过资源分配最大化能效 (EE, energy-efficient) 。使用分布式多主体强化学习加以解决。.
2020-07-08 19:54:25
773
原创 [个人纪录]论文笔记不限期停更
我曾经听过一个笑话，说我们是怎么向别人学习的呢？我们就如同小偷一样到别人家里把除了厨房水槽之外的所有东西都搬走了——然后我们回过头去把厨房水槽也搬走了。我们就要用这样的精神去读一本书！--万维钢《用强力研读书》以下部分来自于知乎文章：据说，科研汪看文献的姿势都是同一款......，个人觉得十分受用，摘录如下，有需要请左转原文想要搞好科研，阅读文献资料、获取前人的经验是必不可少的。但是“经验”的核心是“没有经验”！看再多别人的经验，没有实际行动和努力，自己还是不会有所收获。虽然天.
2020-07-04 09:06:17
389
原创 [论文笔记]DECCO: Deep-Learning Enabled Coverage and Capacity Optimization for Massive MIMO Systems
序这是一篇来自IEEE ACCESS的paper（影响因子19年3.745），18年4月发表，到本博客的时间点被引了18次，值得一提的或许是这文的一作是一个IEEE的Fellow YANG YANG。摘要覆盖范围和系统容量的折衷及联合优化在大规模MIMO无线系统中是重要且有挑战性的。本文提出的方法名为GAUSS（Group Alignment of User Signal Strength），用来支持大规模MIMO系统的用户调度，为优化覆盖范围和系统容量（CCO, Coverage and
2020-07-03 16:41:26
1190
1
原创 [论文笔记]A Deep-Learning-Based Radio Resource Assignment Technique for 5G Ultra Dense Networks
序：这是一篇来自IEEE Network的期刊论文(影响力8.808)，18年11月发表，到20年7月已经被引了45次。摘要因为网络流量特征难以描述为适用于学习类算法的输入和输出数据集，因此将DL应用于网络流量控制目前仍不成熟。在UDN中，高流量需求、波束成形和MIMO技术的兴起都使得网络流量变的更加多变和复杂。因此对于5G网络运营商而言，以有效的方式进行无线电资源控制而不是采用传统的F/TDD使非常重要的。这是因为在基于波束成形和MIMO的UDN中，使用现存的动态TDD方法进行上行/下行链路配
2020-07-01 22:31:11
849
转载 [转载]Reinforcement Learning：Sarsa和Q-learning
Sarsa算法Sarsa的算法如下：Sarsa算法是on-policy方法，其原始策略和更新策略是一致的，而其更新策略和MC不一样的是其策略更新不需要采样一个完整的轨迹，在执行完一个动作后就可以更新其值函数。Q-learning算法Q-learning算法则是一个off-policy的方法，其原始策略和值函数更新策略不一致，同样的也不需要进行采样一个轨迹进行策略更新，和Sarsa算法不一样的是，Q-learning在更新值函数的时候使用的是贪心策略，而不是ϵϵ-greedy策略。..
2020-07-01 11:05:34
456
原创 【论文笔记】Applications of Deep Reinforcement Learning in Communications and Networking: A Survey
摘要本文综述了深度强化学习（DRL）在通信和网络中的应用。现代网络中的实体需要在网络环境不确定的情况下在本地进行决策，以使网络性能最大化。强化学习被有效地用于使网络实体在状态空间和行为空间较小的情况下，获得动作的最优选择。然而，在复杂的大规模网络中，状态空间和动作空间往往很大，强化学习可能无法在合理的时间内找到最优策略。因此，发展强化学习与深度学习相结合的DRL来克服这一不足。在本次调查中，我们首先提供了从基本概念到高级模型的DRL教程。然后，我们回顾了为解决通信和网络中的新问题而提出的DRL方法。这些
2020-06-30 21:26:41
3637
原创 [环境配置]给远端服务器安装screen -- 如何关闭pc后仍保持远端服务器程序继续运行
序使用远端服务器的时候，一般都是跑需要运行数小时甚至数天的大程序，在这种情况下，如果我们将连接服务器的PC关闭，那么远端服务器的进程也会中断。这时候就希望当我们在PC启动远端服务器的进程后，即便关闭PC，远端服务器的程序仍可正常运行，当我们第二天早上起来后打开PC，期望看到远端服务器运行的结果。这方面，使用 screen 可以实现。安装screen因为本人无sudo权限，因此网上一部分使用管理权限的连接方法就直接pass了，这里列出友人wx的一个方法。打开远端服务器的命令窗口 pip
2020-06-30 18:30:56
1697
转载 [转载]李宏毅RL网课笔记
李宏毅深度强化学习课程https://www.bilibili.com/video/av24724071李宏毅深度强化学习笔记（一）Outline概述强化学习，及policy-based、value-based的方法李宏毅深度强化学习笔记（二）Proximal Policy Optimization (PPO)episide、trajectory等术语，policy gradient的原理，on-policy和off-policyimportant sampling，PPO算法李宏毅深度.
2020-06-29 20:56:52
563
原创 [环境配置]给远端服务器配置tensorflow环境
前情提要个人需要跑一个基于Tensorflow的py代码，之前都是在PC上运行但是使用多主体的强化学习时，迭代到1600左右就不动了，考虑到实验室还有服务器资源，遂想将tf、anaconda、conda等环境配置到远端服务器上。在此记录目标是：1.在PC的pycharm上能查看远端服务器的资源并进行交互；2.能通过PC的pycharm，使用远端服务器的资源运行使用tensorflow-gpu的python代码。首先澄清一下SSH可以视作一个连接远端服务器的工具，平时在cmd中用ssh
2020-06-29 14:06:23
10602
原创 [论文笔记]Integrated Networking, Caching, and Computing for Connected Vehicles: A DRL Approach
目前大部分工作将网络、缓存、计算分立研究并优化，但本文将这三者进行联合优化，提出一个集成的动态管理架构。本文将此框架中的资源分配策略指定为一个联合优化问题，其综合考虑了网络、缓存、和计算的效用。对于系统的复杂性使用DRL的方法加以解决。结论及未来工作本文将网络、缓存、计算资源联合优化以提高车辆网络性能。基于SDN的可编程控制原理和ICN的缓存原理，我们提出一个集成的网络、缓存、计算资源的动态编排框架。通过深度强化学习方法加以解决，并给出了不同场景下算法的收敛性。未来将在该框架下考虑能效的提升。介
2020-06-12 10:37:22
1364
1
原创 [简要论文笔记]Data Uploading in Hybrid V2V/V2I Veh Networks: Modeling and Cooperative Strategy code;C
研究混合车辆网络中数据传输问题，主要是V2I通信，由V2V辅助。目标是优化资源利用率减少数据交付延迟。首先分析了存储-携带-转发机制下的车联网的容量和延迟，然后提出了一种分布式多源调度算法。总结研究了V2I/V2V完了过中双向传播的消息传递，对消息先传和后传的容量和延迟进行了建模。提出多源消息传递策略，以减少延迟。但是如何将其扩展为二维网络即超高密度的场景还需研究。介绍V2V和V2I作用很大，但单独应用效果不好，因此结合两者时未来发展趋势。混合V2V/I网络中，存-携-转发 机制很常用。
2020-05-11 20:12:48
946
原创 [论文笔记]Age of Information Aware Radio Resource Management in Veh Net: A Proactive DRL Perspective
本文针对曼哈顿V2V网络中长期性能，通过结合信息年龄的资源管理进行了优化。通过观察每个时隙的全局网络状态，RSU将为VUE对分配频带并调度包的传输。本文将随机决策过程建模为一个离散时间MDP。技术难题包括：交通信息到达的高移动性和时变性带来的最优控制问题。解法为，首先将原始MDP分解为一系列VUE对的MDP。对于VUE在局部网络状态空间中的部分可观测性和高维诅咒，通过基于LSTM和DQN的算法加以解决。利用该算法，RSU根据部分观测在每个调度时隙以分布式的方式进行最优频带分配和分组调度。介绍V.
2020-05-11 15:59:10
2597
2
原创 [论文笔记]Exploiting Moving Intelligence: Delay-Optimized Computation Offloading in Vehicular Fog Net
未来的汽车将具备更加丰富的资源来支持自动驾驶的应用，而无线通信技术将被用来建立连接。因此，车辆雾网（VeFNs）被提出，其通过任务卸载的方式实现计算资源的共享，并提供了广泛的雾应用。然而车辆的高机动性让任务卸载既要考虑通信又要考虑计算时延的需求。本文中首先回顾了VeFN中任务卸载的现状，然后讨论了移动性作为实时性计算的障碍外，还有提升延迟的可能。其次，我们将通过ML方法和编码计算作为解决何利用VeFN中高移动性的关键技术，通过实例研究展示了如何利用移动新来优化系统性能。结论本文首先通过最新的文献综述
2020-05-10 14:44:28
1250
翻译 [3GPP规范]V2X 感知方面的用例摘录
来自 3rd Generation Partnership Project; Technical Specification Group Services and System Aspects; Study on enhancement of 3GPP Support for 5G V2X Services (Release 15) TR22.886 V15 Dec. 2016 Automotive: sensor and state..
2020-05-09 14:36:17
1761
2
原创 [论文笔记]Combining V2I with V2V Communications for Service Continuity in Vehicular Networks
概要CODE;D
2020-05-05 10:12:48
3267
原创 [论文笔记]Three-Dimensional Resource Allocation in D2D-Based V2V Communication
D2D通信技术是3GPP R14中对于V2X的主要推动技术。在这种情况下，UE既可以直接与基础设施通信也可以通过中介节点连接基础设施，UE还可以直接与设备进行通讯，无论基础设施支持与否。由于车辆的快速移动，蜂窝UE与车载UE对服务质量的要求不同，而资源分配就是根据不同的QoS为UE分配合适的资源。本文介绍了共享上行资源的用户的UE的三种类型：两种车辆UE和手持移动电话类型的UE。根据三种类型UE的...
2020-05-02 21:53:24
2197
5
原创 [论文笔记]Trajectory Data Driven V2V/V2I Mode Switching and Bandwidth Allocation for Vehicle Networks
车辆的高机动性给车辆网络中高效可靠的通信带来挑战，其中的关键是如何实时处理大量的信道反馈信息以及如何更好地进行资源分配。本文提出一种利用轨迹数据的资源分配方法，其特点为减少CSI信息的反馈量并使V2VI协同工作。使用DNN和轨迹数据对V2V/I的模式进行训练。结论通过V2VI的智能切换和带宽分配，有效提升了车辆网络性能。与现有工作不同，每辆车的通信方式可以由BS自适应的调整。通过对车...
2020-05-02 11:22:26
1625
1
转载 3GPP资源使用、查找教程
本文首先简单介绍3GPP的组成（主要借鉴百度百科），接着介绍3GPP FTP，最后说说怎么在3GPP官网上下载想要的协议（主要借鉴参考文献[2]）。一 3GPP简介1.1 概念 3GPP，3rdGeneration Partnership Project，即第三代合作伙伴计划。之所以叫3GPP，不叫2GPP或者4GPP，是因为在1998年12月，多个电信标准组织签署了《第...
2020-04-20 10:45:12
2246
3
原创 [强化学习]易混知识勘误_from李宏毅P6——Imitation Learning 模仿式学习
本文以这篇文章为纲，以问答的形式对其进行补足。1.行为克隆中，‘专家只能进行有限的采样’是啥意思？首先要明白行为克隆的含义，那就是当agent处于和expert相同的环境时，他将copyexpert的动作，但是当agent处于和expert不同的环境时，他就不知道怎么做了，也就是说expert不会遍历所有可能的环境，也就是专家（对环境）的采样有限。2.有点没看明白Daraset Agg...
2020-04-15 15:47:37
324
原创 [强化学习]易混知识勘误_from李宏毅P5——Sparse Reward的解决方法（目标太难怎么办）
本文以这篇文章为纲，以问答的形式对其进行补足。1.什么叫reward的分布非常分散（sparse，这里其实翻译成稀疏更恰当）？是这样，agent的动作空间很大，但是只有极个别的动作可以获得reward，也就是说在对于最初的大部分动作，它的reward都是0，这样一来agent在最初的许多步可能是根本无法进行学习的。比如：你期望机器人用扳手起钉子，但是机器人最开始只会随机的乱动，到底要乱动到...
2020-04-15 14:21:33
511
22886-200.zip
2021-01-19
Applications of Deep Reinforcement Learning in Communications and Networking.pdf
2020-06-30
基于多代理强化学习的V2X资源分配 程序框图
2020-04-23
3GPP TR 36.885 V14 LTE-Based V2X Services; (Release 14).zip
2020-04-20
基于多代理强化学习的频谱分享.pdf
2020-04-17
Kinematic Information Aided User-Centric 5G Vehicular Networks.pdf
2020-03-19
Enhancement of v2x communication
2020-03-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人