- 博客(89)
- 收藏
- 关注
RSS订阅原创 vscode调试pytorch的DistributedDataParallel代码
上面的写法会报错，因为–nproc_per_node=1,–use_env以及–cfg=cfgfile三个变量实际上都是传递给前面"program"所指示的launch.py文件的，而该文件并没有cfg参数，因此会报错。这里我们得到了两个结果，看目标文件的路径名，第二个launch.py应该在软件的解压缩包里，因此这里使用第一个，记下这个绝对路径。上面的写法是默认没有任何参数传递给train.py的，如果要给它传递参数，则一定要写到main.py之后，例如。program就是我们上一步复制的绝对路径。
2023-11-17 15:21:45
356
原创 前缀树-1
文章目录1. 数据结构2. 字符串插入前缀树3. word这个单词之前加入过几次4. 所有加入的字符串中，有几个是以pre作为前缀的。5. 删除word单词 前缀树需要特殊的数据结构： 节点不放值，值放在边上。 1. 数据结构 （可以用hash表的方式表示某个节点下级的路径有哪些） 2. 字符串插入前缀树 3. word这个单词之前加入过几次 4. 所有加入的字符串中，有几个是以pre作为前缀的。 5. 删除word单词 ...
2022-05-07 16:39:00
666
原创 排序模板-1
文章目录1. 快速排序：2. 冒泡排序3. 选择排序4. 堆排序5. 希尔排序6. 折半插入排序7.归并排序 1. 快速排序： 方法：快速排序就是先选中一个基准数，然后把比这个基准数小的数字移到基准数的左边，比基准数大的移到右边。 **特点**： - 快排的运行时间依赖于划分是否平衡，而平衡与否又依赖于用户划分的主元素。 - 如果划分是平衡的，那么快速排序算法性能与归并排序一样。 - 如果划分时不平衡的，那么快速排序的性能就接近于插入排序了 我们用来避免最差情况发生的方法如下： **求序列的中值*
2022-05-06 22:42:28
359
原创 图算法-1
图算法1. 深度优先遍历：栈+set2. 宽度优先遍历：队列+set3. 算法题3.1拓扑排序：3.2 最小生成树3.2.1 kruskal法3.2.2 Prim算法 1. 深度优先遍历：栈+set 2. 宽度优先遍历：队列+set 3. 算法题 3.1拓扑排序： 3.2 最小生成树 3.2.1 kruskal法 （保证连通时，权值和最小） 自己做法 2. 并查集法 3.2.2 Prim算法 适用范围：无向图 ...
2022-05-05 19:35:25
325
原创 Scanner使用
Scanner类简介 Scanner类主要用于扫描用户从控制台输入的文本，即当用户需要输入数据时，调用java.util包中的Scanner类，Scanner类能获取用户所输入的数据。 方法 一：next()、nextInt()、nextDouble()、nextFloat()是一类 即一定要读取到有效字符后才可以结束输入，对输入有效字符之前遇到的空格键、Tab键或Enter键等结束符，next()方法会自动将其去掉，只有在输入有效字符之后，next()方法才将其后输入的空格键、Tab键或Enter键等视为
2022-04-13 17:09:26
455
原创 Java异常try{}catch{}中的return机制
Java异常try{}catch{}中的return机制 在探索try{}catch{}finally{}中return的时机之前，我们先根据return的位置，定义一下return的类型。 private static String test() { String str = "start"; try { return str = "try ruturn"; //这里定义为正常return } catch (Exception e) { return str = "catch rutur
2022-04-13 13:48:30
2769
1
原创 为什么序列化
把类对象，在内存中按照一定的格式整合起来，拼成二进制串的过程就是序列化。 按一定格式：保证序列化后再取用可以知道各个字段的意思。 整合起来：对象在内存中可能是分散存储的 拼成二进制串：电脑中的数据都是二进制串。 序列化只是个抽象概念，具体实现要看实际情况。有时候序列化的实现就是将实例的内存直接发出去。不过这样做的时候需要被序列化的类满足POD，还不能有padding。 POD就保证了数据是紧密的，不会包含着运行相关的数据，例如指针（有指针的话，数据是分散在内存中存储的）（保存指针信息没有意义因为
2022-04-13 12:51:15
194
原创 YOLOv3笔记
YOLOv3笔记YOLO模型演进模型结构Darknet-53整体框架网络输出评价指标 YOLO模型演进 模型结构 Darknet-53 整体框架 网络输出 评价指标 AP 一个类别P-R曲线围成的面积。 在P-R曲线的制作中，confidence阈值是变量，IOU阈值是常量。 确定一个IOU阈值，不断变化confidence阈值，获取相应的P和R值，再将P-R画成曲线。 AP就是P-R曲线与坐标围成的面积。 mAP 多个类别的AP的平均 mAP@0.5 IOU阈值设置为0.5时，的mAP mA
2021-09-03 17:05:42
243
原创 将所写的python项目打包放到服务器上，自带环境
将所写的python项目打包放到服务器上，自带环境准备项目打包库文件 准备项目 将项目写好 打包库文件 获取开发环境； pip freeze > requirements.txt 在开发环境中挑选需要的库； 在开发环境中找到指定库所在位置； anaconda3/envs/env_name/lib/python3.6/site-packages/ 将需要的库都拷贝到一个文件中； 在这个文件中放入项目代码； 项目代码运行时要将打包库的路径，放入环境变量中(需要在引用库函数之前引入环境变量)；
2021-09-01 17:26:19
827
原创 KG-网安
论文解读 Review on the Application of Knowledge Graph in Cyber Security Assessment 知识图谱在网络安全评估中的应用 出版： Kai Zhang and Jingju Liu.英国物理学会(IOP).2020 摘要：知识图可以结构化地描述客观世界中的概念、实体及其相互关系。将知识图谱应用到网络安全领域，可以更好地组织、管理和利用网络空间中的海量信息。本文总结了常见的网络安全评估模型和他们的缺点,讨论基于本体知识表示的研究进展,从而得出结
2021-01-24 18:16:03
1882
原创 panda读取中文xlsx文件问题
数据为中文内容，xlsx文件保存。 直接读取文件出错（Python报错：pandas.errors.ParserError: Error tokenizing data. C error: Expected 3……），将xlsx文件后缀保存为csv，仍出现格式问题，后**将xlsx文件另存为csv**解决此问题。 读取csv文件出现编码问题（UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xb3 in position 0: invalid sta.
2020-10-23 09:15:22
1537
1
原创 服务器配置远程jupyter notebook
首先要时刻注意权限问题，普通用户和root权限 不同用户因为权限问题，不同用户之间不能使用另一个用户的jupyter notebook会报OSError: [Errno 13] Permission denied: ‘/run/user/1000/jupyter’， [在我的普通用户下安装jupyter。 生成jupyter notebook配置文件（默认下没有） 在配置文件内修改可访问ip，密匙，禁止自动打开浏览器](https://www.jianshu.com/p/fff4a61dee7a) 远程打.
2020-10-22 22:21:01
228
原创 小样本学习
小样本学习 目的：学会不同物体的异同。 Support Set不是训练集 用一个大的训练集训练一个大模型，训练的目的不是让模型识别训练集里的大象老虎，而是让模型知道事务之间的异同。（可以用SUpport Set数据集，让模型判断Query是水塔，尽管训练集里面没有水獭这个类别。） Meta Learning(这个名字有些故能玄虚，可以把它看做Few-shot learning 小样本学习) Few-shot Learning is a kind of meta learning。 Meta learni
2020-08-15 19:38:29
3167
原创 一个发现问题解决问题的思路
一个发现问题解决问题的思路 有些开创性的事情，并没有现成的解决方案，我们首先得到的是一个大领域。 首先要读大量论文，有知识储备。 我们首先要做的是发现这个大领域里值得做的有意义的问题。 有了这个问题我们尝试寻找解决方案。 在设计解决方案时再思考模型的input和output，再去思考网络的具体结构。 最后去用代码实现这个解决方案。 ...
2020-08-14 12:10:35
625
原创 SVM
SVM运用的方法 间隔 对偶 核技巧 硬间隔 SVM的任务就是找到能够分割不同类别的超平面里最好的那个，这是相对感知机的优点。（最大间隔分类器） 就是让支持向量距离超平面最远。 因为标签y为1：-1所以可以去掉绝对值。 注意每一步中谁是变量谁是常量 因为对于一个平面来说，系数成比例缩放，所代表的平面一样，所以我们令r=1 所以上述问题化简为 最优化问题转化成最小化 最后硬间隔SVM变...
2020-08-11 21:40:23
195
原创 YOLOv3训练自己的数据
训练自己的数据需要准备两方面 可以利用YOLOv3进行实验. 配置文件 数据集 一:配置文件(要设置网络的形状) 因为类别个数不同了 二:数据集是包含6部分 1.Annotations 这个是你最原始的label数据,为xml格式,之后要用这个label数据生成适合接口的数据. 这部分是用LabelImg标注工具标注生成的,标注后的xml格式如下: <annotation> <folder>VOC2007</folder> <fi
2020-08-11 21:21:46
351
原创 Github
基本概念 仓库（Repository） 每个项目对应一个仓库。 收藏（star） 收藏项目，方便下次查看 复制克隆项目（Fork） 深度copy，独立存在。 发起请求（pull request） 把复制的修改发给原仓库，原仓库可以选择合并这些修改。 关注（Watch） 被关注的项目有变化会给你提醒 事务卡片（Issue） 讨论区 Github主页 仓库主页 个人主页 仓库管理 安装Git 官方教程 检验是否安装成功，如下则成功 git 工作流程 Git 初始化以及仓库创建和操作 2. 3
2020-08-01 18:48:24
160
原创 shell脚本下载
经过漫长的尝试终于学会了四行代码 ##在linux下运行 filename="coco2017labels.zip" fileid="1cXZR_ckHki6nddOmcysCuuJFM--T-Q6L" curl -c ./cookie -s -L "https://drive.google.com/uc?export=download&id=${fileid}" > /dev/null #https://drive.google.com/uc?export=download&id=$
2020-07-31 22:18:03
1923
原创 浏览器特性和安全策略
浏览器特性与安全策略 同源策略 客户端攻击主要来自javascript脚本。 沙盒框架 演示 跨域策略 cookie安全策略 可以让客户端的JavaScript脚本无法读取cookie的值。 内容安全策略 白名单制度 例如 ...
2020-07-17 11:26:47
262
原创 安装pytorch+cuda9.0
1.找好pytorch与cuda的对应关系.这个链接可以查对应cuda的安装包 2.找好pytorch与torchvision的对应关系 2.查好自己的GPU与驱动与CUDA和CUDNN的对应关系 3.找好对应CUDA的pytorch安装方法 4.当conda,pip安装较慢时,将安装包下载下来本地安装,对于linux ...
2020-07-15 16:27:18
5717
原创 网安-web与HTTP基础
web 万维网：http://baike.baidu.com/item/www/109924?fromtitle=%E4%B8%87%E7%BB%B4%E7%BD%91&fromid=215515&type=syn&sefr=enterbtn 网页：http://baike.baidu.com/item/%E7%BD%91%E9%A1%B5 浏览器的发展史：http://article.yeeyan.org/view/39879/240445 浏览器的渲染过程：http://cool
2020-07-13 17:29:40
254
原创 网安-HTML，Javascript基础
HTML基础 HTML基础教程 HTML测验 完成100个HTML实例 Javascript基础 学习教程 Javascript运行： 嵌入到HTML中 DOM 教程 BOM alert（） 让浏览器弹出警告。 confirm（）确定弹窗 prompt（） 提示弹框 这些提示信息可以作为漏洞 将cookie以弹窗的形式弹出。 ...
2020-07-13 15:58:14
286
原创 CenterLoss Softmax sigmoid
Center Loss 讲解地址： https://www.cnblogs.com/carlber/p/10811396.html https://blog.youkuaiyun.com/u014380165/article/details/76946339 论文链接：http://ydwen.github.io/papers/WenECCV16.pdf 代码链接：https://github.com/pangyupo/mxnet_center_loss 需要指出的是C是一个batch中，网络到达某一层对于一个i类的
2020-07-02 18:24:40
266
原创 conda下载问题
通常conda下载过慢，且没有断点续传。所以我们可以直接到conda官网下载函数库。 https://conda.anaconda.org/pytorch/linux-64/ 得到下载得到安装包后用 conda install -use-local 我的安装包地址 pytorch 有一个previous pytorch visions ，里面可以查看历史版本。 ...
2020-06-30 22:25:55
1021
原创 多版本Python共存时pip给指定版本的python安装package的方法
多版本Python共存时pip给指定版本的python安装package的方法 在linux安装了多版本python时（例如python2.6和2.7），pip安装的包不一定是用户想要的位置，此时可以用 -t 选项来指定位置. 例如目标位置是/usr/local/lib/python2.7/site-packages/ ，要安装xlrd 这个包，则： $ pip install -t /usr/local/lib/python2.7/site-packages/ xlrd 怎样省级linux里的pip h
2020-06-30 14:56:36
508
原创 开启windows自带linux功能
一.Win10开启权限-----设置完需重启电脑 1.到打开控制面板—程序和功能— 勾上linux 2. 设置—搜索"开发者"-----勾选开发者选项(可选) 二. 安装Ubuntu 打开win10应用商店-----搜索Ubuntu-----直接安装 三. 默认桌面没有快捷方式----如何找到应用 方式1: 我这个版本是可以直接在这里找到的(如下图:), 如果没有强迫症的话, 这样就可以了 四. 初次使用 这里需要耐心等待一会 首次运行,需要输入账号和密码, 成功后即可进入命令行操作.
2020-06-30 13:32:01
1039
原创 Pytorch网络-3
定义网络 建一个class 定义网络的层 定义网络的前向传播，反向传播会自动推导。 Dataloader 2. 优化器&损失函数 训练过程 model.train() 指明这个网络有梯度，要更新参数。 optimizer.zero_grad() 优化器清零。 output = model(data) 计算前传得到预测的输出。 loss=F.nall_loss(output, target) 计算损失。 loss.backward() 反向传播计算梯度，梯度
2020-06-29 13:28:54
2137
原创 Pytorch安装-2
安装流程 Ubuntu NVIDA 测试驱动有无安装成功。 安装cuda，测试有无成功。 将cuda添加到环境变量 安装cudnn
2020-06-29 10:56:28
167
原创 行人重识别-4
基于GAN的方法 ReID痛点，以及GAN方法对其的解决 常用的GAN方法 实例 1.CamStyle 解决不同相机拍的照片风格不同的问题。 会使网络对相机的风格比较的鲁棒。 2. PTGAN 用于解决不同场景下图片对结果的偏差。 使用语义分割，保持前景不变改变背景信息。 3. SPGAN 目标域可以不用标注 4. PNGAN 输入一个人图片和一个姿态，最后可以得到这个人在这个姿态下的生成图片，再将生成图片和原始图片计算度量距离。 训练方法：（Base Network A 和B是两个不同的
2020-06-28 21:11:37
238
原创 行人重识别-3
序列重识别 定义：用序列识别序列。 特点 案例 3.1 3.2 难点 案例 5.1 AMOC 空间子模块和运动子模块 5.2 DFGP softmin归一化 5.3 RQEN 遮挡问题 训过程 对每一个图像进行一下操作
2020-06-28 18:54:21
189
原创 行人重识别-2
代表算法 水平切块方法 图像水平切割，每一块进入一个CNN，将这些输出依次输入LSTM得到输出，对输出进行度量学习。 问题：姿态不对齐时，模型失效。 解决方法：AlignedReID 1.1 动态对齐算法 姿态不对齐造成的问题。 更加关注相似的区域（距离越小，梯度越大） 水平切块-PCB 水平切块-ICNN 训练时 测试时 水平切块-SCPNet 姿态信息算法 PIE SPindle Net PDC GLAD 总结 分割方法 2. 2. SPRelD
2020-06-28 10:32:44
333
1
原创 行人重识别-1
综述 系统 存在问题 及 指标 评价标准 rank-k CMC mAP 学习方法 最终效果（聚类） 外观相似的人会聚类到一起 表征学习 与 度量学习 训练网络需要一个损失函数，表征学习和度量学习就是由损失函数的不同而区分的。 表征学习：通过辅助手段来学习图像的相似度，而不是直接学习。 度量学习：通过网络直接学习出图像的相似度。 表征学习：具有分类损失和验证损失。 1.1 分类损失进行训练 1.2 接不同Fc层代表不同的属性以增强训练时的效果。 1.3在测试的时候要把Fc层
2020-06-26 21:32:20
319
原创 网络压缩
前端压缩 SquzeNet Xception ShuffleNET 知识蒸馏 后端压缩 低秩近似 SVD分解 减枝 其他方法 4.1 加快训练速度。 4.2 滤波器级别的删除。 量化 5.1 5.2
2020-06-26 12:45:04
208
原创 先验概率和后验概率
先验概率是由因求果，后验概率是由果求因。 假如堵车是结果，发生交通事故是引起堵车的原因 先验概率：P（堵车|发生交通事故） 后验概率：P（发生交通事故|堵车） 假如头痛是结果，脑残是可能的原因 先验概率：P（头痛|脑残） 后验概率：P（脑残|头痛） 利用贝叶斯公式可利用先验概率和后验概率互求 P(B|A)=P(A|B)P(B)/P(A) P(脑残|头痛)=P(头痛|脑残)P(脑残)/P(头痛) ...
2020-06-18 21:43:34
328
原创 HMM隐马尔科夫模型
Hidden Markov Model 频率派：统计机器学习（判别模型） 问题转化为优化问题。 （a）定义模型 （b）定义损失函数 （c）优化算法 贝叶斯派：概率图模型（生成模型） （a）做推断，求后验概率P(y|x)。 （b）求期望，方差。。。。 （c）演变为积分问题（利用数值计算的方式） HMM（一个模型，两个假设，三个
2020-06-17 21:13:17
285
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人