- 博客(113)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 isaacgym 渲染黑屏
环境是ubuntu22服务器，python3.8，nvidia Driver Version: 515.65.01 CUDA Version: 11.7。，他俩分别长这个样子，一般是用来测试x11的显示是否建立。但是这两个软件都需要安装想要的软件，服务器上都没有安装，安装上之后，发现可以正常使用了。isaacgym安装完IsaacGym_Preview_4_Package.tar.gz之后，运行。我碰巧安装了两个软件之后，发现这个问题解决了。没有任何内容现实，但是终端还是正常输出信息。
2024-04-01 16:37:58
1931
5
原创 harmony os系统
使用同平台不同版本的程序的时候、使用跨平台的程序的时候或者使用多个需要不同环境的生产力工具的时候，我们就创建这样一个最简版本的docker，让它们彼此互补干扰的工作。因为实验室配的是Windows电脑，最近在搜索marginnote有没有windows的版本，不然好多功能相似的软件在使用不能信息同步是挺麻烦的。另外一方面呢，一些免费的云盘，又来的那么方便，以致于联通移动手机卡，都会送一个超大的云盘。各种各样的组合，因为使用人数的上升，就会被发掘出来组合的意义，也就会迭代式的向前走。
2024-02-01 23:30:50
558
原创 centos8上搭建latex服务
overleaf提供了在线的latex编辑器，而且还有丰富的模板，这两点给了他无可替代的地位，但是有一个缺点是无法免费的使用GitHub，即能记录历史过程；而且当内容变多之后，编译变得异常的慢。添加新的模块就要有更长的交互才能确定是否正确编写。
2023-09-15 16:28:05
229
原创 3D建模入坑记录——挑选3D建模软件
背景最近手痒，想搞一些小手工。盘点了一下，电路板什么的都有，工具也第一时间下单买了台锯和手钻。但是有些支架不总数能凑到合心意的样子。干脆痛下决心买个3D打印机。趁快递都延误在路上，上手学一下3D建模，搞一些自己喜欢的工件。软件挑选入坑先摆好姿势，逛了圈知乎，发现solidworks这一类专用的建模软件挺受大家推崇，顺带着一票简化版的软件，rhino之类的。就3D打印机和建模软件两个关键词，感觉高频的就有sketchUp，Rhino，zbruch收费版，sculptris免费版，blender等等等。
2021-07-29 18:55:24
936
翻译 验证集训练集切分
1.背景最近刚接了一个电池瑕疵检测的任务。标注完数据开始训练，训练到一半的时候，发现一个问题：现场拍摄的电池照片是先拍摄一张后，在翻转一下再次拍摄。这就需要分测试集、训练集的时候不能使用随机的方式来。因为此原因，学习一下常规的思考思路是怎么样的，避免再次犯同样的错误。2. 学习材料[How (and why) to create a good validation set（2017.11.03）][1]3.内容验证集、测试集的目的：验证集valid为了帮助选择模型和超参数。测试集test为了
2021-06-28 15:35:16
322
原创 增量计算海量数据协方差(pytorch)
背景异常检测中有一类方法是基于统计神经网络中特征的统计，需要计算均值和协方差，新的输入计算与此统计值的马氏距离来表示异常程度。统计需要样本，样本过多，或者样本分批次进行计算的时候，如何维护这两个统计值就有探究一下的必要了。有博客是将如何计算增量数据下的均值、方差的变化。所以这里只推一下协方差的增量数据下的变化。协方差的计算cov(X,Y)=∑i=1n(Xi−X‾)(Yi−Y‾)n−1cov(X,Y)=\sum_{i=1}^n \frac{(X_i- \overline X)(Y_i- \overl
2021-04-29 20:54:26
2791
2
原创 paddleDetection使用 & yolo
PaddleDetectionppyolo没有使用新的模块的情况下，大大提升了此系列的检测的精度，绝对是好的教学素材，准备攻克下 ????收集的yolo相关内容最近公众号上yolo相关内容较多，所以佛性收集了一些yolo相关的论文或者公众号推文1.3MB的超轻YOLO算法！全平台通用，准确率接近YOLOv3，速度快上45%丨开源Gaussian YOLOv3: An Accurate and Fast Object Detector Using Localization Uncertai
2020-09-28 10:41:41
448
原创 python&并行&并发&同步
背景最近做了一些要求效率的工作，用到了一些没接触过的或者较少接触的东西，把他们记录如下同步需求：做一个url和id一一对应的项目，给定url，有唯一id与之对应。但是不能用md5生成的结果，原因是32位还是太长那只能用数据库，如果数据库没有保存，就分配一个新的id给他，这个id是递增的。数据库用的redis，跨服务器也可以方便使用id的获取是redis提供的锁，一是跨服务器使用；二是需要可靠，做到真正的锁的效果。然后递增的id又用了urlsafe_base64自行做了一个转化，得到一个字母
2020-09-16 16:49:05
247
原创 ES（Elastic Stack）和redis建立检索数据库
需求要建立一个千万级的数据库，来检索图片的特征并不断插入。（这段时间不断摸索踩了很多的坑，不过也算是最后终结了这个问题。简单记录下遇到的主要的问题）方法首先是es建立了一个生命周期30天的数据库，把数据的一些信息和id写进去，心里的数据查看有没有相似特征。如果有，就把指纹定位对方的指纹，如果没有就是自己的。特征是hash值。hash值可以分桶，因为大部分都不一样，用汉明距离卡了一个阈值，比如5或者10等等。那再检索的时候可以用这个阈值降低数据访问量的。具体是桶号设计为hash值中1有效的数
2020-07-15 12:38:53
1210
原创 DQN探索超参
ps：年前买了本深入浅出强化学习的书，也是囫囵的看了一遍，找不到合适的切入点，要么太难；要么太简单，感觉不入手也可。那百度的强化学习打卡营的好处就是有人帮你理清了一遍，再看感觉，‘嗯，我知道你’。话不多述，上主题，今天就是想办法找到一些模型的超参数，看看怎么会更好的结果优化框架：parl 的DQN工具一：optuna那就开始吧……...
2020-06-27 09:39:42
894
1
原创 算法上的创新点大搜罗
背景最近离职在找工作，开始以为介绍下做的工作，然后大家过来评估下，然后可以开心的继续炼丹以及顺便做做工程。然鹅，我发现好多人更关注“遇到了哪些难题，咋解决的”这种情况。被问的我一脸懵逼，自始至终没有太关注这些点，不管怎么说，还是总结一下好了。L2 loss的修改年龄回归，当时试验了许多loss后，发现l2比较好使。但是年龄的测试和训练是不一致的：测试的时候追求的是cs2（年龄差小于2认为是p...
2020-02-29 12:16:23
3980
原创 tx2使用说明
背景在T4上运行的工程迁移到tx2上，相同的工程，不同的环境，势必遇到几个坑，遂记之。出现的问题1. python版本可在cmake的时候通过超参数指定，cmake -DPYTHON_EXECUTABLE=/usr/bin/python ..2. openGL对glew等依赖包安装tx2的时候这些以及opencv都是打包安装了的，所以直接试试能不能用就可以，这一点和自行安装系统的...
2020-01-10 20:21:48
1489
原创 在外面结束循环体
需求背景核心函数相当于一个while循环，不停的运行。现在有个需求，是在启动此功能后，能从外部停止其运行。只奈学术不精，没能找到c++或c的原生实现；或者退而求其次存在某个设定固定内存地址，然后进行数据读写的方式；最后迫不得已，只能想到修改环境变量或者硬盘文件的方法。修改环境变量c++修改环境变量，使用getenv和setenv的方式。为此，还找了一篇不错的小博客。但是这种方式的实现结...
2019-11-21 15:35:26
276
原创 一文玩转pytorch转onnx-tensorRT ——（B）pytorch转onnx
说明pytorch转onnx全打通，就可以使用onnx的全产业链了。实际上，pytorch转onnx会遇到一些小问题，比如我遇到的upsample，找的资料蛮多的，但是归根结底有效的方法，是升级pytorch1.1到1.2，顺带提一句，更新到pytorch1.2，使用清华源加速到方法sudo pip install torch==1.2.0 torchvision==0.4.0 -f htt...
2019-11-15 13:58:27
3334
2
原创 一文玩转pytorch转onnx-tensorRT ——（C）测试onnx转tensorRT
说明前文讲到了如何在onnx注册自定义层，以便onnx parsing时找到所对应的层。在示例demo前，贴出遇到的问题问题: ONNX and tensorRT: ERROR: Network must have at least one output开始当作正常bug去处理的，找到了一些参考资料：1）既然没有输出，就标记一个输出; 2）input可能出现的问题后来发现上面的方式对...
2019-11-15 12:55:29
3793
2
原创 一文玩转pytorch转onnx-tensorRT ——（A）onnx转tensorRT
说明onnx和tensorRT是分开的，onnx像是prototxt和weight的打包在一起的东西。所以由onnx转到tensorRT下，还需要让onnx能搜索到（或parsing）所对应的层。caffeparsing有注册自定义层的函数，而onnx没有，下面会就onnx-tensorRT的源码详细说到。对于自定义的onnx层，需要修改后重新编译onnx-tensorRT，查到的资料也是这...
2019-11-15 11:40:05
3577
原创 一文玩转pytorch转onnx-tensorRT ——（3）测试自定义的tensorRT层
层已经写完了，如何测试呢。可以直接去看下面的代码代码说明：如何编译在开头写出来了，直接用就可以了，当然不是。首先是cub库，它是cuda函数的__share__函数的打包版。我的库放在了/home/user/package/cub-1.8.0下用到了common，是tensorRT的示例文件，我直接搬过来用的，如果路径不对，修改到自己的common路径下上面的common不是必须的...
2019-11-15 10:59:52
2334
1
原创 一文玩转pytorch转onnx-tensorRT ——（2）使用pluginV2分配的显存
说明上文《一文玩转pytorch转onnx-tensorRT ——（1）创建tensorRT层》说到getWorkspaceSize会分配一些显存，和普通的cuda函数不一致的地方也就在这。普通cuda函数需要自行分配显存，作为全局货局部变量。既然此函数分配了工作空间，且看如何调用这些显存吧。直接剧透吧，使用get_next_ptr函数。下面上新鲜热乎的代码，恬不知耻的保留了debug痕迹，...
2019-11-15 10:45:24
1324
1
原创 一文玩转pytorch转onnx-tensorRT ——（1）创建tensorRT层
基本说明对c++，tensorRT提供了一个纯虚类的接口，通过实现类内的虚函数，就可以在tensorRT中运行自定义层。注意nvinfer1::IPluginV2和nvinfer1::IPluginCreator配合使用；nvinfer1::IPlugin和nvinfer1::IPluginFactory。后者是前者的再一次封装，IPluginV2相对于IPlugin来说，基本上一样，多几个函...
2019-11-15 10:28:32
2648
2
原创 c++ 异步编程
背景需要提高工程运行效率，将里面多个环节进行同步处理。但是在网上找了几个demo之后，发现调用复杂的库（future等）和模块用到的库可能存在潜在的冲突，结果future好像和tensorRT冲突，thread好像和openGL冲突。存在一些问题。试来试去，还是最简单的thread比较好使，openGL的问题留给以后解决吧。代码//g++ -o mu test.cpp -std=c++11 ...
2019-10-10 13:23:17
3105
原创 c++调用python numpy编程
背景现在用c++重构了python工程，有一部分后处理不想再花时间重构了，所以直接拿过来调用。边搜资料边做的，做这个demo花了些时间，所以记下来以防忘记。资料找了很多的c++调用python的方法，首先可以肯定的有不止一种方式，直接使用python库、numpy arrayobject库来做；另外一种是使用boost/python boost/numpy的方式。后一种没有调通，是链接库的问...
2019-10-10 12:50:12
18792
4
原创 ubuntu跟目录满导致不能开机
进入特殊模式recovery或者emgency mode可以输入命令。所以首先想办法进入这种模式。切换模式的方法查找大容量大目录df -h可能出现Read-only file systemmount -o remount /扩展跟目录可以参考这个文章我想还是先删除比较方便使用less或more帮助在emergency mode下查看各个盘的容量...
2019-08-09 12:06:38
3821
原创 nividia retinanet使用笔记
deb & run conflicting2.7. Handle Conflicting Installation MethodsUnable to determine the device handle for GPU 0000:B3:00.0:https://blog.youkuaiyun.com/junmuzi/article/details/80707343update-grub...
2019-08-07 15:01:53
1327
原创 T4安装踩坑记录
T4不能被识别目前还在进行中，有一些结论不太准确，我尽量把所有可能的猜测都列下；有些猜测不用完全去确认也可以进行下去t4是计算卡，不能单独使用。猜测如下它需要配合其他有视频输出口的显卡使用（非充分必要条件——和其他有视频输出口的显卡配合时，可以正常使用；反过来是否可以使用主板的视频输出口也可以，还未验证）它需要有一个视频输出口，比如主板上的视频输出就可以（未验证）它只需要有一次验证...
2019-08-01 10:57:20
6289
2
原创 pytorch0.4添加自定义cuda层
1. cuda函数的基础类型c或者c++pytorch扩展工具函数时，c或者c++是分开的。基本的命令和g++有很多相似之处。所以，打算使用不同的扩展方式时，需要相应的源码是c或者c++的。不然会出很多乱七八糟的问题。另外，pytorch 的官方网站上能找到完全用c语言写forward和backward的例子，我这里是将核心函数由cuda和c来编写，数据流的处理还是python下写的方式来。...
2019-05-14 19:00:40
1161
原创 undefined reference to `nppiWarpAffine_8u_C1R'
npp：NVIDIA Performance Primitives其官方网站里有很多介绍，NPP是重要的一环产品线问题：undefined reference to `nppiWarpAffine_8u_C1R’诸如此类的问题，在题目中的链接里有一些介绍，上面有相应的库介绍。cuda编译的时候默认只有libcudart，其他的库需要显式的写出来，所以需要在make或cmake中显式添加库问题...
2019-05-07 14:54:22
1364
2
原创 ubuntu内核启动列表管理
目的有时候想去更换ubuntu的内核，可以通过修改启动项来管理，操作比较简单。没有交互界面或者调整默认项的时候，可以修改配置文件查看启动列表启动项的列表可以通过查看/boot/grub/grub.cfg（不要编辑这个文件）其中的menuentry和subentry可以比较清晰的表明他们的逻辑关系。编号是从0开始的。advanced option通常是1主目录和子目录编号是两个数字...
2019-04-28 11:31:16
1284
原创 dldt安装的问题
1. 背景openCV的dldt模块集成了一系列的神经网络的方法，可以直接部署到intel的硬件“神经棒”上去。鉴于OpenCV一贯的小而精的模型，我们看中它的模型和模型参数，想看看是不是也可以部署到其他框架下。2. dldt的模型下载：opencv的神经网络的一系列的模型可以再github开源项目open_model_zoo看到，根据readme可以下载相对应的模型（xml...
2019-03-27 11:25:28
1517
原创 冻结网络pytorch
冻结pytorch的网络有两种方式1. 冻结方式一：lr=0caffe反正是这么写的，具体方式如下model_params = [{'params': base_params, 'lr': 0}, {'params': new_params, 'lr': cfg.SOLVER.BASE_LR * cfg.SOLVER.LR_MULTIPLE}]...
2019-03-26 18:35:35
3081
原创 pycharm过滤
排除对象后缀.svn;.cvs;.idea;.DS_Store;.git;.hg;.hprof;.pyc;.so;.pyx;.c;.o;*.npz位置tools/Deployment/options/Exclude作用下载远程项目时可以排除部分对象
2019-03-26 07:34:56
942
原创 dldt安装的问题
1. 背景openCV的dldt模块集成了一系列的神经网络的方法，可以直接部署到intel的硬件“神经棒”上去。鉴于OpenCV一贯的小而精的模型，我们看中它的模型和模型参数，想看看是不是也可以部署到其他框架下。2. dldt的模型下载：opencv的神经网络的一系列的模型可以再github开源项目open_model_zoo看到，根据readme可以下载相对应的模型（xml）和模型参数...
2019-03-25 15:28:18
284
原创 人脸属性识别数据库和开源项目
数据库可用于研究的数据集关键点检测可用数据库：BioID（1000张 20个关键点），LFPW：（1132 张，29个关键点），AFLW（25993张,21个关键点），COFW：（1852张,每个人脸标定29个关键点），ICCV13/MVFW ：（2500张,68个关键点），OCFW： （3837张,68个关键点），300-W ：（600张,68个关键点）年龄：FG-NET：（82个人,共1...
2019-03-07 20:09:44
3141
原创 pytorch中的梯度更新
背景使用pytorch时，有一个yolov3的bug，我认为涉及到学习率的调整。收集到tencent yolov3和mxnet开源的yolov3，两个优化器中的学习率设置不一样，而且使用GPU数目和batch的更新也不太一样。据此，我简单的了解了下pytorch的权重梯度的更新策略，看看能否一窥究竟。对代码说明共三个实验，分布写在代码中的（一）（二）（三）三个地方。运行实验时注释掉其他两个...
2019-02-28 17:53:48
4042
1
原创 物体检测碎片知识
物体检测碎片归一化系数faster rcnnR-FCN结构的发展two stage的头部结构归一化系数faster rcnnL({pi},{ti})=1Ncls(Lcls(pi,pi∗))+λ1Nreg(Lreg(ti,ti∗)) L(\{p_{i}\},\{t_{i}\}) = \frac{_{1}}{N_{cls}}(L_{cls}(p_{i},p_{i}^{*})) + \lambda...
2019-01-27 09:26:36
233
原创 神经网络调参数总结
收集的神经网络不收敛参考参考这个外文链接主要是一些参数的设置，如何去逐项检查以及如何检查，当然还有为什么要检查包括：正则项、分析结果、预处理、数据归一化、网络内部错误变化可视化是一个重要的方式可以帮你理解网络的特征走向，如tensorboard及变种mxboard之类的可以很好的帮助分析权值的分布状态等。最近还出来tensorspace可能更多维的帮助分析我的经验有些预处...
2018-11-14 21:15:11
2369
MarekKowalski/DeepAlignmentNetwork模型参数1
2018-07-18
Dynamic Network Surgery for Efficient DNNs的makefile.config文件
2018-06-12
Dynamic Network Surgery for Efficient DNNs的makefile文件
2018-06-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人