Cameron_Rin的博客

Nvidia AGX Xavier 配置CUDA，PyTorch，ONNX，TensorRT，将深度学习模型部署到小车上，测试三个计算框架的性能

multiprocess库提供了pool进程池，直接实现了多进程之间的通信，pool的使用场景也很多，这里不做介绍。但pool不能实现父子进程之间的通信，要想实现父子通信，需要自己用Queue写一个进程池，通过创建子队列和父队列来进行父子通信。这个用途就更广泛了，比如想要开多个子进程帮你处理一些数据或文件，最后把结果都收回到主进程，这也就是自己编写DataLoader，很多实际项目中需要自己写一个数据预处理代码，所以要自己重写DataLoader。

首先用torch.multiprocess的spawn库来自动开启多进程进行分布式训练，每个子进程自动对应一个GPU和一个DDP训练的模块；在do_train函数中初始化DDP配置，并将model放置到指定GPU上，dataset指定sampler=train_sampler，然后training epoch部分用train_sampler.set_epoch(i_epoch)给每个epoch sample dataset，最后destroy process group。

Background信息论project， 求LDPC的variable nodes和check nodes的degree，即λ和ρ，使得code rate最大， 抛开背景，就是个优化问题，形式如下：Analysis这个优化问题的constraint非常特别，首先以一个多项式带入另一个多项式的x，自己算是没法算的，次数非常高，因此要先用符号运算求出constraint的表达式；其次它在x的连续的区间内都要满足，引入了新的变量x，容易想到嵌套优化问题的思路，但直接scipy.optimize.

以.properties为后缀名的文件是在Java开发中非常常用的一种用于存储可变参数的文件类型，例如不同环境的ip地址、端口号、账号密码，又或者是模型的超参数，都可以保存在这类文件中，这样就不需要在代码中找到每个变量的位置并修改。同样，在Python开发中也可以编写一个读取这个文件类型（当然Java还有很多优秀的编程思想，非常值得借鉴），流程非常简单。 1. 编写读取.properties的文件： properties.py# 读取Properti...

在写好一个python脚本后，有时需要放到linux服务器上使用，而服务器很有可能是没有联网的，无法直接用pip install下载脚本所需的三方库。这种情况下需要用到离线安装pip包的方法。 1. 在有网环境下，将python脚本或整个python项目所需的三方库写入requirement.txt文本中，这里使用pipreqs三方库。# 安装pipreqs包pip install pipreqs# 在项目文件路径下pipreqs ./ # 如果gbk编码......