weixin_45032769的博客

摘要我们证明，通过用简单的线性转换可以取代自注意力层，transformer编码器架构可以通过“混合”输入标记的线性转换来大幅提高速度，精度成本有限。这些线性变换，以及前馈层中简单的非线性层，足以在几个文本分类任务中建模语义关系。也许最令人惊讶的是，我们发现用标准的、非参数化的傅里叶变换替换transformer编码器中的自我注意层在GLUE基准上实现了92%的精度，但在GPU上运行速度快7倍，在TPU上快两倍。所得到的模型，我们命名为FNet，非常有效地扩展到长输入，与 the Long Range A

transformer:https://zhuanlan.zhihu.com/p/62397974https://zhuanlan.zhihu.com/p/44731789

1.CPU tensor转GPU tensor：cpu_imgs.cuda()12.GPU tensor 转CPU tensor：gpu_imgs.cpu()13.numpy转为CPU tensor：torch.from_numpy( imgs )14.CPU tensor转为numpy数据：cpu_imgs.numpy()15.note：GPU tensor不能直接转为numpy数组，必须先转到CPU tensor。6.如果tensor是标量的话，可以直接使用 item() 函数

IOU: https://www.jianshu.com/p/e3bf67cd4459https://blog.youkuaiyun.com/leonardohaig/article/details/103394369?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-bl

权重初始化对于训练神经网络至关重要，好的初始化权重可以有效的避免梯度消失等问题的发生。在pytorch的使用过程中有几种权重初始化的方法供大家参考。注意：第一种方法不推荐。尽量使用后两种方法。def weights_init(m): classname = m.__class__.__name__ if classname.find('Conv') != -1: m.weight.data.normal_(0.0, 0.02) elif classname.fi

paper： https://arxiv.org/pdf/1906.01004.pdfAbstract双线性池能够从数据中提取高阶信息，适合于细粒度的可视化理解和信息融合。具有大量参数的双线性模型虽然在各种应用中都很有效，但容易出现维数诅咒和计算困难的问题。**本文提出了一种新的基于低秩随机张量的双线性模型。其关键思想是将低秩张量分解和随机投影有效地结合起来，在保持模型代表性的同时减少参数的个...

https://www.cnblogs.com/jiyou/p/11272650.html

https://blog.youkuaiyun.com/CsdnWujinming/article/details/89331417

https://blog.youkuaiyun.com/ZZXin_/article/details/88078116https://blog.youkuaiyun.com/skywalker_123/article/details/88718588

https://blog.youkuaiyun.com/JasonSunJian/article/details/64440322最近很忙,一直在水博客,等搞明白kcf及文献,拿出一天时间,加以整理!

参考链接:https://www.cnblogs.com/wemo/p/10600454.htmlgGithub开源代码链接：https://github.com/nwojke/deep_sort.git1 准备工作下载deep sort代码文件下载MOT16数据集下载权重文件2 导入库文件进入pycharm ，open这个deep_sort-master文件夹再把下载好的MO...

在这里插入图片描述

2019年7月15日下午：代码理解deep_sort_app.py:我要是没猜错这是主函数！def gather_sequence_info(sequence_dir, detection_file):收集序列信息，如图像文件名，检测，基本事实(如果可用)。返回参数：sequence_dir: str到MOT Challenge序列目录的路径。detection_file:...