zsycode的博客

本文思考如何将Transformer的主体结构应用到图结构数据上。作者认为将Transformer应用到图上最关键问题是如何适合地将图的结构信息整合到模型之中。自注意力机制只计算了节点和其他节点的语义相似性，而没有考虑图上节点的结构信息和节点对之间的关系。作者采用了如下三种方式对结构信息进行编码Centrality Encoding中心性编码，用来衡量节点的重要性，通过节点的入度和出度来得到中心性编码​是基于入度和出度的可学习向量，如果是无向图，则出度等于入度。将..

前言本文是在Transformer的基础上进行的改进，首先作者提出Transformer在长时间序列预测中的三个局限性：自注意力的二次计算复杂度O(L2)O(L^2)O(L2)（L表示输入序列的长度）堆叠J层编码器（解码器）后会是内存使用量达到O(JL2)O(JL^2)O(JL2)，这限制了模型接收长序列输入的可伸缩性Transformer解码器中step-by-step推断流程，会导致在预测长输出时速度急剧下降Transformer既然是在Transformer的基础上，就先了解下Tran

GeoMAN: Multi-level Attention Networks for Geo-sensory Time Series Prediction问题提出文章指出，基于地理的时序预测，存在两个复杂的因素：动态时空关联性传感器之间的相关性，即空间相关性传感器自身的相关性，即与历史时间的相关性外部因素传感器的读数会受到许多外部因素影响，像天气、时间等。这些因素需要考虑。针对以上几点，作者提出了一个多级注意力网络（GeoMAN），该网络主要分为两个部分：多级注意力机制和外部因

Multi-Head Attention对于Q和K一般先将降维然后在计算注意力，然后将此操作重复多次(h次)最后将结果拼接即为多头注意力。这里假设降维的Q、K维度是n∗(d/h)n*(d/h)n∗(d/h)，点积后为n∗nn*nn∗n，也就是说要用一个2∗n∗(d/h)2*n*(d/h)2∗n∗(d/h)参数量去逼近一个n2n^2n2的参数量，然而2nd/h<<n22nd/h&l...

文章目录T-GCN早期研究本文贡献ST-GCN本文亮点网络结构时间模块输出层T-GCN早期研究早期的方法只考虑了交通状况在时间上的动态变换，忽略可空间之间的相互依赖。一些研究引入了卷积神经网络来对空间特征进行提取，但普通卷积局限于处理像图像这种欧几里德结构的数据，对于交通数据这种复杂的拓扑结构效果不是很好。本文贡献本文引入了最近比较火的gcn，结合GRU来分别提取交通数据的空间特征和时间...

轻量级网MobileNet_v1 2017ShuffleNet_v1 2017MobileNet_v2 2018CVPRShuffleNet_v2 2018ECCVMoblieNet_v3 2019ICCVSSD 2016ECCVYOLOv2 2017cvprFPN 2017cvprMask RCNN 2017 ICCVyolov3 2018cvprRefi...

torch.einsum(equation, *operands) → Tensor该函数提供了一种使用爱因斯坦求和约定来计算多线性表达式（即乘积和）的方法。Parameters:等式（string） - 该等式根据与操作数和结果的每个维度相关联的小写字母（索引）给出。左侧列出了操作数尺寸，以逗号分隔。每个张量维度应该有一个索引字母。右侧跟在-&gt;之后，并给出输出的索引...

图像前后端的数据交互及图像格式的转换（python、opencv）前言前端页面后台处理总结前言最近毕业答辩需要做个演示系统（图像去雨），要求将选择图片的去雨图片展示出来与原图进行对比，我决定用网页的形式做个演示系统。原先想着用java调用python脚本运行，但模型的输入和输出都是图片矩阵数据，不好操作，后来就直接用python的flask框架简单的实现了前后端交互。前端页面<p&g...

1 plt.imshow()显示单通道图片时，输入的数据要是二维数据，如（1，28，28）大小的数据要squeeze为（28，28）的数据才能显示，当然别忘了plt.show()2np数组冒号范围取值shape不变，且用法是[x:y,a:b]如a=np.array([[1,2],[3,4]])aOut[12]: array([[1, 2], [3, 4]]...

转载地址：https://zhuanlan.zhihu.com/p/33344222?utm_source=wechat_session&utm_medium=social先运行下面这些代码，来安装必要的库、执行授权。!apt-get install -y -qq software-properties-common python-software-properties modu...

本文参考：https://www.zhihu.com/question/43609045https://blog.youkuaiyun.com/isMarvellous/article/details/80087705转置卷积又称反卷积 直观理解就是卷积的反向操作，比如4*4的图片用3*3的卷积核卷积，s=1，p=0，得到2*2的大小图片，反卷积就是要使输入2*2的输出为4*...

原官网教程地址跨设备保存和加载模型保存在GPU上，在CPU上加载保存：torch.save(model.state_dict(), PATH)加载：device = torch.device('cpu')model = TheModelClass(*args, **kwargs)model.load_state_dict(torch.load(PATH, m...