<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Beryl的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Miss_yan</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Miss_yan]]></copyright><item><title><![CDATA[构建filter的技巧]]></title><link>https://blog.youkuaiyun.com/Miss_yan/article/details/138481743</link><guid>https://blog.youkuaiyun.com/Miss_yan/article/details/138481743</guid><author>Miss_yan</author><pubDate>Mon, 06 May 2024 08:43:28 +0800</pubDate><description><![CDATA[按照特定位置构建某种特殊的filter， 位置索引通过np.ix_(*o)给出。按照这种方式，可以进一步进行learnable filter的改造。]]></description><category></category></item><item><title><![CDATA[Multi-granularity Correspondence Learning from Long-term Noisy Videos--论文笔记]]></title><link>https://blog.youkuaiyun.com/Miss_yan/article/details/137956484</link><guid>https://blog.youkuaiyun.com/Miss_yan/article/details/137956484</guid><author>Miss_yan</author><pubDate>Fri, 19 Apr 2024 11:17:36 +0800</pubDate><description><![CDATA[是指在处理视频和文本数据时，学习如何从带有噪声的、不完全对齐的多模态数据中提取有用的信息。在视频语言预训练（Video-Language Pre-training, VLP）的场景中，噪声对应通常指的是视频片段和相应的文本描述之间的不对齐问题。这种不对齐可以是粗粒度的，比如视频片段和文本描述的整体不匹配，也可以是细粒度的，比如视频帧和文本中的单词之间的不精确对应。在视频和文本对齐的上下文中，使用最优传输距离（Optimal Transport, OT）来最小化视频片段和文本描述之间的距离，从而实现对齐。]]></description><category></category></item><item><title><![CDATA[数据集网站]]></title><link>https://blog.youkuaiyun.com/Miss_yan/article/details/133634337</link><guid>https://blog.youkuaiyun.com/Miss_yan/article/details/133634337</guid><author>Miss_yan</author><pubDate>Sat, 07 Oct 2023 10:41:40 +0800</pubDate><description><![CDATA[数据集市-免费数据资源共享网]]></description><category></category></item><item><title><![CDATA[Tensorflow--Tensor操作 包括 slice，分片等]]></title><link>https://blog.youkuaiyun.com/Miss_yan/article/details/128302666</link><guid>https://blog.youkuaiyun.com/Miss_yan/article/details/128302666</guid><author>Miss_yan</author><pubDate>Tue, 13 Dec 2022 15:38:53 +0800</pubDate><description><![CDATA[给出对应的index，以及对象input，使用tf.gather(input,index)取出对应的tensor。可以根据不同的需求构建index，获取不同shape的tensor，更多示例可参见上述链接。为Tensor指定非连续的部分分片，并提取相关特征值。使用到的函数为tf.gather()]]></description><category></category></item><item><title><![CDATA[CUDNN_STATUS_NOT_INITIALIZED报错的另一种可能]]></title><link>https://blog.youkuaiyun.com/Miss_yan/article/details/126378067</link><guid>https://blog.youkuaiyun.com/Miss_yan/article/details/126378067</guid><author>Miss_yan</author><pubDate>Wed, 17 Aug 2022 09:18:26 +0800</pubDate><description><![CDATA[CUDNN_STATUS_NOT_INITIALIZED报错的另一种可能]]></description><category></category></item><item><title><![CDATA[TensorFlow patch块划分（transpose and reshape）]]></title><link>https://blog.youkuaiyun.com/Miss_yan/article/details/123084316</link><guid>https://blog.youkuaiyun.com/Miss_yan/article/details/123084316</guid><author>Miss_yan</author><pubDate>Wed, 23 Feb 2022 10:32:32 +0800</pubDate><description><![CDATA[使用transformer处理图像数据，需要照特定格式对矩阵分块，并拉伸flatten，在完成最后的卷积后，需要重新将token的channel重新reshape成图像格式。类似下图，将输入首先分块，然后拉伸为NxC的vector，然后重新reshape为图像格式，这里使用一通道简要说明。





小代码


def reshape():
    h = 6
    a = tf.random_uniform([h,h],maxval=40,dtype=tf.int32)
    b = tf.resh.]]></description><category></category></item><item><title><![CDATA[复现TensorFlow版本MAE的shuffle和reshuffle]]></title><link>https://blog.youkuaiyun.com/Miss_yan/article/details/123076067</link><guid>https://blog.youkuaiyun.com/Miss_yan/article/details/123076067</guid><author>Miss_yan</author><pubDate>Tue, 22 Feb 2022 20:08:53 +0800</pubDate><description><![CDATA[在encoder的输入需要非masked token，然后decoder的输入需要把对应位置的token用0代替进去，只想解决这个接口，所以解决目标就是按指定位置先取出对应的token，省略中间处理步骤，在按照index位置把非masked token塞回原大小矩阵。

废了2个小时，菜狗终于解决了这个问题（丢）

写了个小测试代码


import tensorflow as tf
import numpy as np
#值矩阵
target_tensor = tf.constant([[7, 2], []]></description><category></category></item><item><title><![CDATA[Tensorflow broadcast 广播机制]]></title><link>https://blog.youkuaiyun.com/Miss_yan/article/details/120845340</link><guid>https://blog.youkuaiyun.com/Miss_yan/article/details/120845340</guid><author>Miss_yan</author><pubDate>Tue, 19 Oct 2021 14:20:10 +0800</pubDate><description><![CDATA[针对多维情况，需要保证维度一致性，举个栗子：



需要对保证除需广播的维度以外其余所有维度均相等即可

举个栗子


import tensorflow as tf
a = tf.random_normal([1,2,3])
b = tf.random_normal([1,2])
d = a*b
with tf.Session() as sess:
    print(sess.run(d))

当代码段如上时，报错维度不一致



原因，虽然a和b的前两个维度一致，但b缺少了第3个维度，无法广播

再来]]></description><category></category></item><item><title><![CDATA[Focal transformer 基于距离的感受野缩放过程详解]]></title><link>https://blog.youkuaiyun.com/Miss_yan/article/details/120722679</link><guid>https://blog.youkuaiyun.com/Miss_yan/article/details/120722679</guid><author>Miss_yan</author><pubDate>Tue, 12 Oct 2021 14:47:52 +0800</pubDate><description><![CDATA[论文：Focal Self-attention for Local-Global Interactions in Vision Transformers





用于解决Transformer中无差别计算token相似度导致的计算量过大问题。

文章提出，与人类视觉感知相似，越近距离的位置对当前处理的token的影响越大，距离越远则参考价值逐渐降低。根据这种想法，提出使用不同粒度的token获取key和value的值。具体方法如下：

整体结构图



一种多stage堆叠的结构，随stage增加，t..]]></description><category></category></item><item><title><![CDATA[Involution代码]]></title><link>https://blog.youkuaiyun.com/Miss_yan/article/details/118146808</link><guid>https://blog.youkuaiyun.com/Miss_yan/article/details/118146808</guid><author>Miss_yan</author><pubDate>Wed, 23 Jun 2021 10:50:31 +0800</pubDate><description><![CDATA[github原址https://github.com/d-li14/involution/blob/21c3158fcbb4ecda8ed4626fcae8b01be511a598/cls/mmcls/models/utils/involution_naive.py#L5

之后会有相关解读


class involution(nn.Module):

    def __init__(self,
                 channels,
                 kernel_siz]]></description><category></category></item><item><title><![CDATA[tensorflow tf.nn.max_pool_with_argmax返回最大池化对应索引值]]></title><link>https://blog.youkuaiyun.com/Miss_yan/article/details/115762438</link><guid>https://blog.youkuaiyun.com/Miss_yan/article/details/115762438</guid><author>Miss_yan</author><pubDate>Fri, 16 Apr 2021 15:27:18 +0800</pubDate><description><![CDATA[在看Segnet的时候发现使用了带有索引的最大池化（max_pool)，在tensorflow的实现中，对应的函数为tf.nn.max_pool_with_argmax()，其返回值为所取最大值位置的索引，但采用了一种指数的计算方式进行表示

这里为官方注释


The indices in `argmax` are flattened, so that a maximum value at position
  `[b, y, x, c]` becomes flattened index
  `((b *]]></description><category></category></item><item><title><![CDATA[相机成像投影计算]]></title><link>https://blog.youkuaiyun.com/Miss_yan/article/details/114248944</link><guid>https://blog.youkuaiyun.com/Miss_yan/article/details/114248944</guid><author>Miss_yan</author><pubDate>Mon, 01 Mar 2021 09:48:21 +0800</pubDate><description><![CDATA[转自https://www.cnblogs.com/houkai/p/6660272.html

很详细，加入了一些自己的批注

介绍基本的图形变换，仿射变换和投影变换的内容和关系，最后再简单讲解下RANSAC算法。这套内容常用于图片和图片的特征点匹配、图片融合等场景。

仿射变换和单应矩阵

首先明确：二者的应用场景相同，都是针对二维图片的变换。仿射变换affine是透视变换的子集，透视变换是通过homography单应矩阵实现的。

从数学的角度，homography即H阵，是一个秩为3的可逆矩阵：

]]></description><category></category></item><item><title><![CDATA[Transformer中的位置编码（PE，position）]]></title><link>https://blog.youkuaiyun.com/Miss_yan/article/details/113920544</link><guid>https://blog.youkuaiyun.com/Miss_yan/article/details/113920544</guid><author>Miss_yan</author><pubDate>Sun, 21 Feb 2021 17:12:32 +0800</pubDate><description><![CDATA[参考链接
https://blog.youkuaiyun.com/Flying_sfeng/article/details/100996524
https://blog.youkuaiyun.com/u012526436/article/details/86295971


transformer模型是当前大红大热的语言模型，今天要讲解的是transformer中的positional encoding(位置编码)。

我们知道，transformer模型的attention机制并没有包含位置信息，即一句话中词语在不同的位置时在.]]></description><category></category></item><item><title><![CDATA[对Tensor结果使用opencv2中的操作]]></title><link>https://blog.youkuaiyun.com/Miss_yan/article/details/112272436</link><guid>https://blog.youkuaiyun.com/Miss_yan/article/details/112272436</guid><author>Miss_yan</author><pubDate>Wed, 06 Jan 2021 14:38:38 +0800</pubDate><description><![CDATA[import cv2

首先导入OpenCV包


real = np.uint8(x * 255)
cv2.convertScaleAbs(cv2.Laplacian(real,3))

一个小例子，其中x是通过TensorFlow计算得到的tensor结果，通过np.uint8对格式进行转换，随后得到的结果可以进行OpenCV计算
...]]></description><category></category></item><item><title><![CDATA[tensorflow 常用函数整理]]></title><link>https://blog.youkuaiyun.com/Miss_yan/article/details/111661280</link><guid>https://blog.youkuaiyun.com/Miss_yan/article/details/111661280</guid><author>Miss_yan</author><pubDate>Fri, 25 Dec 2020 09:44:54 +0800</pubDate><description><![CDATA[tf.SparseTensor(indices, values, shape)
]]></description><category></category></item><item><title><![CDATA[tensorflow 添加官方代码--以leaky_relu为例]]></title><link>https://blog.youkuaiyun.com/Miss_yan/article/details/110918512</link><guid>https://blog.youkuaiyun.com/Miss_yan/article/details/110918512</guid><author>Miss_yan</author><pubDate>Wed, 09 Dec 2020 11:09:50 +0800</pubDate><description><![CDATA[首先打开github中tensorflow对应的项目https://github.com/tensorflow/tensorflow/blob/r1.9/tensorflow/python/ops/nn_ops.py

这里我们打开tensorflow下的python/ops/nn_ops.py文件



找到对应leaky_relu的代码段



这里我们只需要def定义后的代码内容

在本地主机中找到对应的文件

将该代码段粘贴



同时在nn.py文件中加入leaky_relu的描述，注意这个地方的]]></description><category></category></item><item><title><![CDATA[【tensorflow】重置/清除计算图]]></title><link>https://blog.youkuaiyun.com/Miss_yan/article/details/109303893</link><guid>https://blog.youkuaiyun.com/Miss_yan/article/details/109303893</guid><author>Miss_yan</author><pubDate>Tue, 27 Oct 2020 09:15:52 +0800</pubDate><description><![CDATA[转自：https://blog.youkuaiyun.com/u014636245/article/details/84073239，侵删

当在搭建网络查看计算图时，如果重复运行程序会导致重定义报错。为了可以在同一个线程或者交互式环境中（ipython/jupyter）重复调试计算图，就需要使用这个函数来重置计算图，随后修改计算图再次运行。


#重置计算图，清理当前定义节点
import tensorflow as tf
tf.reset_default_graph()

#Your model defined b]]></description><category></category></item><item><title><![CDATA[Gumbel-Softmax Trick和Gumbel分布 附VAE讲解]]></title><link>https://blog.youkuaiyun.com/Miss_yan/article/details/109283034</link><guid>https://blog.youkuaiyun.com/Miss_yan/article/details/109283034</guid><author>Miss_yan</author><pubDate>Mon, 26 Oct 2020 09:08:30 +0800</pubDate><description><![CDATA[转自https://www.cnblogs.com/initial-h/p/9468974.html 写的非常好，思路清晰，顺带连VAE trick也讲了

之前看MADDPG论文的时候，作者提到在离散的信息交流环境中，使用了Gumbel-Softmax estimator。于是去搜了一下，发现该技巧应用甚广，如深度学习中的各种GAN、强化学习中的A2C和MADDPG算法等等。只要涉及在离散分布上运用重参数技巧时(re-parameterization)，都可以试试Gumbel-Softmax Trick。]]></description><category></category></item><item><title><![CDATA[ECCV2020论文-稀疏性表示-Neural Sparse Representation for Image Restoration翻译]]></title><link>https://blog.youkuaiyun.com/Miss_yan/article/details/109196988</link><guid>https://blog.youkuaiyun.com/Miss_yan/article/details/109196988</guid><author>Miss_yan</author><pubDate>Wed, 21 Oct 2020 11:02:42 +0800</pubDate><description><![CDATA[Neural Sparse Representation for Image Restoration

用于图像复原的神经稀疏表示



Abstract

在基于稀疏编码的图像恢复模型中，基于稀疏表示的鲁棒性和有效性，我们研究了深度网络中神经元的稀疏性。我们的方法在结构上对隐藏神经元施加稀疏约束。稀疏性约束有利于基于梯度的学习算法，并可用于各种网络的卷积层。通过仅在非零组件上运行，神经元的稀疏性使计算节省而不影响精度。同时，该方法可以在不增加计算成本的情况下提高模型的表示维数和模型容量。实验表明，对于图.]]></description><category></category></item><item><title><![CDATA[2019ICCV论文 Non-Local ConvLSTM for Video Compression Artifact Reductio]]></title><link>https://blog.youkuaiyun.com/Miss_yan/article/details/108883925</link><guid>https://blog.youkuaiyun.com/Miss_yan/article/details/108883925</guid><author>Miss_yan</author><pubDate>Wed, 30 Sep 2020 13:44:20 +0800</pubDate><description><![CDATA[2019CVPR Non-Local ConvLSTM for Video Compression Artifact Reduction

针对视频压缩伪影的非局部ConvLSTM

Abstract

视频压缩伪影减少的目的是从低质量的压缩视频中恢复高质量的视频。大多数现有的方法使用一个相邻帧或一对相邻帧(在目标帧之前和/或之后)来完成此任务。此外，由于整体质量较高的帧中可能含有质量较低的patch，而整体质量较低的帧中也可能存在质量较高的patch，因此，目前针对附近峰值质量帧(peak-quality]]></description><category></category></item></channel></rss>