子燕若水的博客

GitHub - ckkelvinchan/BasicVSR_PlusPlus: Official repository of "BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation and Alignment"540P秒变4K超高清，细节不丢失，BasicVSR++视频超分算法到底有多惊艳？_哔哩哔哩_bilibilihttps://colab.research.google.com/drive/1I0kZMM0DQy

作者：演奇链接：https://www.zhihu.com/question/409371180/answer/1572218766来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。当笔记了。

高斯模糊后的图像中的每个像素的强度是由它周围的像素的加权平均得到的，这个权重就是高斯函数的值，它取决于像素之间的距离。通常会导致重要边缘信息的丢失，因为它们会模糊所有内容，无论是噪声还是边缘。为了解决这个问题，引入了。

总的来说，HRNet在保持高分辨率、多尺度融合和全卷积网络方面具有优势，但在处理不可见点方面仍有待改进。HRNet是一种用于关键点检测的网络架构，它具有一些优点和缺点。

这样通过神经网络可微分的运算,实现了不同iable的3D mesh渲染,可以将其接入网络进行端到端的训练。

这里使用相乘的方式组合光照色和纹理色。 根据这个模型,面朝光源的区域光照强度高,纹理色也相应增强。面背光源的区域光照弱,纹理色也被抑制。 这样通过光照和纹理的结合,可以合成出具有照明效果的面部颜色,而不仅仅是固定的纹理本身的颜色。 相乘方式可以近似实现不同光照方向下面部区域颜色的变化,提升渲染效果的真实感。

查看器的相机与场景的相机是分开的，但会采用场景的主视图相机的参数并从相同的姿势开始。如果场景没有相机，将提供一个合适的默认相机。：控制查看器行为的一组标志。在下面的注意事项中进行了说明。：渲染场景的一组标志。在下面的注意事项中进行了说明。**旋转场景：**按住鼠标左键并拖动光标。：剩下的任何关键字参数都将被解释为属于。这些标志集将被适当地更新。键和鼠标左键并拖动光标。：初始视窗的宽度和高度。**旋转视轴：**按住。

【代码】pyrender渲染实战【代码级】

进一步解释可逆变换的关键在于允许仅通过观察增强后的集合就可以推断原始集合的相等性或不等性。然而,如以0.25的概率进行0/90/180/270度随机旋转则不是可逆的,因为旋转后无法分辨不同方向。图片中的蓝色元素表示和变换相关的操作，而其他的元素表示标准的GAN训练过程，包括生成器G和判别器D¹²。图片中的橙色元素表示损失函数，而绿色的框表示正在训练的网络¹²。在图像分类任务中,使用旋转、噪声等数据增强方法训练图像分类器,可以提高分类器对这些保留语义的扭曲的不变性,这是图像分类器极为期望的一种质量。

每次上采样接Style Block。输入常量512 x 4 x 4。输入:512维的随机向量z。

因为YUV把亮度和色彩分开了，所以可以更容易地调整图像的亮度分布和色彩平衡⁴。而且，YUV也更接近人类感知颜色的方式，所以可以更好地保持图像的自然感。这个公式中，T_a 和 T_b 是两个图像的(亮度)通道，也就是它们的灰度值。T_a 是要被调整的图像，T_b 是target的图像。这个公式的作用是把 T_a 的亮度分布变得和 T_b 的(亮度)分布一样。的，它是一种把颜色分成亮度（Y）、色度（U）和饱和度（V）的方式。的，也就是把一个图像的颜色调整成另一个图像的颜色。是调整后的图像的(亮度)通道。

也可以把三个旋转矩阵合并为一个综合旋转矩阵:有时我们想要将平移和旋转结合起来，这样我们就可以在一次操作中同时进行两者，但是我们不能用3x3矩阵来做3D平移，只能用4x4矩阵来做，如下所定义：

构建拉普拉斯金字塔：拉普拉斯金字塔是通过创建一系列不同细节级别的图像来构建的。高斯金字塔是通过反复应用平滑滤波器（例如高斯滤波器）并对图像进行下采样来构建的。高斯金字塔的每一层代表不同比例的图像。重建混合图像：混合金字塔后，您可以通过上采样并将混合金字塔级别重新组合在一起来重建最终混合图像。从混合金字塔的最佳比例开始，迭代上采样并添加混合金字塔的下一层，直到达到原始图像大小。生成拉普拉斯金字塔：构建高斯金字塔后，可以通过获取高斯金字塔的每个级别与其上采样版本之间的差异来生成拉普拉斯金字塔。

颜色贴图通常存储RGB值,描述表面在特定光照下看到的颜色。它并不具有真实的物理意义,不能在光照变化的情况下正确重现表面颜色。反射率贴图:- 独立于光照,有真实物理意义- 参数量通常更大,计算复杂度高- 可以在任意光照下正确显示颜色。颜色贴图:- 依赖于特定光照,非物理意义- 简单,参数量小- 不能在光照变化下正确工作。两者结合:使用颜色贴图进行实时预览,使用反射率贴图进行离线最终渲染。颜色贴图:光照较为固定,要求不高时使用,减小计算量。反射率贴图:光照动态变化,要求高真实度时使用。

光度损失是指用网络预测的 3D 人脸渲染出一个合成图像，然后计算它和输入图像之间的像素差异。这个损失函数可以让网络学习到如何使合成图像和输入图像尽可能相似，从而提高重建的质量。为了解决这些问题，这一节提出了一种鲁棒的光度损失函数，它有两个特点：1) 它使用了一个 Huber 损失函数，而不是一个 L2 损失函数，来衡量像素差异。Huber 损失函数是一种平滑的绝对值函数，它对于较小的误差使用平方项，对于较大的误差使用线性项。肤色掩码是一个二值图像，它表示了输入图像中哪些区域是人脸肤色，哪些区域不是。

点积最大，表示光照最正对着肤色纹理，亮度最高；当两个向量垂直时，点积为零，表示光照没有影响到肤色纹理，亮度最低；当两个向量反向时，点积为负，表示光照和肤色纹理相反，亮度为零。所以，我们用 t_i 点乘。是一个颜色值，它是一个三维的向量，表示了这个顶点在没有光照的情况下的红、绿、蓝三种颜色的分量。也是一个三维的向量，表示了这个顶点上的光照强度和方向。它是由球形谐波的系数。组合而成的，其中 n_i 是这个顶点的法向量。就可以得到这个顶点的亮度。

基于StyleGAN的人脸图像编辑模块的目的是从单张输入图像生成多视角归一化的人脸图像，即消除光照、表情、姿态等变化，得到一个标准化的正面人脸图像。- 人脸UV纹理提取模块的目的是从归一化的人脸图像中提取出对应的UV纹理。生成器的输入是初步的UV纹理和“detected artifact masks ”，输出是校正后的UV纹理¹。图2展示了从一张野外人脸图像生成归一化的纹理UV图的流程，主要包含三个模块：基于StyleGAN的人脸图像编辑，人脸UV纹理提取，以及UV纹理校正和补全¹。

这个公式的含义是：变量 z 在时间 t1 的值，等于变量 z 在时间 t0 的值，加上从时间 t0 到时间 t1 之间变量 z 的变化量的积分。变量 z 在时间 t1 的概率密度的对数，等于变量 z 在时间 t0 的概率密度的对数，减去从时间 t0 到时间 t1 之间，函数 ϕ 对变量 z 的偏导数矩阵的迹的积分。¹ 如果 |det ∂ϕ/∂z| 大于 1，那么函数 ϕ 会使得 z 附近的区域扩大；如果 w 和 z 是通过一个可逆的函数 ϕ 相互转换的，即 w = ϕ(z) 和 z = ϕ -1 (w)，

1. 条件采样的目的是,给定一组属性条件,从GAN潜在空间中采样得到满足这些属性条件的点,生成相应的图像。6. 因为条件归一化流以attr为条件进行训练,所以可以实现自适应的潜在空间向量操作——给定attr,找到相应的w,生成满足条件的图像。该条件归一化流在GAN潜在空间中以属性特征为条件进行操作,实现属性条件采样和编辑这两个子问题的简单、高效且稳健的解决方案。这是其相比条件GAN的一大优势。4. 基于这个条件,条件归一化流可以实现:(1)属性条件采样:给定属性条件,找到满足其要求的潜在空间点;

【代码】CelebAMask-HQ face_parsing 类别标签。

GitHub - clpeng/Awesome-Face-Forgery-Generation-and-Detection: A curated list of articles and codes related to face forgery generation and detection.

原文链接：

adobe 家族电脑配置要求【图解】

对比 手部明显变得正常了，而且新生成的手部与原图融合的很完美。下面加载 SD2.0模型512-base-ema.ckpt。打开webui中img2img inpaint 功能。配置好参数后，点击生成。

相比于原本需要存储所有中间变量以供反向传播使用，使用了checkpoint的部分不存储中间变量而是在反向传播过程中重新计算这些中间变量。查了一下，PyTorch提供了一种更优雅的解决方式gradient checkpoint（查了一下应该是0.4.0之后引入的新功能），以计算时间换内存的方式，显著减小模型训练对GPU的占用。减小输入的大小，e.g.332 × \times× 332 × \times× 3 → \rightarrow→ 224 × \times× 224 × \times× 3。

为了克服这个问题，您应该找出可以进行插值的给定图像的新尺寸。有关每个插值的结果，

重叠度（IOU）:IOU定义了两个bounding box的重叠度，如下图所示：计算IoUA = [x1, y1, x2, y2]，B = [x1, y1, x2, y2]iw = min(A[2], B[2]) - max(A[0], B[0])if iw > 0: ih = min(A[3], B[3]) - max(A[1], B[1]) if ih > 0: A_area = (A[2] - A[0]) * (A[3] - A[1]) ......

重叠度（IOU）IOU定义了两个boundingbox的重叠度，如下图所示计算IoU。

FaceShifter.ipynb

步骤：先将图像转为灰度，然后进行Canny边缘检测，然后找到轮廓，得到二值边缘图像。轮廓由一系列点组成。要获得轮廓的最小外矩形，必须首先获得轮廓的近似多边形。使用 Douglas-Puck 细化 (DP) 算法和 Douglas-Puck 细化算法。它是一种将曲线近似为一系列点并减少点数的算法。该算法的细化过程如下：1）虚构连接一条直线到曲线的首末点，求出曲线上各点与直线的距离，求出最大距离值dmax。将 Dmax 与预先给定的阈值 D 进行比较：2) 如果 Dmax < D，.

理论如上图,左边a,b固定可以确定一条直线,线是() 组成的集合.下面从xy空间变化到ab空间,此时给定一个绿点()可以确定一条绿色的线,给定一个蓝点()可以确定一条蓝色的线,绿线和蓝线相交的点就是左边确定红线的参数a和b.此时xy空间里红线上的其他点,变换到ab空间必过蓝绿线相交点.下面把ab换成rho和theta.rho = x cos (theta) + y sin (theta) 这里面rho是原点到直线的垂直距离，和theta是由这条垂直线和逆时针测量的水平轴形......

透视投影变换将场景（世界空间）中的三维点投影到图像（图像空间）中的二维点。假设我们正在绘制一个仅由三维线段组成的模型，任务是将三维位置（在标准坐标系中表示为（x，y，z）坐标映射到图像中的坐标，以像素为单位表示，这是一个复杂的问题，因为它取决于许多不同的东西，包括相机的位置和方向、投影类型、视野和图像的分辨率。对于所有复杂的转换，最好将其分解为几个简单转换的产物。大多数图形系统都是通过三种变换来实现的：#相机变换或眼睛变换（camera transformation），这是一种刚体变换，这个变换

网络结构优化object：This motivates restricting the PatchGAN discriminator to onlymodel high-frequency structure, relying on an L1 term toforce low-frequency correctness . In order to modelhigh-frequencies, it is sufficient to restrict our attent...

Rotation

Mean filter

AsymOFMM

参考链接:http://datahacker.rs/007-opencv-projects-image-segmentation-with-watershed-algorithm/https://zhuanlan.zhihu.com/p/67741538

转自:https://blog.youkuaiyun.com/hjxu2016/article/details/77833984原作者:不详矩形边框（Bounding Rectangle）是说，用一个最小的矩形，把找到的形状包起来。还有一个带旋转的矩形，面积会更小，效果见下图上代码首先介绍下cv2.boundingRect(cnt)这个函数这个函数很简单，cnt是一个轮廓点集合，也就是它的参数，可以通过cv2.findContours获取；返回四个值，分别是x，y，w，h；x，y是矩阵左

原文链接:https://blog.youkuaiyun.com/hello_yxc/article/details/60777923?spm=1001.2014.3001.5501原文作者:hello_yxc相关理论涉及泊松融合，详细请看如下论文：相关论文（需要翻墙）

原文链接 :https://blog.youkuaiyun.com/hello_yxc/article/details/60776315原文作者:hello_yxc最后处理完的感觉类似拿一块玻璃挡住mask所在的区域。alpha，beta两个参数共同决定消除高光后图像的模糊程度（范围0~2，0比较清晰，2比较模糊）。...