EmoC的博客

官网有解释说这是针对训练和pretrain model类似数据时的trick, 因为我们重要的features都是被前面pyramid layers掌管，那这里要不要重置weight也都不重要，反正已经是optimal了。当然我这个反骨仔就想试试，我就不要freeze它，因为我训的内容比较垂直领域。如果我不用default model, 那不是训了个寂寞？先看看训练结果如何，然后再看看DFL实际上是怎么apply到这个训练的，毕竟我的数据不平衡，也需要对各个class weight做些手段。

OS:最近有看到这个paper还挺有意思，主要是最近开始在做3D的事情。里面的UVmapping我在逛画展的时候见过这个效果，不过是今天才真的了解到它的实际作用和一些原理。下面的文章展示效果是利用了UV将pattern放置于面部的，而不是最近很火的stablediffusion的生成。我的天，现在是2025年，写的第一篇blog,不知道等我老了，我还在不在干CV，还是那个时候，我已经被AI替代了，正在大街上摆摊卖硅基的小吃摊各种口味的机油…

这里有个后面流传很广的算法：COMA(counterfactualmultu-agent)文中有提到最简单的policygradient的形式是，公式如下：∇J(θ)=E[∑∇logπ(a|s)G它用MonteCarlosampling来estimateexpectedreturn，所以gradientestimates的variance会比较高。

以下是进入Pose block之前，X的内容。

绿色点：理想情况能检测到每个位置红色×：假设的漏检情况接下来就看KF 、 UKF怎么处理我的漏检了，这取决于它们的predict。

nc 设置成啥都行，反正后面训练时会不一样。这里是根据已有的conf file修改的。

之前看的以为SoccerNet是作者用到的网络名称，原来是data。

所以，如果你的数据像我的一样的话，100%确定是水平的框，不是斜着的，那么请放心大胆把这两行注释了，你会发现数据导出的一片满意~尽管在模型训练里添加了旋转的数据增强，但是旋转过大的数据直接增加模型训练难度，而且加入后对原本识别好的有所下降, 所以还是看时间，如果时间够多，增加epochs，时间少，就不要给模型加大训练难度了。这时，你的terminal会有路径变化，为了以防万一，可以ls一下，看看当前的路径（默认是训练的文件夹）有没有你需要的。检查了默认的数据增强，按照官方建议，我要把概率提高到0.6。

两个值的差距我之前要是不知道具体的值，会想用MSE，不要太简单和直接。Ok，作者根据数据的类型

最近正在work on 一些运动的项目，自己比较心仪和好奇这篇论文，希望有些技术能够借鉴到实际运用里。

现在用上面的代码已经安装不了了，但是！

需要注意的是,以上结论是建立在向量的范数等于1的前提下的。如果向量没有进行归一化,或者归一化后的范数不等于1,那么内积和余弦相似度的结果就会有所不同。总之,当人脸特征向量的范数等于1时,向量相乘得到的内积与余弦相似度是等效的。这是因为对于单位向量,内积的结果等于两个向量夹角的余弦值,与余弦相似度的定义相同。如果人脸特征向量的范数(Norm)等于1,那么向量相乘得到的内积(Inner Product)与余弦相似度(Cosine Similarity)是等效的。

这样的一个motion module “insert”的套路 就很LORA有个宏伟的目标，一统各种domain，而且也实现了。也就是说，一个module可以被用在任何主题场景。

之前使用LORA的方式去训练专门的人物模型，靠，以为是最赞的方式了，但是后来发现还有更赞的，其实faceswap 就够赞的了，而且比SD更早的出现。

感谢，以下内容改自：http://t.csdn.cn/37m2wdataloaders.py# YOLOv5 🚀 by Ultralytics, GPL-3.0 license"""Dataloaders and dataset utils"""import contextlibimport globimport hashlibimport jsonimport mathimport osimport randomimport shutilimport timefrom it

Yolo-Nas 的代码比YOLO v8 还恐怖。之前的YOLO数据可以通过：coco_detection_yolo_format_train， 和 coco_detection_yolo_format_val 自动转。

如果是GPU的，一定要装GPU版本的pytorch: (我用的11.8版本)如果要使用以上的内容，需要在parse_args.py 这个文件里添加。把这些内容打开后，这个包会自动下载所有相关权重。

由于这个模型里的视频帧是均匀抽取8个帧，如果只有一秒的视频，那么很容易抽到的8张图都是一样的，那么描述就会像在说车轱辘话一样，来回重复并颠倒。因此，为了符合这个模型的特点，建议先用长一点的视频，再经过快进处理。6. 图像encoder 用的是 Blip-2 中专门做图像语义理解的部分，这个部分的结构：EVA CLIP + Q-former。整个模型，蓝色的blocks都是可以被拿来直接用的，橙色部分是一定要经过训练，以促成Llama video 模型正常联通使用的。整个代码里的部件权重加载在。

例子：/media/xxx/cozynest/anaconda3/envs/detection/lib/python3.9/site-packages/cv2/python-3.10。这里有可能会出现configure的文件找不到的错误，可以直接copy paste Python 版本的文件，根据缺失文件的名字添加。这样放的原因是我Ubuntu的Home容量不够多，导致我需要把这些东西放在另一个盘上，其次是这样安装比较干净。以下是Python3相关会填入的内容。2：下载后的两个包裹会放在以下结构。

Whisper 代码详解

这个projec相对codeformer已经是老一些的了，CodeFormer paper说自己的效果比这个更好。有看了这个视频，它借用了R-ESRGAN 4x 和 GFPGAN 50%，既保留了一些人物特征，又有了更好的效果。

我的问题比较tricky，因为数据量不平衡和数据少（就是力求不平衡和数据少），需要找到一个不需要在意数据量的方法。后续我会再check一遍snake conv的论文，顺便猜测or理解一下，为啥在我的问题上，它效果不太行~ （除了数据量之外）除此之外还需要把weight转换成tensorRT, 飞飞视频的代码里有几个地方需要改一下，就能顺利输出。下面的zero, max_y, max_x 需要确保都是在torch cuda上的量。然后我有尝试更改了能改的层，随机的都尝试了一下，最后都没有原始的c2f效果好。

比如对一短视频做理解，他会重复输出“他穿着黑色衣服”，直觉认为可能是对视频做embbeding 时，抽到的帧都差不多，所以导致重复，基本上如果视频有8帧，那么类似的语句就会重复个7，8次。Token 确实比较影响model的效果，因此，怎么输出有效且准确的token，比较重要。Router 主要是将 Attention的输出，进行分配，Attention输出和FFN之间，不是全链接的关系。如果Token的数量在3-4左右，那么可以加速至少2倍，如果Token 数量在3~7，那么可以有更快的速度。

emmm, 这里的Transformer 就和最近接触到的whisper一样，比起传统Transformer，自己还设计了针对特殊情况的tokens。比如whisper里对SOT，起始时间，语言种类等都指定了特殊tokens去做Decoder的输入和输出。DT这里的作为输入的Tokens由RL里喜闻乐见的历史数据：State，Action，Reward组成。输出只是简单的Actions(历史+即将需要的)

OCR 修正

因为要修改yolo系列里NMS处的计算，如果用python，速度巨慢。torchvision 有自己的加速后的NMS function。但是不和形变后的IOU通用。因此需要做一个类似的。回看torchvion, 发现里面有cpp的文件，因为之前没有接触过加速（资源比较丰富）。C++ 并不是加速NMS那步操作的解药，解药是CUDA kernel。因此，如果要加速任何的function在model里，CUDA kernel 是最终目的。自己之前误入歧途，以为C++就能加速一切。

固定/不固定模型参数，都写default=[640, 640]占位如果不固定模型参数，需要在--dynamic里默认为True。这样子，做inference的时候，图片是任意的尺寸输入。

Transformer 也不适用batch norm，Batch由GPU操作，但是一般的GPU顶多2个Batch，按照上一个内容，计算出12，这样的Batch size，对GPU来说为难了。对sequence的data不好，因为sequence的长度不一，那么batch norm用的mean 和 std 就不能很好的将每个feature的分布准确算出。而分的大块可能会错失细节信息。以上是数学里的计算方式，但是在代码里，以上步骤不好操作，因此，目前的GELU是通过sigmoid 或者 Tahn 估计出来的。

Generals为什么一个概率分布的entropy的mean需要足够小？2 branchProcess数据gradients为什么AirDet 不需要 fine tune?为什么要fine tune?SCS module 是怎么从cross-scale relations里提取multi-scale feature的？组成用处class prototype 用在head哪里？怎么通过multi-shot support feature 得到class prototype。

这里写目录标题Video anomaly detection and localization via Gaussian Mixture Fully Convolutional Variational Autoencoder (2020 June)使用了VAE用dynamic flow代替optical flowMore layers, more invariable使用Anomaly ScoreVideo anomaly detection with spatio-temporal dissociatio

Fusion当前类别有三种：Early fusion, Late fusion，hybrid fusionEarly fusion先将各种类别信息concatenate在一坨，然后进行“Classifier”优点容易可以利用到features之间的dependencies- feature 之间有相关性，可以相互影响缺点数据太高维度如果features 有不同的angularities(一般可用normalization 解决，但也可能碰到不能解决的)Late fusion先

这里写目录标题Python3.7 使用时报错wandbLogindataloaderRuntimeError: freeze_support()全局变量：Python3.7 使用时报错urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: certificate has expired (_ssl.c:1091)>Solution1将以下bloc

更换网络更换激活函数使用visualdl调参集成学习使用autoencoder, GAN 做半监督学习，图像标记（label：mask）https://www.youtube.com/watch?v=pJEhpEj7afIhttps://www.youtube.com/watch?v=65XCz94C-z4

Imagegrayscale：intensity imageIndexed Images: imread 用的是这个。colormap + 3通道的上对应colormap的index。RGB (Truecolor) ImagesBinaryimage图片类型可以是以下的，显示出来的图片都一样，截取图片一个小片段，不同如下：import cv2from skimage.util import img_as_float32, img_as_float64, img_as_uin

这里写自定义目录标题Outlier重要吗？neurak net 的 Model 有rotation invariant的时候吗？这个模型需要是overfitting的吗数据不平衡怎么办数据需要normalisation 操作吗Activation function 的选择Life Time Value插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的

Variable OrderingValue OrderingBackwardForwardAC3Question 1 Crossword PuzzleVariable OrderingValue OrderingBackwardForwardAC3Question 1: Crossword PuzzleStanford CS227 Assignment2

运用场景Logic运用的2个方面Logic RulesSatisfiability两个算法Valide运用场景Action planningSQLDebugGameLogic运用的2个方面Satisfiability：保证（或寻找）结果符合最终的期望值的Valid：保证所有答案最终为T，只要有1个为F的都不符合（即 Not

MDP Markov Decision ProcessMDP (Markov Decision Process)Created with Raphaël 2.1.2State SpaceAction SpaceTransition FunctionReward FunctionState: S Action: A Tansition Function T(s,

CostParitySeach Algorithms Informed SearchSearch Algorithms Uniformed SearchHeuristics for single-agentMinimaxHeuristics for adverserial gamesAlpha-beta pruning for minimaxCostf(n...

Motion PlanningCollision-free PathCollision Free CheckMatlab Figure for Box Bounding Test MethodLine Segments Test MethodConfiguration Space C-SpaceMotion Planning使用States建立State Graph Nodes（在差不