憨憨的博客

在做speech、nlp任务时，经常有这样一个需求：假设有一个数据集，有1000条数据，但是只有100种长度，所以必然存在某些数据是一样长的。我们想要让总体按照长短排序，但是同样长的数据要随机排序。经过了这个操作，再分batch，这样的效果就是同一个batch的数据长度差不多，对各种norm操作很友好，也节约显存；在每个epoch前进行这个操作可以实现不同epoch内数据的随机。发现了一段精美的代码，如下：def ordered_indices(self): """Return an o

Temporal Classification是给定输入序列X=[x1,x2,…,xT]X=\left[x_{1}, x_{2}, \ldots, x_{T}\right]X=[x1​,x2​,…,xT​]以及对应的标签数据Y=[y1,y2,…,yU]Y=\left[y_{1}, y_{2}, \ldots, y_{U}\right]Y=[y1​,y2​,…,yU​] ,例如语音识别中的音频文件和文本文件，我们的工作是找到XXX到YYY的一个映射，这种对时序数据进行分类的算法叫做Temporal Class

传送门

训练代码train.py注释与解析检测代码detect.py注释与解析测试代码test.py注释与解析dataset.py代码注释与解析general.py注释与解析YOLOV5网络结构YOLOV5技术专栏

传送门

罗浩：基于深度学习的行人重识别研究综述，这个博文的一篇中文期刊综述CVPR2018 ReID论文简评

BiLSTM-CRF模型最直观理解一句话概括：BiLSTM学习怎么说话，CRF层学习到句子的约束条件。目标：softmax+似然函数（负对数最小化），使得真实路径所占的比值越来越大。当计算所有路径总分时，不需要要列举出所有可能的路径（动态规划）。两种得分：Si = EmissionScore发射分数（状态分数） + TransitionScore转移分数。阅读推荐：【深度学习与NLP】如何理解LSTM+CRF做命名实体识别？...

背景最近在做视频方向，处理的是时序特征，就想着能不能用Batch Normalization来做视频特征BN层？在网上查阅资料发现，时序特征并不能用Batch Normalization，因为一个batch中的序列有长有短。此外，BN 的一个缺点是需要较大的 batchsize 才能合理估训练数据的均值和方差，这导致内存很可能不够用，同时它也很难应用在训练数据长度不同的 RNN 模型上。Layer Normalization (LN) 的一个优势是不需要批训练，在单条数据内部就能归一化。对于RNN等时

作用：Word2Vec中的Skip-Gram模型，提高训练速度实例：词表大小为1000，训练样本input是’quick’，output是’fox’，训练该样本时，对于他们表示的one-hot位置认为quick是positive，其余999个是negative。此时不是全部训练999个位置，而是随机采样5-6个位置，使得他们在输入quick的时候激活值变小，‘fox’激活值变大，从而提高训练速度。采样概率根据概率分布算出，具体可以参考传送门。...

Confirming the Buzz about Hornets——2021美赛C题思路及题解前言题目题目描述（翻译版，重点内容加粗）附件题目分析解决方案数据清洗与分析前言2021年的美赛结束了，我们选择了大数据相关的C题。看网上对C题的讨论不多，这里我对该题做一下分析并给出我们的解决方案，有什么意见或建议欢迎与我探讨。个人认为，这是一道多因素综合评价问题，放到机器学习深度学习领域，可以称之为多模态评价问题。所以我们要思考怎样合理运用每个报告的图片、文本、位置、时间信息，对报告做一个分类，或者对所有

原理&实操实际上就是为了先压紧（pack）再解压（pad），提高运算速度。

传送门，讲得很清晰

小杰克第一次使用服务器进行深度学习模型训练，这下可把他难倒了。之前都是在本地训练模型，直接使用 python yyds.py就可以训练了，但是总不能一直挂着服务器吧，于是他学会了后台运行命令：nohup python yyds.py但是这样输出会直接在根目录下的nohup.out文件。后来小杰克发现可以重定向输出到指定文件下：nohup python yyds.py > mylog.log 2>&1 &这样运行日志就会输出到指定位置。小杰克后来发现另外一种命令方式，

由于经常用，留作存档。整个模型torch.save(model, path) # 直接保存整个模型model = torch.load(path) # 直接加载模型模型参数torch.save(model.state_dict(), path) # 保存模型的参数model = Model() # 先初始化一个模型model.load_state_dict(torch.load(path)) # 再加载模型参数...

Pytorch生僻bug记录稍微改动了原先的代码然后用到一个新的数据集上，结果在一个完整的epoch结束前报错：OSError: Unrecognized data stream contents when reading image file解决方案：在确认代码没有可能导致报错的改动之后，感觉应该是数据集的问题。将数据集部分图片移除，只保留两个类，训练正常进行。逐步增加类数目直至报错。在不断缩小范围之后，最后终于抓出了导致报错的那一张图片，拉下来打开之后发现该图片被污染了，可能是下载过程中受损或者

传送门

用好维度分析，不要直接求导传送门用好链式法则，不要一步到位传送门

数据中存在倒“因”为“果”的feature的现象，叫数据竞赛中的Data Leakage。比如预测一个人是否学习好：有没有npy是否得奖学金是否学习好111011100是否得奖学金而更像是一个标记，是学习好的“果”，根据这样的feature训练出来的模型，肯定能够得到很好的预测结果，但对实际了解是否学习好，没有一点帮助。...

【搭建深度学习环境】初试实验室服务器及一些小问题的解决环境概述扩展引用报错问题解决方案安装anaconda选择解释器无权限参考文章环境概述本人使用vscode remote，ssh到实验室服务器，服务器本机的pip3和python3无法使用jupyter，于是打算安装一个anaconda。每个人可操作权限有两个文件夹，一个是个人文件夹，一个是share文件夹（机械硬盘）。扩展引用报错问题登陆后立刻会显示：vscode中文提示：[tht13.python]: "configuration.jso

今天在使用pytorch的时候每一个包都报错，但是可以正常使用，如图：猜测是pylint的原因，解决方案：打开setting.json文件，加入"python.linting.pylintArgs": [ "--errors-only", "--generated-members=numpy.*,torch.*,cv2.*"]即可解决。参考传送门...

How to implement the ReLU function in NumpyNumpy学习—np.random.randn()、np.random.rand()和np.random.randint()