lmb09122508的博客

MobileNet 做图像算法最经常用的模型是restNet系列，但是训练好的模型太大。拿restNet50来说，训练好的模型有280M，参数7千万，运行起来非常慢。 MobileNet是一个基于depthwise separable convolutions的网络结构，优点是模型非常小，训练完模型11M，参数200多万，准确率比restNet下降的幅度很小，更适合于移动...

pytorch提供了三种量化的方法1.训练后动态量化。这种模式使用的场景是：模型的执行时间是由内存加载参数的时间决定（不是矩阵运算时间决定），这种模式适合的模型是LSTM和Transformer之类的小批量的模型。调用方法torch.quantization.quantize_dynamic()。2.训练后静态量化。这种模式使用场景：内存带宽和运算时间都重要的模型，如CNN。 训练...

采用用spark的DecisionTree来训练样本，在使用pipeline中使用了VectorIndexer 转换特征向量。生成模型后，用模型来训练大规模样本（上千万样本，生成模型的训练集只有几千个）的时候报如下错误。查阅资料，也没有得到正解。后来自己通过实验发现了原因。VectorIndexer（类似的还有StringIndexer）是一种Estimator，用来对特征值进行映射转换。例如，做...

git上找到的一个大神写的spark ml源码分析，非常详尽地址：https://github.com/endymecy/spark-ml-source-analysis         spark机器学习算法研究和源码分析  本项目对spark ml包中各种算法的原理加以介绍并且对算法的代码实现进行详细分析，旨在加深自己对机器学习算法的理解，熟悉这些算法的分布式实现方式。本系列文...

问题描述：有一批样本x，每个样本都有几个固定的标签，如（男，24岁，上海），需要从中抽取一批样本，使样本总的标签比例满足分布P(x)，如（男:女=49%:51%、20岁:30岁=9%:11%、..........）采用KL-散度作为优化目标函数。KL-散度又叫相对熵KL-散度在机器学习中，P用来表示样本的真实分布，比如[1,0,0]表示当前样本属于第一类。Q用来表示模型所预测的分布，比...

ArcFace是比较新的人脸分类的Loss函数，详细论文可以看论文：ArcFace: Additive Angular Margin Loss for Deep Face Recognition论文:https://arxiv.org/abs/1801.07698官方代码:https://github.com/deepinsight/insightface本文主要对代码进行讲解和注释...