image2mass 由图像估计容器内物体质量 3

研究计划

调研图像估计质量的算法
实现优秀的视觉特征网络，通过图像估计物体质量的网络

完成情况

一、 论文 Simultaneous Mass Estimation and Class Classification of Scrap Metals using Deep Learning

检测到目标，再提取特征如长、宽、角度等24个特征。但特征的提取方法依旧是没有详细描述。

图像在 Densenet121 中训练分类，分类结果与降维后的特征一同输入到 BPNN （BP神经网络）当中回归到质量。

三、 厨余质量估计 网络实现
采用预训练的 Resnet34，Xception， VGG16 进行训练，在这些特征网络的基础上输出部分为用于回归的全连接网络，因为质量不可能出现负值，所以激活函数选用 Relu。
图片总数 373 张，训练集 312 张，验证集 61 张。标签使用了 min-max 归一化，输出反归一化的结果。取最好的验证效果。

评价指标

Method	MAE(kg)	RMSE(kg)
Resnet 34	2.091	2.606
Xception	2.086	2.524
VGG16	2.096	2.655
Inceptionv4	2.084	2.550

问题分析

1.基础特征网络的效果差距并不大。无法抓住任务的特性

下一步打算

1.继续调研图像估计重量
2.继续实现 vision transformer、swin transformer 等可使用的图像特征提取网络，来进行桶质量回归。
3.使用 labme 对图像进行标注（目标检测）