
前瞻论文
文章平均质量分 91
深度学习 前瞻论文解读
小鹏AI
深度学习算法工程师,主攻深度学习模型优化部署,辅攻图形图像算法调优。
软件设计师、英伟达Jeston Nano专家认证。
展开
-
一种创新的白细胞检测方法:多级特征融合与变形自注意力DETR(MFDS-DETR)
作者的创新模型使用高级特征作为权重来过滤低级特征,将过滤后的特征与高级特征融合,从而显著增强模型检测效果。在标准的医院血液检查中,传统的流程需要医生通过显微镜手动从患者的血液显微图像中分离白细胞,然后通过自动白细胞分类器对分离的白细胞进行分类,以确定血样中不同类型白细胞的数量和体积,从而帮助疾病诊断。在随后的比较实验部分,作者将作者专门设计的MFDS-DETR模型与其他先进的白细胞目标检测模型进行了对比,使用的数据集有三个,分别是WBCDD、LISC和ALL-IDB,以证明作者模型的有效性和泛化能力。原创 2024-01-08 10:03:46 · 3563 阅读 · 2 评论 -
ModernTCN:用于一般时间序列分析的现代纯卷积结构(附代码)
然而,作者发现采用上图(b)的结构构建的模型效果也不是特别好,这是因为这个现代卷积结构中并没有专门为时间序列设计的一些特殊的东西,一个重要的就是如何建模跨变量依赖性。因此,作者采用了两个组卷积,其中一个组卷积的 Group 数为 M(表示每 D 个通道构成一个组,因此用来建模通道间关系),另一个组卷积的 Group 数为 D(表示每 M 个变量构成一个组,因此用来建模变量间关系)。,也就是多变量时间序列中变量之间的关系。,希望用 DWConv 来建模时间上的关系,但又不希望它参与到通道间和变量间的建模上。原创 2023-12-21 10:17:04 · 5017 阅读 · 10 评论 -
人脸识别:X2-SoftMax
作为最简单的基于分类的损失函数,softmax损失可以压缩同一类别的人脸特征,同时分离不同类别的人脸特征,同时完成分类任务。CosFace和ArcFace之间的区别在于对数函数,对数函数的不同导致不同的角边界,类别间的角边界会影响特征提取。对于CosFace,由于其在余弦空间中应用了一个固定的边界,两个类别之间的角边界不再是一个固定值,而是随着类别权重之间的角度变化而变化。一类是成对损失(例如对比损失,三元损失,N对损失),另一类是基于分类的损失(例如softmax损失,CosFace,ArcFace)。原创 2023-12-20 11:14:31 · 1455 阅读 · 0 评论 -
FastViT: A Fast Hybrid Vision Transformer using Structural Reparameterization
在移动设备和 ImageNet 数据集上的精度相同的前提下,FastViT 比 CMT 快3.5倍,比 EfficientNet 快4.9倍,比 ConvNeXt 快1.9倍。在移动设备和 ImageNet 数据集上的精度相同的前提下,FastViT 比 CMT 快3.5倍,比 EfficientNet 快4.9倍,比 ConvNeXt 快1.9倍。值得注意的是,每个 Stage 中的 FFN 使用的并不是传统的 FFN 架构,而是带有大核 7×7 卷积的 ConvFFN 架构。原创 2023-04-18 19:30:00 · 957 阅读 · 0 评论 -
MLC LLM:将大模型运行在手机端的部署工具
MLC LLM依赖于开源生态系统,更具体地说,是 TVM Unity,这是 TVM 项目中一个令人兴奋的最新发展,它支持 Python 优先的交互式 MLC 开发体验,使我们能够轻松地用 Python 编写新的优化,并逐步将我们的应用带到感兴趣的环境中。利用优化,如融合量化内核,一流的动态形状支持和不同的 GPU 后端。提供了一个轻量级的基于 C + + 的示例 CLI 应用程序,它展示了如何包装已编译的构件和必要的预/后处理,这将有望澄清工作流程,以便将它们嵌入到本地应用程序中。原创 2023-05-01 13:46:18 · 5001 阅读 · 1 评论 -
IEEE | DSConv: Efficient Convolution Operator
原始卷积张量的大小为 (cho, chi, k, k),其中 cho 是下一层的通道数,chi 是当前层中的通道,k是内核的宽度和高度。它可以很容易地替换到标准神经网络架构中,并实现更低的内存使用和更高的计算速度。这个想法是内核移位器的每个值都用于移位 VQK 的 BLK 深度值的值。DSConv 的总体目标是通过使用量化和分布偏移来模拟卷积层的行为。通过在 VQK 中仅存储整数值来实现更低的内存使用和更高的速度。这个组件的目的是改变 VQK 的分布以试图模仿原始卷积核的分布。原创 2023-01-11 10:18:26 · 1400 阅读 · 0 评论