医疗实体标准化之Paper:A Lightweight Neural Model for Biomedical Entity Linking笔记

本文探讨了一种针对医疗领域的轻量化神经网络模型,用于解决医疗实体链接问题。重点介绍了模型处理多词同义问题的方法,包括预处理、候选实体生成及排名模型的设计。

        刚刚踏足医疗方向,目前在研究医疗实体标化问题,相较于广义上的实体链接(entity linking),不存在实体链接一般会存在的一词多义(Entity Ambiguity)问题,确切来说,医疗标准化这块最主要的问题是多词同义(Mention Variations),即同一种病,同一种药等会有许多不同的表达方式,这就是我们要去处理的,让非结构化的数据输入进来,先找到mention,然后去KB里找到对应的entity作为输出,即标准化.举个例子,"感冒"进来,输出"上呼吸道感染".

        看了不少论文,目前在对其中一篇进行初探,有想法有疑问就写出来,当成翻译也行,大家一起研究.

         Title:<A Lightweight Neural Model for Biomedical Entity Linking>

        论文:https://arxiv.org/abs/2012.08844

        代码:https://github.com/tigerchen52/Biomedical-Entity-Linking

        论文思路分三步:

        一~预处理。对语料库中的所有mention和 KB 中的entity进行预处理,使它们具有统一的格式。

        二~候选实体生成。对于每个mention,从KB中生成一组候选entity。

        三~ranking模型。对于每个mention及其候选entity,使用排名模型对每对进行评分,输出topk

        一~预处理

        缩写扩充('DM'-'Diabetes Mellitus')

        数字替换('VI'-'6')

        KB增强(拿训练集扩充KB)

        

### LightViT: 轻量级视觉Transformer架构及其实时应用场景 LightViT是一种轻量化设计的Vision Transformer (ViT),旨在解决传统ViT模型计算复杂度高、难以部署于资源受限环境的问题。它通过引入高效的注意力机制和优化的网络结构,在保持高性能的同时显著降低了推理时间和内存消耗。 #### 架构特点 LightViT的核心在于其独特的轻量化设计策略,主要包括以下几个方面: 1. **稀疏注意力机制** LightViT采用了稀疏化注意力机制,仅关注图像中最具有代表性的特征区域,而非全局像素点之间的关系。这种方法不仅减少了计算开销,还提高了模型对重要信息的捕捉能力[^3]。 2. **分组卷积与多尺度特征融合** 借助分组卷积技术,LightViT能够有效降低参数数量并加速前向传播过程。此外,该模型集成了多尺度特征融合模块,从而增强了对于不同分辨率下目标对象的理解力[^4]。 3. **动态通道裁剪** 动态调整每一层中活跃神经元的数量是另一个重要的创新之处。这一特性允许LightViT根据不同任务需求自适应地分配计算资源,进一步提升了效率[^5]。 #### 实时应用案例分析 由于上述优势,LightViT非常适合应用于多种需要快速响应时间的实际场景之中,具体如下: - **移动设备上的增强现实(AR)** AR应用程序通常运行在智能手机或其他便携式硬件上,这些平台往往存在严格的功耗限制。利用LightViT可以实现在不牺牲用户体验的前提下完成高质量的画面渲染工作[^6]。 - **自动驾驶辅助系统** 自动驾驶车辆依赖摄像头传感器获取周围环境数据,并迅速做出决策判断。因此,具备低延迟特性的LightViT成为此类系统的理想选择之一[^7]。 - **视频监控与异常检测** 在大规模公共场所部署智能摄像机时,如何高效处理海量视频流是一个挑战。借助LightViT强大的并发处理能力和较低的成本投入,可构建更加经济实用的安全防护解决方案[^8]。 ```python import torch from lightvit import LightViTModel def load_model(): model = LightViTModel(pretrained=True) return model.eval() model = load_model() input_tensor = torch.randn((1, 3, 224, 224)) output = model(input_tensor) print(output.shape) # 输出形状应为(batch_size, num_classes) ``` 以上代码片段展示了加载预训练好的LightViT模型并对单张图片进行分类预测的过程。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值