DAMODEL平台 |通过Pycharm复现命名实体识别模型--MECT模型

已于 2024-11-21 23:14:41 修改
阅读量6.3k 收藏 97
点赞数 80
CC 4.0 BY-SA版权
分类专栏： 资讯 文章标签： pycharm ide python
于 2024-11-13 22:48:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/null18/article/details/143754032

文章目录

🍋1 引言

DAMODEL（丹摩智算）是专为 AI 打造的智算云，致力于提供丰富的算力资源与基础设施助力 AI 应用的开发、训练、部署。
在这里插入图片描述

🍋2 平台优势

  • 💡 超友好！

配备 124G 大内存和 100G 大空间系统盘，一键部署，三秒启动，让 AI 开发从未如此简单！

  • 💡 资源多！

从入门级到专业级 GPU 全覆盖，无论初级开发还是高阶应用，你的需求，我们统统 Cover！

  • 💡 性能强！

自建 IDC，全新 GPU，每一位开发者都能体验到顶级的计算性能和专属服务，大平台值得信赖！

  • 💡 超实惠！

超低价格体验优质算力服务，注册即送优惠券！还有各类社区优惠活动，羊毛薅不停！

🍋3 丹摩平台服务器配置教程

进入控制台-GPU云实例，点击「创建实例」可以快速查看目前提供的算力型号和规格，对于经过跑模型的老用户根据自己实际情况进行选择即可，对于我们新用户来说，必须选最好的4090！！！
在这里插入图片描述
在创建GPU云容器页面您可以：

  • 选择计费方式：按量计费、包日、包月
  • 选择合适的配置与主机
  • 选择GPU数量
  • 扩容数据盘
  • 选择镜像
  • 选择密钥对
  • 选择完成后即可付费创建云容器

对此官方还贴心的出了一个注意事项

在这里插入图片描述

🍋4 实操案例（ MECT4CNER-main）

根据上次的镜像我们保持不变，具体创建实例可以参考上篇博客丹摩征文活动 | 0基础带你上手经典目标检测模型 Faster-Rcnn

🍋4.1 MECT4CNER-main模型

下面是原文链接，在GitHub仓库，感兴趣的读者可以自行下载
https://github.com/CoderMusou/MECT4CNER
这个模型的出处来自ACL2021年的一篇文章感兴趣的读者也可以自行下载并且阅读
Models and results can be found at our paper in ACL 2021 or arXiv.

下面是数据集目录
在这里插入图片描述

🍋4.2 环境配置

安装完Pycharm之后，我们点击File—》settings
在这里插入图片描述

接下来我们选择第二个
在这里插入图片描述
接下来我们复制访问链接和密码

在这里插入图片描述
这里根据格式填写访问链接

这里填写密码
在这里插入图片描述
这样就是成功连接上了

在这里插入图片描述
接下来我们选择解释器

在这里插入图片描述
接下来我们根据目录找到Python解释器，之后就点击OK就可以了

在这里插入图片描述

接下来我们就需要进行等待上传文件了
在这里插入图片描述

我们需要一些时间进行等待，若上传完毕，可以通过下面的代码找到我们的工程文件夹

在这里插入图片描述

🍋4.3 训练模型

接下来我们需要将需要的一些库都安装好

fitlog==0.3.2
torch==1.5.1+cu101
FastNLP==0.5.0
numpy==1.18.5

安装完毕，我们直接在终端输入

时间关系本文不具体展示训练过程，下面是训练的命令语句，感兴趣的读者或者对命名实体识别感兴趣的读者可以自行训练

Python main.py

接下来就可以复现代码了

🍋4.4 数据保存并导出

代码中存在可以保存日志的相关代码，训练的日志会直接保存到logs文件夹中去
在这里插入图片描述

🍋5 结语

平台优势：

  1. 价格实惠，注册送福利
  2. 界面简洁，不花里胡哨
  3. 售后优质，及时有反馈
  4. 性能强大，4090带你飞

通过 DAMODEL 智算云的便捷服务，我们体验到了一种全新的开发与部署方式——从资源配置、环境搭建、模型训练到结果导出，每一步都得到了高效的支持。这里我们采用经典目标检测模型 Faster-Rcnn进行测试，后续我还将会使用不同的模型进行测试，欢迎关注~

挑战与创造都是很痛苦的，但是很充实。

复现记录1——MECT: Multi-Metadata Embedding based Cross-Transformer for Chinese Named Entity Recognition
xuan233的博客
04-05 3110
论文链接：https://arxiv.org/pdf/2104.07204.pdf 代码地址：https://github.com/CoderMusou/MECT4CNER github上readme关于复现实验的步骤写的比较详细，这里写一下复现过程。 数据集下载： 汉语拆字字典：GitHub - kfcd/chaizi: 漢語拆字字典 Weibo+MSRA:GitHub - OYE93/Chinese-NLP-Corpus: Collections of Chinese NLP cor
【论文泛读164】MECT：基于多元数据嵌入的中文命名实体识别交叉变换器
scu-liu的博客
07-13 1913
贴一下汇总贴：论文阅读记录 论文链接：《MECT: Multi-Metadata Embedding based Cross-Transformer for Chinese Named Entity Recognition》 一、摘要 最近，词增强在中文命名实体识别（NER）中变得非常流行，减少了分割错误并增加了中文词的语义和边界信息。然而，这些方法在整合词汇信息后往往会忽略汉字结构的信息。汉字自古由象形文字演变而来，其结构往往反映了更多的文字信息。本文提出了一种新的基于多元数据嵌入的交叉变换器（MECT）
DAMODEL平台 |丹摩平台初体验
AiyiguCshezhang的博客
11-16 397
本文对于丹摩平台各模块进行了各个功能模块的体验及了解了相关操作流程。
DAMODEL丹摩｜详解 DAMODEL（丹摩智算）平台：为 AI 开发者量身打造的智算云服务
2301_80863610的博客
11-08 4823
DAMODEL 是一个专注于为 AI 提供高效计算资源和基础设施的智能云平台。它的核心理念是让 AI 应用的开发、训练、部署变得更加简便和高效。无论是新手入门，还是经验丰富的专业开发者，DAMODEL 都致力于提供全方位的计算力支持，以满足不同层次开发者的需求。作为专为 AI 开发者打造的智算云平台，DAMODEL 在计算资源的丰富性、服务的易用性和整体性能方面都表现得非常出色。
【NER论文阅读】MECT：Multi-Metadata Embedding based Cross-Transformer for Chinese Named Entity Recognition
蚂蚁的信息素
05-12 1574
MECT ----Multi-Metadata Embedding based Cross-Transformer for Chinese Named Entity Recognition 文章目录MECT ----Multi-Metadata Embedding based Cross-Transformer for Chinese Named Entity Recognition摘要结论导言相关工作1. 词汇信息融合 Lexical Enhancement单词匹配方法基于CNN模型基于图形网络基于tra
DAMODEL平台｜UNet模型的训练与测试详解
2301_77002118的博客
11-21 1118
随着深度学习的发展，医学影像分割技术产生了深远的变化，尤其是卷积神经网络 AlexNet、VGGNet、GoogLeNet、ResNet 等，能够学习到更加抽象和高级的特征表示，从而实现更加精确的分割结果。同时，U-Net 的跳跃连接结构有助于保留和恢复图像中的细节和边缘信息，且在小样本情况下表现优异，能够充分利用有限数据进行有效训练，广泛应用于医学图像分割任务中。在训练时，需要高 IO 性能的数据（如训练数据），先拷贝到实例本地数据盘，从本地盘读数据获得更好的 IO 性能。如此兼顾便利、安全和性能。
DAMODEL平台|丹摩智算平台实践：探索大模型应用
fndins的博客
11-28 214
总的来说，丹摩智算平台是一个非常优秀的高性能计算平台，它为研究者和开发者提供了强大的计算能力支持。作为一个专注于高性能计算的云端解决方案，它提供了多款高性能的 GPU 资源，让用户可以根据自己的需求灵活租赁，无需担心购买和维护昂贵的硬件设备。平台的高性能和灵活性让我能够更加专注于我的研究工作，而无需担心硬件设备的限制。作为一名对 AI 充满热情的研究者，我有幸参与了丹摩智算的评测征文活动，亲身体验了丹摩超算平台的强大功能。在实践过程中，我遇到了一些问题，通过查阅平台的文档和教程，我很快就找到了解决方案。
丹摩DAMODEL超算平台 | 搭建Llama3.1深入体验
热门推荐
wei_shuo的博客
09-18 1万+
丹摩DAMODEL超算平台 | 搭建Llama3.1深入体验
DAMODEL丹摩|丹摩超算平台实践：探索大模型应用新境界
2401_88879400的博客
11-16 594
1.体验前需要先进入丹摩平台并创建好实例：2.再点击进入：这样就进入到了这样一个界面：这样就可以按照自己的要求来编写和运行了。
DAMODEL丹摩|丹摩智算平台：解锁大模型实践的算力密码
fndins的博客
11-28 838
围绕平台滋生的社区活力满满，汇聚学界“大拿”、业界“先锋”。建议增添可视化图表“家族”，像以动态折线图呈现GPU使用率、显存占用随时间变化曲线，热力图展示不同实例算力分布，直观反映资源“健康状态”，助使用者在多实例并行、复杂模型长时间训练场景，一眼洞察瓶颈，提前优化资源配置，预防卡顿崩溃。制作系列精细教程视频，从基础GPU选型、实例创建，到进阶模型复现实战、调优技巧，按难易梯度拆解步骤，配合操作界面截图、代码注释，嵌入互动问答、小测试巩固知识，为新手呈上清晰“通关攻略”，缩短摸索周期，快享平台强大功能。
DAMODEL（丹摩智算）新手指南：使用SSH连接实例
menetholl的博客
09-23 2135
在现代的开发与数据科学领域，远程连接云端服务器是一项常见操作。而在DAMODEL平台上，我们同样可以通过SSH连接本地终端与云端实例，方便地进行计算资源的使用和代码的远程运行。本文将为您详细介绍如何通过三种不同的方法——SSH命令行、MobaXterm以及PyCharm——连接DAMODEL实例，帮助您快速上手远程连接。
MECT: Multi-Metadata Embedding based Cross-Transformer forChinese Named Entity Recognition论文解析
zhangyinhua1122的博客
03-24 1530
《MECT: Multi-Metadata Embedding based Cross-Transformer forChinese Named Entity Recognition》的论文解析 纯属个人理解，欢迎批评指正 如果有时间的话，会有源码解析，欢迎关注一波 首先，本文的作者信息 个人理解 首先从我个人阅读这篇文章的感觉来看，作者的想法确实挺棒的，在FLAT BERT的基础上通过卷积神经网络提取汉字的笔画embedding ，然后通过一个交叉的transform 和 random attentio
丹摩|丹摩智算平台的具体使用与操作
TJX1029320的博客
11-27 2056
综上所述，DAMODEL平台以其丰富的算力资源、高效稳定的计算能力、简便易用的操作界面以及实惠的价格体系等特色和功能，在AI开发领域具有广泛的应用前景和强大的支持能力。• 便捷的数据管理：平台提供丰富的数据管理功能，如数据上传、下载、删除、移动等，以及数据清洗、格式转换和特征工程等数据预处理工具，方便用户高效地管理数据。• 便捷的数据管理：平台提供丰富的数据管理功能，如数据上传、下载、删除、移动等，以及数据清洗、格式转换和特征工程等数据预处理工具，方便用户高效地管理数据。
DAMODEL丹摩|丹摩平台：AI时代的开发者福音
fhvyxyci的博客
11-24 6749
1. 丹摩平台简介 2. 平台特性 2. 1 超友好的用户体验 2. 2 资源丰富的GPU覆盖 2. 3 强大的性能 2. 4 超实惠的价格 2. 5 不同目的推荐的配置 2. 6 启动环境 3. 快速上手丹摩平台 3. 1 创建项目与资源实例 3. 2 储存选项 3. 3 数据上传与管理 3. 4 数据可视化 3. 5 模型构建与训练 3. 6 模型训练与评估 3. 7 技术支持与社区服务 4. 结语
从入门到专业：如何选择 DAMODEL 平台的 GPU 计算资源
menetholl的博客
09-23 739
随着人工智能技术的快速发展，AI 模型的训练与推理任务对计算资源的需求变得越来越高，尤其是高性能 GPU 的重要性愈发凸显。为了帮助开发者和企业更好地应对 AI 开发中的算力需求，DAMODEL 平台提供了一系列灵活且高效的 GPU 云算力解决方案，覆盖从入门用户到专业用户的多样化需求。本文将详细介绍 DAMODEL 平台提供的 GPU 型号及其适用场景，并且为您介绍在平台上快速创建 GPU 云实例的关键步骤，帮助用户高效启动 AI 开发任务。
使用 DAMODEL 云平台加速 YOLOv8 模型训练
menetholl的博客
09-23 878
YOLOv8 是 YOLO（You Only Look Once）家族中的最新版本，是一种高效的目标检测算法。在 DAMODEL 提供的 YOLOv8 训练与测试指南中，详细介绍了如何使用该模型进行训练和测试，并结合实例演示了从数据准备到模型训练的整个流程。这篇博客将围绕 YOLOv8 的基础知识、如何准备数据、训练模型的步骤以及在 DAMODEL 云平台上进行模型训练的优势展开，帮助读者更好地掌握 YOLOv8 的实际应用。YOLOv8 是由 Ultralytics 发布的一款实时目标检测算法。
DAMODEL平台 | 0基础带你上手经典目标检测模型 Faster-Rcnn
null18的博客
11-12 740
价格实惠，注册送福利界面简洁，不花里胡哨售后优质，及时有反馈性能强大，4090带你飞通过 DAMODEL 智算云的便捷服务，我们体验到了一种全新的开发与部署方式——从资源配置、环境搭建、模型训练到结果导出，每一步都得到了高效的支持。这里我们采用经典目标检测模型 Faster-Rcnn进行测试，后续我还将会使用不同的模型进行测试，欢迎关注~挑战与创造都是很痛苦的，但是很充实。
DAMODEL|丹摩智算平台使用教学与操作指南
2401_89330688的博客
11-28 1078
在本指南中，我将详细介绍如何使用丹摩智算平台，帮助新用户快速上手，充分利用其计算能力。丹摩智算平台以其高性能、灵活性和便捷的用户体验，为研究者提供了强大的计算支持。未来，随着平台功能的不断完善，我相信它将成为更多用户进行高性能计算的首选工具。丹摩智算平台提供了简单直观的界面，用户可以通过控制台轻松创建计算任务。点击右上角的“注册”按钮，填写基本信息，包括邮箱、密码等。在本地预处理数据，将处理后的数据上传到平台进行训练，降低平台资源使用。通过上述代码，您可以实现任务的创建、状态查询、日志查看和资源释放。
MECT: Multi-Metadata Embedding based Cross-Transformer forChinese Named Entity Recognition论文实验复现记录
m0_51277266的博客
01-24 2812
萌新第一次复现实验，做得磕磕绊绊的，简单记录一下 论文链接：https://arxiv.org/pdf/2104.07204.pdf 代码地址：https://github.com/CoderMusou/MECT4CNER 补充： 关于anaconda https://www.jianshu.com/p/62f155eb6ac5 pytorch 官网 https://pytorch.org/get-started/locally/ 关于linux https://blog.csdn....
damodel yolo
最新发布
03-30
### YOLO Model in Deep Learning for Computer Vision YOLO (You Only Look Once) 是一种用于目标检测的深度学习框架，其设计旨在实现快速而高效的目标识别和定位。作为一种端到端的实时对象检测系统，YOLO 将整个图像划分为网格，并预测每个单元格中的边界框及其对应的类别概率[^2]。 #### 工作原理 YOLO 的核心思想在于将目标检测视为单一的回归问题，直接从输入图像映射至边界框坐标以及相应的类别的置信度分数。这种方法显著提高了检测速度并减少了推理时间。具体来说，YOLO 使用卷积神经网络（CNN）提取特征图，并通过全连接层输出固定数量的边界框和类别分布[^3]。 以下是 YOLO 模型的一些关键特性： - **统一架构**：YOLO 在一次前向传播过程中完成所有的计算操作，从而实现了高效的运行效率。 - **全局上下文感知**：由于在整个图片上应用 CNN 进行特征提取，因此能够更好地理解场景的整体结构[^1]。 - **高精度与低延迟平衡**：相比其他传统方法如 R-CNN 系列，YOLO 提供了更快的速度同时保持较高的准确性。 #### 实现细节 对于实际部署而言，可以采用预训练权重初始化模型参数以加速收敛过程；此外还可以利用数据增强手段提升泛化能力。例如，在表格检测任务中，《Yolo-table: disclosure document table detection with involution》一文中提到的方法引入了专门针对表格布局特性的改进措施——即通过退化解耦增强了对复杂排列模式的学习效果，并借助 FPN 结构进一步提升了性能表现[^4]。 下面是一个简单版本的 PyTorch 实现代码片段： ```python import torch from torchvision.models import yolov5s def load_yolov5_model(): device = 'cuda' if torch.cuda.is_available() else 'cpu' model = yolov5s(pretrained=True).to(device) return model.eval() model = load_yolov5_model() input_tensor = ... # Prepare your input tensor here. output = model(input_tensor) ``` 此段代码展示了如何加载预先训练好的 YOLOv5 模型实例，并对其进行评估模式切换以便后续测试用途。 ---
评论 134
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小馒头学python

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值