踩坑记录——记一次训练提交baseline全过程

最新推荐文章于 2022-08-14 15:37:45 发布
原创 最新推荐文章于 2022-08-14 15:37:45 发布 · 2.2k 阅读 · 14 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#docker #windows #python #pytorch #bert

本文记录了一位新手如何在Windows 10专业版环境下，通过Docker提交天池比赛的BERT模型，包括环境配置、数据处理、模型训练和Docker部署的详细步骤，旨在帮助其他初学者避免踩坑。

目录

目的

  根据Datawhale大佬们提供的baseline训练模型，并通过docker的方式提交到天池比赛，获得自己的分数。对于新手来说，并没有看起来那么轻松，特此记录踩坑历程。感谢老师们的指点！

背景

个人配置

  • 操作系统：windows10专业版（Tipis：家庭版装docker会有区别）
  • 显卡：RTX3070
  • 环境：pytorch1.7.1（GPU版）+ CUDA11.1 + Pycharm + windows版Docker

赛题要求

  Tips：之后将基于该baseline教程，详细叙述我的配置历程。

本机跑通Baseline

pytorch配置

  • 关于windows版的Anaconda+Pytorch+Pycharm+Cuda配置可以看我之前总结的博客：地址
  • 关于CuDNN的配置可以看我另一篇总结：地址

  踩了许多坑的总结~

准备环节

  git clone模型文件到本机，项目命名为tianchi-multi-task-nlp，运行环境为pytorch虚拟环境，编译器为Pycharm。

添加transformers和sklearn

  pytorch虚拟环境中并没有这两项，我们需要使用pip安装一下。不过要注意一点，我们需要将这两个包安装到pytorch虚拟环境下，而不是直接在cmd中全局安装。
  打开Anaconda->powershell prompt，我们通过powershell prompt进入pytorch虚拟环境。

conda activate <pytorch环境名称(自己命名)> #激活虚拟环境

pip install transformers #安装transformers
pip install sklearn      #安装sklearn

  安装结果如图：
在这里插入图片描述

数据文件及bert配置

  下载中文预训练BERT模型bert-base-chinese，地址：https://huggingface.co/bert-base-chinese/tree/main
在这里插入图片描述
  只需下载config.json、vocab.txt和pytorch_model.bin，把这三个文件放进tianchi-multi-task-nlp/bert_pretrain_model文件夹下。

在这里插入图片描述
  下载比赛数据集，把三个数据集分别放进tianchi-multi-task-nlp/tianchi_datasets/数据集名字/下面：

  • OCEMOTION/total.csv:
最低0.47元/天 解锁文章
【图像超分】论文复现：万字长文！Pytorch实现EDSR！代码修改无报错！踩坑全记录！适合各种深度学习新手！帮助你少走弯路！附修改后的代码和PSNR最优的模型权重文件！
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
04-16 3610
Pytorch实现EDSR！代码修改无报错！踩坑全记录！适合各种深度学习新手！帮助你少走弯路！附修改后的代码和PSNR最优的模型权重文件！讲解细致，EDSR流程全通，代码注释丰富，适合新手入门阅读！深度思考，踩坑报错全记录，代码中均已修正！python实现matlab中的RGB转YCbCr，解决matlab.engine无法使用的问题！EDSR的性能与论文接近！
tianchi_bert_nlp：天池NLP中文预训练模型泛化能力挑战赛的配套代码
02-14
使用说明 找个预训练的bert丢数据/ pre_model_dir文件夹，然后运行main.py就可以了 模型下载地址 项目介绍： : 代码说明地址：（或者直接下载本地的notebook） 文件树 ├── BertRCNN # 模型文件 │   ├── args.py # 模型的默认参数，不用管它 │   └── BertRCNN.py # 模型 ├── config.py # 配置文件，看看你想改啥，最好不要动文件 ├── data # 原始数据 │   ├── NLP_A_Data1128.md │   ├── pre_model_dir # 需要你把模型下载丢进去 │   │   ├── bert_config.json │   │   ├── pytorch_model.tar.gz # 这是一个gz结尾的文件，如果你下载下来没有那就把bert_config.js
组队学习-NLP实践-中文预训练模型泛化能力挑战赛（文本分类，bert）
THEGREATHXY的博客
02-21 378
组队学习-NLP实践-中文预训练模型泛化能力挑战赛Docker 安装与使用阿里云镜像仓库baseline本机运行并提交 Docker 安装与使用 参考：https://mp.weixin.qq.com/s/JiimSmuD3S5lSS9MmH2GJw 下载MAC版本的docker： https://hub.docker.com/editions/community/docker-ce-desktop-mac/ 阿里云镜像仓库 这里以申请阿里云容器镜像服务（免费），并创建仓库为例，其他仓库如dockerhu
中文预训练泛化能力比赛
zhouzhu111111的博客
02-21 195
中文预训练泛化能力挑战赛参加记录task1安装docker功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 task1 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器,
天池-全球人工智能技术创新大赛【热身赛二】-中文预训练模型泛化能力挑战赛-NLP
qq_39544991的博客
02-22 446
背景 由DataWhale提供的baseline去训练模型,并通过docker的方式将本地代码打包成镜像提交到天池。以此记录整个过程。 赛题信息 赛题地址:全球人工智能技术创新大赛 热身赛二: 中文预训练模型泛化能力挑战赛 Baseline Baseline：由DataWhale提供的Baseline 环境配置 Docker配置： 【入门】Docker练习场 Docker环境配置指南！     注意:关于Docker的下载与配置中,win10专业版和家庭版在安装Docker过程中区别很大,由于我
NLP实践-中文预训练模型泛化能力挑战赛Task01
weixin_38816795的博客
02-20 379
NLP实践-中文预训练模型泛化能力挑战赛Task01 Docker的使用 Docker用于打包应用以及依赖包到一个轻量级、可移植的容器中。实现了类似虚拟化的功能 Docker容器通过Docker镜像来创建。 两者的关系类似于面向对象编程的对象与类。 Docker 面向对象 容器 对象 镜像 类 docker pull registry.cn-shanghai.aliyuncs.com/tcc-public/python:3 作用：下载基础镜像，可在此基础镜像的基础上构建新的镜像。
记一次小白调参baseline——NLP中文预训练模型泛化能力比赛
面包猎人
02-26 2014
目的   前情提要   根据Datawhale大佬们提供的baseline训练模型以及优化方向，对baseline进行改进以期提高分数。对于小白本白来说，very very hard，特此记录过程以鞭策自己，目前仍在艰难探索ing~再次感谢大佬们的指点！ 背景 个人配置 本机显卡：RTX3070； 目前租用两块3090试一试水； 以及第一次调baseline的小白~ 赛题要求 赛事信息：天池->全球人工智能技术创新大赛【热身赛二】 Datawhale提供的baseline（特别感谢~）：地
[组队学习]--第一次训练baseline
qq_35154293的博客
02-21 283
训练代码 参加的 天池-中文预训练模型泛化能力挑战赛 ，根据Datawhale提供的代码，在自己的机器上跑一遍训练流程。 准备阶段 代码下载 clone 下来代码，通过Pycharm打开项目。 环境配置 根据readme中的提示，下载 Pytorch,transformers,sklearn。 在之后的代码运行中，遇到了Pytorch版本不匹配的问题。我才开始安装的是 1.1.0，不行后面又安装的1.2.0，也不行。但是我的CUDA版本为10.0，只能支持到1.2.0，所以又把CUDA升级到10.1，安装
NLP中文预训练模型泛化能力挑战赛-数据集
03-19
NLP中文预训练模型泛化能力挑战赛数据集 OCNLI_a.csv OCEMOTION_a.csv OCEMOTION_train.csv OCNLI_train.csv TNEWS_a.csv TNEWS_train.csv
中文预训练模型泛化能力挑战赛（下）：上分技巧
南有芙蕖
02-25 1749
中文预训练模型泛化能力挑战赛（下）：上分技巧 目录中文预训练模型泛化能力挑战赛（下）：上分技巧一、比赛改进思路二、BERT模型的改进三、其他改进思路四、经验参考资料 一、比赛改进思路 修改 calculate_loss.py 改变loss的计算方式，从平衡子任务难度以及各子任务类别样本不均匀入手； 修改 net.py 改变模型的结构，加入attention层，或者其他层； 使用 cleanlab 等工具对训练文本进行清洗； 做文本数据增强，或者在预训练时候用其他数据集pretrain； 对训练好的模型再
中文预训练模型泛化能力挑战赛
nanke_4869的博客
02-04 2045
目录赛题描述及数据说明数据说明数据格式评测方案计算公式：macro f1sklearn 计算方式 (python):赛题分析多任务学习多任务学习动机模型结构硬共享模式软共享模式共享-私有模式loss优化代码实践Step 1:环境准备Step 2：数据读取1) 数据集合并2)标签编码3) 数据信息查看Step 3: 数据分析（EDA）1) 子句长度统计分析2)统计标签的基本分布信息Step 4: 预训练模型选择1) 模型选择2) 调优参数配置Step 5: 模型构建1) 切分数据集（Train,Val）进行模
NLP中文预训练模型泛化能力挑战赛-Baseline算法实现
徐先森的博客
12-30 831
NLP中文预训练模型泛化能力挑战赛，使用tensorflow1.x版本实现Baseline算法，第一阶段分数0.6236
《预训练周刊》第55期：中文预训练进展、大模型泛化、模型下游性能预测
BAAIBeijing的博客
07-29 603
No.55智源社区预训练组预训练研究观点资源活动周刊订阅告诉大家一个好消息，《预训练周刊》已经开启“订阅功能”，以后我们会向您自动推送最新版的《预训练周刊》。订阅方法：方式1：扫描下面二维码，进入《预训练周刊》主页，选择“关注TA”。方式2：点击本文下方的“阅读原文”，进入《预训练周刊》Hub社区版，根据内附的详细订阅步骤，完成订阅。关于周刊本期周刊，我们选择了7篇预训练...
Centos 7 腾讯云镜像加速下载
weixin_43307409的博客
03-02 1145
背景 使用docker pull 镜像时，默认pull 的是 Docker hub 里的镜像，由于一些原因，下载极其缓慢。 鉴于此，可以使用腾讯云 Docker 镜像加速下载 操作方法 执行以下命令 vim /etc/docker/daemon.json 添加如下代码 { "registry-mirrors": [ "https://mirror.ccs.tencentyun.com" ] } 重启docker (不是root 用户请在命令前加上 sudo) systemctl resta
天池-基于预训练任务的泛化能力
weixin_41804613的博客
02-21 353
天池-基于预训练任务的泛化能力背景流程Linux平台（模型部分）MAC平台(docker提交部分) 背景 这是基于Datawhale的一次学习机会，其中涉及到了transformer,torch,以及docker的应用。 比赛链接 baseline链接 流程 由于本地的计算资源有限，所以是会有切换平台(mac, linux)进行操作，不同平台承担的工作如下 Linux平台（模型训练部分） 根据提供的额baseline结果，跑通对应的模型 mac平台（docker部分） 根据docker，进行结果的提交
天池-全球人工智能技术创新大赛【热身赛二】-中文预训练模型泛化能力挑战赛-NLP-改进优化
qq_39544991的博客
02-25 434
背景     由上篇文章可知,baseline跑通,需对模型进行改进和优化。 优化思路 1.修改 calculate_loss.py 改变loss的计算方式，从平衡子任务难度以及各子任务类别样本不均匀入手； 2.修改 net.py 改变模型的结构，加入attention层，或者其他层； 3.使用 cleanlab 等工具对训练文本进行清洗； 4.做文本数据增强，或者在预训练时候用其他数据集pretrain； 5.对训练好的模型再在完整数据集（包括验证集和训练集）上用小的学习率训练一个epoch； 6.调整
阿里中文预训练模型泛化能力挑战赛 Task1
小胖鸡的博客
02-22 409
阿里中文预训练模型泛化能力挑战赛 Task 1 背景 背景 赛题以自然语言处理为背景，要求选手通过算法实现泛化能力强的中文预训练模型。通过这道赛题可以引导大家更好地理解预训练模型的运作机制，探索深层次的模型构建和模型训练，而不仅仅是针对特定任务进行简单微调。 ...
天池NLP中文预训练模型赛来了！
Datawhale
11-21 616
↑↑↑关注后"星标"Datawhale每日干货&每月组队学习，不错过Datawhale赛事主办单位：阿里云，CLUE，乐言科技自从2017年具有划时代意义...
[ vulhub漏洞复现篇 ] zabbix SQL注入漏洞 （CVE-2016-10134）
qq_51577576的博客
08-14 5506
👨‍🎓 博主介绍：大家好，我是，很高兴认识大家~✨主攻领域：【渗透领域】【数据通信】 【通讯安全】 【web安全】【面试分析】🎉欢迎关注💗一起学习👍一起讨论⭐️一起进步📝文末有彩蛋🙏作者水平有限，欢迎各位大佬指点，相互学习进步！......
如何在代码中插入wandb以记录实验过程
最新发布
03-19
<think>嗯，用户想了解如何在代码中集成wandb来记录实验过程。我之前学过一些关于wandb的知识，记得它主要用于机器学习实验的跟踪和管理。首先，用户可能需要基本的配置步骤，比如安装和登录。安装应该是通过pip安装wandb库，然后使用wandb.login()来登录，这需要API密钥。 接下来，用户可能需要初始化一个实验运行。使用wandb.init()函数，里面需要设置项目名称、运行名称、备注和标签等参数。项目名称是最高级的分类，运行名称可以具体到某次实验，备注和标签有助于后续筛选和分析。比如用户提到的project="cat-classification"，name和notes的设置，这些参数应该都放在init里。 然后，记录超参数和指标。超参数可以用wandb.config来保存，比如学习率、批次大小这些。在训练循环中，用户可能需要记录损失、准确率等指标，这时候用wandb.log()函数，定期或在每个epoch结束后记录。比如wandb.log({"loss": loss, "acc": acc})。 用户可能还关心如何上传文件或保存模型。wandb.save()可以用于保存模型文件，而wandb.log_artifact()可以记录其他类型的文件，比如数据集或配置文件。此外，wandb.Image()可以用来记录图像，比如混淆矩阵或样本图片，帮助可视化结果。 需要提醒用户注意密钥的安全性，不要将API密钥直接写在代码里，而是通过环境变量或者配置文件来管理。另外，不同的框架（如PyTorch、TensorFlow）可能有特定的集成方式，用户可能需要查看相应的示例代码。例如，引用中的超参搜索colab示例可能对用户有帮助。 用户的问题还可能涉及如何查看记录的数据，这时候需要引导他们到wandb的网页端查看。生成的图表和日志信息会自动同步到那里。可能还需要提到sweep功能，用于超参数搜索，但用户的问题目前集中在基础记录上，所以可能暂时不需要深入讲解。 最后，确保用户了解代码示例中的每个步骤，并能够根据实际项目调整参数。比如修改project名称，调整记录的指标频率，或者添加更多的日志信息。可能还需要提到异常处理，比如在代码结束时调用wandb.finish()，或者在发生错误时确保运行正确关闭。 总结一下，回答应该分步骤，从安装、登录、初始化、记录参数和指标、保存文件到结束运行，每一步都给出代码示例，并引用相关的文档或示例链接供用户参考。同时，生成的相关问题可以引导用户进一步学习高级功能或解决常见问题。</think>以下是如何在代码中使用wandb记录实验过程的步骤说明： ### 一、基础集成步骤 1. **安装与登录** ```python pip install wandb # 安装库 import wandb wandb.login(key='your_api_key') # 密钥在wandb官网个人主页获取 [^3] ``` 2. **初始化实验运行** ```python run = wandb.init( project="cat-classification", # 项目名称（网站可见的顶层分类） name="vgg16-baseline", # 当前实验的标识名称 notes="添加了注意力层", # 实验改动说明 tags=["baseline", "paper1"], # 分类标签 config={ # 记录超参数 "learning_rate": 0.001, "batch_size": 32, "epochs": 50 } ) ``` ### 二、核心记录功能 3. **训练过程记录** ```python for epoch in range(epochs): train_loss = 0.0 acc = 0.0 # 训练循环... # 记录指标 wandb.log({ "epoch": epoch, "train_loss": train_loss, "val_acc": acc, "confusion_matrix": wandb.plot.confusion_matrix(...) # 可视化支持 }) ``` 4. **文件与模型保存** ```python # 保存模型检查点 torch.save(model.state_dict(), "model.pth") wandb.save("model.pth") # 上传到wandb云端 # 记录数据集版本 artifact = wandb.Artifact('dataset', type='raw-data') artifact.add_dir('data/') wandb.log_artifact(artifact) ``` ### 三、高级功能示例 5. **超参数扫描集成** ```python sweep_config = { 'method': 'random', 'parameters': { 'learning_rate': {'values': [0.1, 0.01]}, 'optimizer': {'values': ['adam', 'sgd']} } } sweep_id = wandb.sweep(sweep_config, project="hyperparam-tuning") wandb.agent(sweep_id, train_function) # 参考超参搜索示例 [^2] ```
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值