【小白做科研( 八 )】关于Experiment

最新推荐文章于 2025-01-14 18:19:51 发布
原创 最新推荐文章于 2025-01-14 18:19:51 发布 · 930 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文作者在完成数据处理和论文复现后，分享了在PyTorch中使用Mask的场景，以及在实验中学到的画图、脚本编写和可视化技巧。提到了`torch.BoolTensor`用于处理padding，`matplotlib`的美观图表，`argparse`作为命令行参数解析工具，以及使用`tensorboard`进行训练过程的参数可视化。文章还简述了如何理解可视化参数图的分布变化，展示了一个新闻推荐系统的相关研究资源。

文章目录

前言

之前在忙考试周, 这个项目就搁置了一段时间, 最近考完试重新捡起来, 继续学习! 目前我们已经做完了数据处理, 复现了多篇论文的代码, 实验结果都和原论文一致, 接下来可以试一试提出自己的Idea并且做出一些实验啦~

做实验时有各种收获, 也学了几个新东西, 这一篇就打算分享一下

关于Pytorch

Mask

之前经常听到Mask这个词, 看了bert论文后知道原来是“遮住”一些词。那么除了作为预测任务外, 我们什么时候需要mask呢？

我目前遇到的情况就只有一种:即当我们不想让模型计算和padding相关的某些值时, 需要将padding的0或者是由这些0计算得到的结果mask掉

  • 比如KRNM中就会mask掉doc中padding的单词和query中任何单词交互后kernel过滤的结果, 也会mask掉query中padding的单词和doc中的任何词交互kernel过滤的结果

PyTorch中有很方便的接口tensor.masked_fill(), 具体可以参考文档, 注意可以方便地讲只包含0,1的tensor转化为布尔类型, 只需要tensor.bool()

一些学习笔记

自己一直在总结PyTorch中的一些好用的api之类的, 都在

最低0.47元/天 解锁文章
【超分辨率（Super-Resolution）】关于【超分辨率重建】专栏的相关说明，包含专栏简介、专栏亮点、适配人群、相关说明、阅读顺序、超分理解、实现流程、研究方向、论文代码数据集汇总等
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
03-25 2万+
本专栏研究领域为【超分辨率重建】，涵盖图像超分、视频超分，实时超分，4K修复等方面。主要内容包括主流算法模型的论文精读、论文复现、毕业设计、涨点手段、调参技巧、论文写作、应用落地等方面。算法模型从SRCNN开始更新至今，一般是一篇论文精读对应一篇论文复现。论文精读详解理论，归化繁为简，归纳核心，积累词句，培养阅读论文和论文写作能力。论文复现依托Pytorch代码，实现完整的模型训练流程，总结调参方法，记录碰到的bug，论文插图可视化，培养读写代码能力、做实验的能力、以及应用落地能力。
【科研】科研神器
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
05-23 1593
目录 1、简介 2、工具 文献管理软件 1）Endnote 2）Notepress 3）Zotero 统计处理软件 1）SPSS 2）Origin 3）GraphPad Prism 学术英文词典工具合集 1）近义词辨析：https://wikidiff.com/neglect/omit 2）语言模型帮你找搭配：https://linggle.com 3）科研论文里常见哪些词组：http://www.esoda.org/ 4）学术用语检索: https://www.phr..
学术论文写作 | (3) Experiment写作套路
sdu_hao的博客
02-24 4898
描述图表中的实验结果，可以这么说： What stands out in the table is …（表格中突出的是……） Closer inspection of the table shows …（对表格的仔细检查表示…） It is apparent from this table that …(从这张表可以明显看出…) The most interesting aspect of ...
TensorBoard的最全使用教程：看这篇就够了
热门推荐
deephub
02-23 10万+
机器学习通常涉及在训练期间可视化和度量模型的性能。有许多工具可用于此任务。在本文中，我们将重点介绍 TensorFlow 的开源工具套件，称为 TensorBoard，虽然他是TensorFlow 的一部分，但是可以独立安装，并且服务于Pytorch等其他的框架。 什么是 TensorBoard？ TensorBoard 是一组用于数据可视化的工具。它包含在流行的开源机器学习库 Tensorflow 中。TensorBoard 的主要功能包括： 可视化模型的网络架构 跟踪模型指标，如损失和准确性等 检查
leetcode简单之1990.统计实验的数量
Janice的博客
04-16 2585
表: Experiments Column Name Type experiment_id int platform enum experiment_name enum experiment_id 是这个表的主键. platform 是枚举类型的，取值是这三种 (‘Android’, ‘IOS’, ‘Web’) 之一. experiment_name 也是枚举类型的，取值是这三种 (‘Reading’, ‘Sports’, ‘Programming’) 之一. 这个表包含有关随机
Python_Experiments：这是我用于Python实验的远程存储库
02-21
Python_Experiments：这是我用于Python实验的远程存储库
【小白做科研（二）】理解论文
namespace_Pt的博客
10-25 772
上一篇讲到了论文的命名方法，阅读框架等，这一篇主要说一下怎样让自己更能读懂、理解论文； 1. 明确动机，前后呼应 要明确每一篇论文的写作动机，动机里的各个细节都对应了模型的哪些创新之处。 2. Experiment也有其重要性 有的时候赶着看论文，就不看experiment，但其实好多时候前面说的一些方法，我们只是看上去懂了，其实还是没懂；很多输入的初始化、整个模型的基础构建都是在experiment中进行阐述的，因此还是得注意一下。 3. 模型图 其实有的论文感觉看一眼模型图好像就懂了大概，有的论文看了模
小白如何进行科研论文阅读笔记
不想随波逐流的大学生一枚，我们每个人都在努力奔跑
03-01 403
本篇文章是对别人分享的如何去进行科研论文阅读的方法总结。 穷理以致知，一文而四问。 abstract是必须看明白的，一个一个词去抠，introduction不必看...
【科研小白系列】如何精读论文——总结李沐老师
Yaoyao2024的博客
09-23 1058
最近在做缺陷检测相关的项目，和以前做的一些项目不一样，并没有直接开源的代码可以用（Like Yolo, 只用调调参，准备一下数据集然后直接训练和使用）。也许这才是真正的科研吧，并没有现成的可参考完全适用的方案。需要自己一步一步搜集论文、看开源代码，慢慢想出一个适合自己需求的方法。这对我来说是一个挑战，找到的开源代码你不仅需要读懂整个开源代码，就算后续用上自己的数据集进行训练，效果也不一定如意（这是我目前的情况），于是我需要修改源码，修改一个适合我需求和数据集的代码和模型。
talos：TensorFlow，Keras和PyTorch的超参数优化
02-05
Keras的超参数优化 •••••••• Talos通过完全自动化的超参数调整和模型评估，从根本上改变了普通的Keras工作流程。 Talos完全公开了Keras功能，没有新的语法或模板可学习。 塔罗斯 TL; DR Talos可以从根本上改变普通的Keras工作流程，而不会占用任何Keras。 与任何Keras模型一起使用 花费几分钟来实施 无需学习新语法 为您的工作流程增加零新开销 Talos专为希望完全控制其Keras模型的数据科学家和数据工程师而设计，但他们厌倦了无意识的参数跳跃和令人困惑的优化解决方案，这些解决方案增加了复杂性而不是降低了复杂性。 几分钟之内，Talos无需学
Python-TalosKeras模型超参调优工具
08-09
Talos - Keras模型超参调优工具
【图像去噪（Image Denoising）】关于【图像去噪】专栏的相关说明，包含适配人群、专栏简介、专栏亮点、阅读方法、定价理由、品质承诺、关于更新、去噪概述、文章目录、资料汇总、问题汇总（更新中）
最新发布
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
01-14 1万+
你是否在全网苦寻【图像去噪（ImageDenoising）】的相关资料？你的目标是否是看懂【图像去噪（ImageDenoising）】的相关论文，复现代码，跑出结果，并试图创新？你是否需要发表【图像去噪（ImageDenoising）】的相关论文毕业？你是否需要做【图像去噪（ImageDenoising）】的相关项目，开发软件，研究算法，获得专利或者软著？只要是与【图像去噪（ImageDenoising）】有关的问题，那么请继续往下看。
基于pytorch的模型定点化
u012329554的博客
05-30 1153
%matplotlib inline (experimental) Dynamic Quantization on an LSTM Word Language Model Author: James Reed <https://github.com/jamesr66a>_ Edited by: Seth Weidman <https://github.com/SethHWeidman/>_ Introduction Quantization involves converting
【小白做科研（四）】复现代码（上）
namespace_Pt的博客
11-07 1万+
写在前面 其实之前虽然我自己也瞎整了一些深度学习的代码（验证码识别、实体识别），也都发了博客，但无一例外都是参考现有的代码进行阅读理解演算，然后自己删删改改完成的，我只知道在某一步用某个函数完成了某个功能，但是我一直没有搞明白为什么要在这一步完成这个功能，对其中的机理只能不求甚解； 这样就像我先看答案再做题，尽管看完做完后，我这道题会了，但是遇到新的问题时，我就会倾向于先去看答案，而不是自己思考；如果找不到答案并且在从头学起的时候遇到困难，就会畏缩和放弃。 这种状态必须改变，从何改起？答案就是自己从零开始。
【小白做科研（一）】论文的命名、组织和论文内容梳理
namespace_Pt的博客
10-04 3118
本小白最近在看论文，只看不理解肯定是不行的，但我在如何记录自己的理解收获时有点小纠结：我是用ipad手写？还是用markdown打字？如果使用markdown，那我要给每一篇论文新开一个markdwon还是在一个文件中记录总结所有的想法？现在我找到了一个比较舒服的方式，给大家安利一手： 怎么给组织下载下来的论文？ 建议每一篇下载的文献，用其发表年份+论文题目命名，比如2018-News session based recommendation susing deep neural networks， 而每
【小白做科研（五）】复现代码（下）
namespace_Pt的博客
11-15 2911
前言 上次说到了复现模型，欠着训练和评测都没讲，这周把训练评测都搞定了，然后又复现了一篇新的，有一个感触就是深度学习这些模型看着感觉怪吓人，但是代码逻辑都不复杂，甚至还没有算法导论难hhh，而且自己写一写这些代码，真的感觉入了门，以及pytorch forum竟然给我发了邮件说把我提升了用户评级（因为我经常看他们博客）hh~ 这一篇也主要分享一些看到的好的博客，以及遇到的各种困难， 还有解决的过程。 数据处理 之前搬了微软在TensorFlow平台实现的手写iterator到Pytorch上，心里其实一直有
【小白做科研（三）】数据处理
namespace_Pt的博客
11-01 1733
读了很多论文，咱们自己心里也对整体的进展有了一些了解和脉络，那么下一步就可以试着复现啦~ 而要复现人家的代码，那肯定得找人家的数据集，数据到手后就可以开始处理了~ 这篇主要粘一些看到的比较好的博客 平台 我自己就是觉得pytorch比tensorflow帅hhhh，而且很多师兄大佬也说pytorch比较好，那就可以先从官网教程开始了解~ 需要指明一点，大家安装pytorch后其实不需要装cuda也可以用gpu（因为torch里附带了一些cuda的驱动），但是好像是功能受限，如果想要完整版应该还是得老老实实
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值