- 博客(9)
- 收藏
- 关注
RSS订阅原创 Datawhale AI夏令营-多模态大模型数据合成Task3 学习笔记
Data-juicer为我们提供了：标准接口数据基础处理能力当我们需要自定义算子时，我们的是基于标准算子基类进行改造。以文本长度过滤算子为例：通过标准算子类实现compute_stats以及process两个方法将算子注册到程序中。
2024-08-18 00:26:41
870
原创 Datawhale AI夏令营-多模态大模型数据合成Task2 学习笔记
由于经济限制，这次跑不动全量了。8张3090使用NVlink连接还要跑十几个小时，嗯，我已经闻到了钞票燃烧的焦味了。
2024-08-16 00:10:04
622
原创 Datawhale AI夏令营-多模态大模型数据合成Task1 学习笔记
由于云终端的限制，shell的信息到了一定程度后会自动清理，因此两个shell脚本一定是要时刻关注的！同时，由于研究download.sh时没有注意到第一行对于环境变量的设定，导致我误下了一整份官方数据集到工作区 /mnt/workspace之外了，希望阿里云会自己清理掉。最后统计，100G的存储空间我一共花了98G，要想训练顺利，必须要扩容了。同时为了确保所有人最基础的命令不会缺失，索性在创建虚拟环境并进入后将所有需要的工具命令一并输入。apt update。
2024-08-13 23:36:52
803
原创 Datawhale AI夏令营-AI+物质科学Task3 学习笔记
在这次实践开始之前，助教们都注意到了大家深度学习分数偏低，因此召开了一次上分研讨会，在这里，大家讨论总结了一些经验教训。关于epoch：epoch越大，训练得越久，一般而言模型得性能会更好。但是也有可能会出现过拟合现象。这可也太真实了。所谓过拟合，就是模型过分学习了训练数据，导致泛化能力减弱的现象。一个极端的例子是：模型完全死记硬背记住了所有训练数据，因此在训练数据上的预测结果为满分。但是对于没在训练过程中见过的数据，却完全无能为力。
2024-08-03 21:13:36
1553
原创 Datawhale AI夏令营-AI+物质科学Task2 学习笔记
这是一个全新的时代，一个由AI驱动的时代，几乎什么东西都可以用AI去跑，用AI去拟合。因此有人提出一个问题:"AI会不会有一天取代人的劳动力？注意，这里提的是，并不是。换言之，人能做的事情，AI是不是都能做到？比如说，这次我们使用AI对催化剂产率的预测，可不可以和人的计算做得一样好？至少我们这些青年学生进行尝试时做得并不够好——这个准确率分数能够到0.4/1就已经是烧高香的地步了，“炼丹”的威名恐怖如斯！但，至少这个AI能干事，不是吗？
2024-07-31 23:38:57
1326
原创 Datawhale AI夏令营-多模态Task1学习笔记
在深度学习中，模型训练通常需要进行多次迭代，而不是单次完成。深度学习模型的训练本质上是一个优化问题，目标是最小化损失函数。梯度下降算法通过计算损失函数相对于模型参数的梯度来更新参数。由于每次参数更新只能基于一个数据批次来计算梯度，因此需要多次迭代，每次处理一个新的数据批次，以确保模型在整个数据集上都能得到优化。设置训练模式：通过调用将模型设置为训练模式。在训练模式下，模型的某些层（如BatchNorm和Dropout）会按照它们在训练期间应有的方式运行。遍历数据加载器：使用遍历提供的数据批次。input。
2024-07-14 20:56:43
1019
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人