- 博客(3)
- 收藏
- 关注
RSS订阅原创 llm入门01-Huggingface核心模块的使用
Tokenzier进行分词，分字及特殊字符–>对每一个token映射得到一个ID，并且得到一些辅助信息（当前词属于哪个句子。在使用时可能会因为网络的原因无法访问huggingface，可以采用科学上网，或者使用hf-mirror镜像即可解决问题。ps：注意attention_mask的设定，否则会计算padding。下一篇将记录模型基本训练方法。直接pip这个包即可。
2024-04-05 11:33:11
841
1
原创 Pytorch学习笔记—线性回归模型的实现
y_value = [2 * i + 1 for i in x_value] #根据训练集生成正确的标签。x_train = x_train.reshape(-1,1) #将数组reshape成1列。optimizer.zero_grad() #梯度清零。若使用GPU进行训练，需进行两点改动。#每50个epoch打印训练数据。#定义超参数和损失函数。1.将模型导入GPU。2.将数据导入GPU。
2024-01-06 10:52:54
726
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人