- 博客(6)
- 收藏
- 关注
RSS订阅原创 昇思MindSpore技术公开课--代码预训练--学习心得
此外，我也希望能够深入研究深度学习和自然语言处理领域的最新进展，不断提升自己的技能和知识。通过这门课程，我对代码预训练模型的发展和应用有了更深刻的理解。最大的收获是了解了不同的代码预训练任务和模型，以及它们在代码生成和理解方面的潜力。我认为MindSpore昇思是一个强大的工具，但更多的示例和操作指南可以帮助学习者更好地利用这个工具进行代码预训练模型的开发和训练。此外，课程提到了混合精度训练等优化策略，这些技巧对于训练大规模模型非常有帮助，学习者可以尝试应用到自己的项目中。
2024-01-24 00:50:29
405
原创 昇思MindSpore技术公开课--BERT--学习心得
最大的收获是对BERT模型的深入理解，包括其预训练过程和下游任务微调的方式。我期待进一步探索BERT模型在各种NLP任务中的应用，同时也希望能够深入研究深度学习和自然语言处理领域的最新发展。BERT的出现标志着自然语言处理领域的新时代，我对其未来的发展和应用充满信心。在学习BERT课程时，我发现理解语言模型的发展历程对于理解BERT的背景和重要性非常重要。关于MindSpore昇思，课程提供了一些有用的示例，但还可以提供更多详细的操作指南，以帮助学习者更轻松地使用这个工具。
2024-01-24 00:46:22
471
原创 MindSpore自动并行--学习心得
重计算时间换空间：重计算技术可以不保存正向计算结果，让该内存可以被复用，然后在计算反向部分时，重新计算出正向结果。优化器并行——ZeRO将参数和梯度分组放到不同卡上更新，再通过通信广播操作在设备间共享更新后的权值。昇思MindSpore自动并行用户的神经网络在单卡上无法计算，但是不知道如何配置算子策略。用户启动这种模式，MindSpore会自动针对每个算子进行配置策略，适合想要并行训练但是不知道如何配置策略的用户。
2024-01-24 00:40:36
884
原创 昇思MindSpore技术公开课--Prompt Tuning学习心得
本课程涵盖了自然语言处理领域的重要概念和知识点，包括模型发展、自监督学习、预训练模型、Transformer架构、机器翻译、情感分类等内容。
2024-01-24 00:18:53
900
原创 昇思MindSpore技术公开课--GPT2学习心得
课程实践部分展示了如何使用GPT-2来训练一个文本摘要模型，这是一个自回归预训练任务。其中包括文本长度处理、使用自动混合精度、处理输入和输出序列以进行文本生成预测。
2024-01-24 00:02:42
480
原创 昇思MindSpore技术公开课--Transformer学习心得
华为的盘古西格玛模型展示了大模型技术的前沿应用，激发了对人工智能领域的浓厚兴趣。MindSpore昇思是一个强大的工具，支持大模型技术的开发和应用。这些经验可以帮助学生更好地应对复杂的大模型技术学习，并在实际应用中取得更好的成绩。在不断的学习和实践中，将不断积累经验，提高自己在人工智能领域的专业水平。：大模型技术的演变历史涵盖了从统计模型到神经网络模型再到预训练模型的进展。不断探索和发现新的领域，尝试解决新的问题，这将有助于更全面地理解大模型技术的应用领域。：对于复杂的概念和算法，逐步学习非常重要。
2024-01-23 22:48:27
449
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人