目前的学习计划及学习资料

分步指南

阶段一：深度学习基础

1. 深度学习基础知识：

   - 学习深度学习的基本概念，包括神经网络、反向传播、优化算法等。

   - 掌握深度学习框架，如TensorFlow或PyTorch。

1. 深度学习进阶：

   - 学习卷积神经网络（CNN）、循环神经网络（RNN）等经典神经网络结构。

   - 了解深度学习模型的正则化方法，如Dropout等。

阶段二：大型模型架构

1. Transformer架构：

   - 深入学习Transformer的架构，包括自注意力机制、多头注意力机制、前馈神经网络等。

   - 了解Transformer在NLP和计算机视觉领域的应用。

1. 大型模型优化：

   - 学习大模型的优化技术，包括梯度裁剪、学习率调度、模型剪枝、量化等。

   - 了解模型的初始化策略，以及如何防止过拟合。

阶段三：领域专业知识

1. 自然语言处理（NLP）：

   - 学习NLP的基础任务，如文本分类、命名实体识别、语言建模等。

   - 了解预训练模型，如BERT、GPT等，并学会如何应用它们。

1. 计算机视觉：

   - 学习计算机视觉的基础任务，如图像分类、目标检测、图像生成等。

   - 了解卷积神经网络（CNN）的架构和应用。

阶段四：分布式计算和部署

1. 分布式计算：

   - 学习分布式计算的基础知识，包括集群管理、分布式训练、数据并行等。

   - 了解分布式训练框架，如Horovod等。

1. 模型部署：

   - 学习模型部署的方法，包括云端部署、移动端部署等。

   - 了解模型服务化和容器化的技术。

阶段五：实践和项目

1. 实践项目：

   - 参与实际项目，例如通过Kaggle等平台参与竞赛，或者解决实际问题。

   - 尝试使用大规模数据集和大型计算资源进行实验。

1. 学术论文阅读：

    - 定期阅读深度学习领域的学术论文，关注前沿技术和最新研究成果。

1. 社区参与：

    - 参与深度学习社区，如GitHub、论坛、社交媒体等，与其他开发者交流经验，获取反馈。

阶段六：持续学习和跟进

1. 持续学习：

    - 持续追踪深度学习领域的最新动态，参与在线课程、研讨会等。

    - 考虑报读深度学习相关的高级课程或研究生课程。

学习的一些相关网址：

• 1.1 欢迎_哔哩哔哩_bilibili    吴恩达深度学习
• 1. 第1节：Python基础- Python及其数学库1（上）_哔哩哔哩_bilibili   上海交大和腾讯强强联合的机器学习与深度学习课程分享
• 1. 1-深度学习要解决的问题_哔哩哔哩_bilibili 吹爆！我居然3小时学懂了深度学习五大神经网络（CNN、RNN、GAN、GNN、LSTM……
• 脉冲神经网路