【深度学习】深度学习介绍

深度学习介绍

基本概念

• 符号主义 20世纪50-70
  • 专家系统占主导
    • 图灵设计国际象棋
    • IBM跳棋程序战胜人类高手
• 统计主义 20世纪80-2000
  • 主要用统计模型解决问题
    • 1993 SVM
• 神经网络 21世纪初期
  • 神经网络 深度学习流派
    • 2012 AlexNet 深度学习开山之作
    • 2016 AlphaGO 战胜李世石
• 大规模预训练模型 2017-至今
  • 2017 Transformer 自然语言处理NLP框架出现
  • 2018 Bert 和 GPT 出现
  • 2022 ChatGPT 出现
  • 2023 至今 百模大战 大模型进入快速发展阶段

深度学习是机器学习的一个子集

1. 人工智能（AI）：这是最广泛的概念，指的是使机器能够模拟人类智能行为的技术和研究领域。AI包括理解语言、识别图像、解决问题等各种能力。
2. 机器学习：机器学习是实现人工智能的一种方法。它涉及到算法和统计模型的使用，使得计算机系统能够从数据中“学习”和改进任务的执行，而不是通过明确的编程来实现。机器学习包括多种技术，如线性回归、支持向量机（SVM）、决策树等。
3. 深度学习：深度学习是机器学习中的一种特殊方法，它使用称为神经网络的复杂结构，特别是“深层”的神经网络，来学习和做出预测。深度学习特别适合处理大规模和高维度的数据，如图像、声音和文本。

• 所有深度学习都是机器学习,弹并非所有机器学习都是深度学习
• 这种技术使用被称为’神经网络’的算法结构,灵感来源于人脑的神经元网络
• 在深度学习的过程中,每一层神经网络都对输入数据进行处理,从而学习到数据中的特征和模式
• 深度学习的关键是’反向传播’算法,他通过计算损失函数,并将这种误差返回给网络的每一层,来调整每层的权重
• 深度学习的成功依赖于大量的数据和强大的计算能力

使用场景

• 图像识别处理
• 自然语言处理NLP
• 音频处理
• 视频分析
• 游戏和仿真
• 自动驾驶汽车
• 推荐系统
• 金融领域
• 医疗领域

研究成果和趋势

• 自然语言处理NLP的进步
  • 更强大的语言模型 如GPT-4
  • 细粒度的语言理解
• 计算机视觉的创新
  • 更准确的图像识别
  • 视频理解
• 强化学习的突破
  • 自我学习能力的增强 如deepmind的alphazero
  • 现实世界的应用 如机器人
• 医疗和生物学的应用
  • 药物发现和疾病诊断
  • 基因组学
• 声音处理和音乐创造
• 解释性和透明度的提升
• 深度学习技术的优化

流行框架及算法

深度学习框架

1.TensorFlow

TensorFlow是Google开发的一款开源软件库，专为深度学习或人工神经网络而设计。TensorFlow允许你可以使用流程图创建神经网络和计算模型。它是可用于深度学习的最好维护和最为流行的开源库之一。TensorFlow框架可以使用C++也可以使用Python。你可以使用TensorBoard进行简单的可视化并查看计算流水线。其灵活的架构允许你轻松部署在不同类型的设备上。不利的一面是，TensorFlow没有符号循环，不支持分布式学习。此外，它还不支持Windows。

• 出生地：Google
• 特点：计算图、分布式训练效果强、底层C构建速度快，生态强大
• 主要调包语言：