机器学习基础

1.1 人工智能概述

1 应用场景
    电子商务,卫星网络...
2 案例
    目标检测,风格案例
3 三要素
    数据
    算法
    计算力
        CPU:IO密集型程序
        GPU:计算密集型,并行运算
4 关系
    机器学习是人工智能的实现途径
    深度学习是机器学习的一种方法发展而来的

1.2 人工智能发展历程

1 起源
    图灵测试
    达特茅斯会议(1956年  人工智能元年)
2 发展
    起步
    反思
    应用
    低迷
    稳步
    蓬勃

1.3 人工智能的主要分支

1 计算机视觉
2 自然语言处理
    语音识别
    文本挖掘
    机器翻译
3 机器人

1.4 机器学习工作流程

1 定义
    数据
    模型
    预测
    从数据中自动分析获得模型,利用模型对未知数据进行预测
2 流程
    1 获取数据
    2 数据基本处理
    3 特征工程
    4 机器学习
    5 模型评估
        效果好:上线服务
        效果不好:重复以上步骤
3 数据集介绍
    1 概念
    样本:一行数据
    特征:一列数据
    目标值:标签值,预测的结果
    2 数据类型
        有目标值有特征值 -目标值连续,离散
        只有特征值,没有目标值
    3 数据分割
        训练集:用于机器学习,80 70 75
        测试集:用于模型评估,20 30 25
4 数据基本处理
    缺失值,异常值处理
5 特征工程
    1 定义
    用专业的知识背景和技巧处理数据,是机器学习达到的更好的效果
    2 意义
    决定了机器学习效果的上限
    3 内容
    特征提取 -- 将任意数据转换为数字特征
    特征预处理 -- 将数据转换为更适合机器模型数据的过程
    特征降维 -- 减少特征个数
6 机器学习
    选择合适的算法
7 模型评估
    评估训练好的模型

1.5 机器学习算法分类

1 有监督学习
    输入:有特征值,有目标值
    输出:连续:回归
        离散:分类
2 无监督学习
    只有特征值
3 半监督学习
    部分有目标值,部分没有目标值
4 强化学习
    自动连续决策的过程
    要素:agent,action,environment,observation,reward

1.6 模型评估

1 分类
准确率,精确率,召回率,...
2 回归
均方根误差,平均绝对误差...
3 拟合
欠拟合:学到的特征太少,在训练集中表现不好
过拟合:学到的特征太多,在训练集中表现很好,在测试集中表现不好

1.7 azure平台实验

1.8 深度学习

从神经网络发展而来
低层负责简单的内容,越往高层越复杂

2.1 库的安装

2.2 Jupyter Notebook使用

1 简介
    Ipython的网页加强版
    编写代码,文档,展示
    .ipynb
2 原因
    目标不明确,通过执行代码来理解问题,解决问题
3 cell
    in out 会话
    编辑模式
    命令模式
4 鼠标操作
5 快捷键
    shift + enter :执行本单元代码,跳到下一单元
    ctrl + enter:执行本单元代码,留在本单元
    命令模式下:
    A:上方插入
    B: 下方插入
    M:markdown模式
    Y:代码模式
    编辑模式:
    Tab :补全代码
    ctrl+\:注释代码
6 markdown:
 # 标题
 - 缩进