【人工智能基础2】【2】人工智能基础知识扫盲

一、人工智能基础知识

1、 监督学习和无监督学习

监督学习和无监督学习在机器学习中存在多方面区别：

• 数据标注：监督学习使用带有标签的数据进行训练，这些标签明确指示了预期的输出结果；无监督学习则处理未标记的数据，没有预先定义的输出标签。
• 学习目标：监督学习旨在学习输入数据和输出标签之间的映射关系，用于预测或分类新的数据；无监督学习主要是发现数据中的潜在模式、结构或关系。
• 应用场景：监督学习常用于解决分类和回归问题；无监督学习主要用于探索性任务，比如数据聚类和降维等任务。

以下是两者的实际应用例子：

• 监督学习：垃圾邮件分类。通过使用已标注为“垃圾邮件”或“正常邮件”的邮件数据进行训练，模型学习到垃圾邮件和正常邮件在文本特征、发件人信息等方面的差异，从而能够对新收到的邮件进行分类，判断其是否为垃圾邮件。
• 无监督学习：新闻文章聚类。在新闻网站中，每天会发布大量不同主题的文章，利用无监督学习的聚类算法（如K-means），可以将这些未标注主题的新闻文章按照内容的相似性分成不同的类别，如政治、经济、娱乐等，方便用户浏览和查找感兴趣的内容。

 

2、机器学习中有哪些常用的降维手段？

机器学习常用降维手段如下：

• 主成分分析（PCA）：无监督方法。
  把数据投影到新方向，让新方向上方差最大，保留关键结构。
  比如处理上万像素的图片，用它提取关键特征，减少数据量，像从大量图像细节中抓住主要轮廓。
• 奇异值分解（SVD）：无监督方式。
  分解矩阵，留下重要的奇异值和向量降维。
  如处理庞大的用户 - 商品评分矩阵，保留关键信息，降低维度来优化推荐系统。
• 线性判别分析（LDA）：监督学习方法。
  找个方向，让不同类别离得远，同类离得近，用于分类。
  比如区分垃圾邮件和正常邮件，通过对带标签邮件数据处理，降低维度提升分类效果。

 

3. 欠拟合和过拟合

过拟合

• 定义：机器学习里，过拟合指模型在训练数据上表现佳，但在新的测试数据中表现差，泛化能力弱。
• 原因
  • 模型复杂：参数多或结构复杂，像决策树过深、神经网络层数过多，会学习到训练数据里的噪声和细节，误把它们当作普遍规律。
  • 数据量少：训练数据不足，无法覆盖所有特征分布，模型易过度适应有限数据里的特殊情况。
  • 训练过久：迭代次数过多，模型记住训练数据细节包括噪声，而非本质特征。

欠拟合

• 定义：模型在训练和测试数据上表现都不好，没能力学习数据规律，预测不准确。
• 原因
  • 模型简单：过于简单的模型，如用线性模型处理复杂非线性数据，捕捉不到数据特征。
  • 特征不好：没选足够有效的特征，或所选特征与目标变量相关性弱，模型缺乏信息。
  • 训练不足：训练时间短、迭代次数少，模型没充分学习规律。

 

4. 神经网络是怎么训练的

训练步骤	具体内容
前向传播	输入层：输入经预处理的图像、文本、音频等数值向量数据 隐藏层：数据依次经多个隐藏层，神经元对输入加权求和，经激活函数非线性映射，提取特征 输出层：进行加权求和计算，输出与目标对应的数值向量或标量，如分类任务的类别概率值
损失计算	选函数：回归用均方误差，分类用交叉熵等合适损失函数 算损失：将预测输出与真实标签代入函数，得损失值，反映拟合程度，值越大差异越大
反向传播	算梯度：基于损失函数，用链式求导从输出层算各神经元误差对权重的偏导数（梯度），指示权重更新方向 更权重：依梯度，用梯度下降更新权重，沿梯度反方向按学习率决定的步长更新
迭代优化	重复训练：重复前三个步骤，使权重朝减小损失方向更新，提升模型性能 判断终止：损失收敛或达预设轮次停止训练，用验证集监控防过拟合

加权求和的作用

1. 特征组合：不同的权重可以强调某些输入特征的重要性，弱化其他特征的影响。
2. 模型学习：在训练过程中，神经网络会通过调整权重的大小，使得加权求和的结果更接近真实的标签。
    

权重的调整是基于损失函数和反向传播算法进行的，通过不断地迭代更新权重，模型可以学习到输入数据和输出结果之间的复杂关系。

 

5、常用的人工智能学习框架？

机器学习框架：Scikit-learn
深度学习框架：TensorFlow、PyTorch、MXNet等

 

6、卷积神经网络（CNN）在图像识别和处理中的作用

卷积神经网络（CNN）是深度学习中广泛用于图像识别和处理的模型。CNN通过模拟人类视觉系统的方式，自动学习图像的特征表示