wgc2k的博客

因为神经网络将输出 Y 计算为输入 X 的平滑或连续函数，即使串联多个不同模型，这些模型的输出也是可微的，所以可以使用梯度下降法同时训练它们；如果要构建由多个协同工作的机器学习模型组成的系统，训练多个神经网络比训练多个决策树更容易，这涉及到一些较技术的原因，在实际项目中会遇到。多年来，机器学习研究人员提出了许多构建决策树的方法，目前最常用的方法是对样本或决策树的实现收费。其中，XGBoost 是一种非常快速且易于使用的开源实现，已成功用于赢得许多机器学习竞赛和商业应用。但这两种方法各自的优缺点。

随机森林构建过程大体上分3步数据采样：从原始训练数据集有放回地随机采样，生成多个与原始数据集大小相同的子数据集。这使得每个子数据集都有一定的随机性，不同子数据集包含的样本可能不同，有些样本可能在多个子数据集中出现，有些则可能未被采样到。构建决策树：对于每个子数据集，分别构建一棵决策树。在构建决策树的过程中，对于每个节点，随机选择一个特征子集，然后从该子集选择最优的特征进行分裂。这样，每棵决策树的生长都具有一定的随机性，使得不同决策树在特征选择和节点分裂上有所差异。组合决策树。

在之前看到的示例中，每个特征只能取一个或两个可能的值，比如耳朵形状只有尖或，胡须只有有或无。但如果特征可以有两个以上的取值该如何处理呢？以宠物收养中心应用程序的新训练集为例，除了耳朵形状特征外，其他数据都相同。此时耳朵形状不再只有尖和松软两种，还可以是椭圆形，即耳朵形状（ESHI）特征仍是分类值特征，但从有两个可能值变为有三个可能值。当基于这个特征进行分割时，会创建数据的三个子集，并为树建立三个分支。这时候需要新的处理方式 - 独热编码。方法。

决策树算法在很多应用中被使用，机器学习比赛中会经常见到，但在流行病学领域未受到太多关注。决策树示例 —— 猫的分类以经营猫收养中心为例，通过动物的耳朵形状、脸型、是否有胡须等特征，来训练一个分类器判断动物是否为猫。数据集包含 10 个训练样本，其中 5 只猫和 5 只狗，输入特征为 X、R、B 三列（分别对应耳朵形状、脸型、是否有胡须），目标输出是判断该动物是不是猫（标签为 1 或 0）。这些特征是分类值，即只取几个离散值，如耳朵形状为尖或软，脸型为圆或不圆，胡须为有或无，这是一个二元分类任务。

当机器学习应用中正负例比例严重失衡（远非 50:50）时，准确性这样的常用评估指标效果不佳。以训练二元分类器检测罕见疾病为例，假设测试集上错误率为 1%（正确率 99%），看似结果很好，但如果疾病罕见（如人群中只有 0.5% 的病人患病），一个简单的总是预测 “Y 等于 0”（即预测无病）的算法，其错误率可能更低（0.5%）。在正负例不平衡的情况下，很难根据准确率判断算法优劣。

迁移学习是一种机器学习技术，它允许我们将从一个任务中学习到的知识应用到另一个相关的任务中。其核心思想在于，很多情况下，从头开始训练一个模型需要大量的数据和计算资源，而迁移学习能够复用在已有数据上训练好的模型的部分或全部，从而减少新任务的训练成本，加快模型收敛速度，提升模型在新任务上的性能，尤其是当新任务的数据量有限时，迁移学习的优势更为明显。下面是一个使用 Python 和 Keras 库进行迁移学习的简单例子，我们将使用预训练的 VGG16 模型对猫狗图像进行分类。

同样，对于检测钓鱼邮件相关的算法，也可以进行特定更改，如查看电子邮件中的url，编写特殊功能来识别链接到可疑url的情况，或者获取更多钓鱼邮件的数据来改进算法。总之，误差分析通过手动检查算法错误分类的例子，能为尝试改进算法提供灵感，同时也能判断某些类型的错误是否罕见，是否值得花费大量时间去修复。误差分析更易于处理人类擅长判断的问题，比如对于邮件，人类可以判断其是否正常以及算法出错的原因。然而，当将误差分析应用于能够解决的问题时，它有助于将注意力集中在更有希望尝试的方向上，避免几个月的无效工作。

通过综合运用以上这些诊断方法，可以较为准确地判断模型是否存在高偏差或高方差问题，从而有针对性地采取改进措施，如调整模型复杂度、增加数据量、采用正则化方法等，以提高模型的性能和泛化能力。判断高偏差和高方差并没有绝对的数值标准，需要根据具体问题和数据特点来综合判断。同时，这只是一种初步的诊断方法，实际情况可能更为复杂，还需要结合模型的结构、数据的分布等因素进行深入分析。高偏差（high bias）和高方差（high variance）是两个重要的概念，它们用于描述模型在训练和预测过程中的表现特征。

比如，对于十个训练样本，可将 60% 的数据放入训练集（样本数量记为 M 训练 = 6），20% 的数据放入交叉验证集（样本用 XCV 和 yCV 表示，数量记为 mCV = 2），20% 的数据放入测试集（样本用 X 测试和 y 测试表示，数量记为 M 测试 = 2）。对于不同大小和结构的神经网络模型，训练得到相应参数后，在交叉验证集上用 JCV 评估性能（对于分类问题，JCV 通常是算法错误分类的交叉验证例子的百分比），选择 JCV 最低的模型，最后用测试集评估所选模型的泛化能力。

以输入为手写数字9的图像为例，在构建隐藏层时，卷积层的神经元不像密集层那样查看图像的所有像素，而是仅查看图像中的小矩形区域像素。- 下一层（隐藏的第二层）也可以是卷积层，如第一个单元看前一层的前5个激活，第二个单元看另外5个数字，最后一个隐藏单元看5到9。- 将心电图信号旋转90度后作为输入，构建第一个隐藏层时，让第一个隐藏单元只看x1到x20，第二个隐藏单元看x11到x30，以此类推，最后一个隐藏单元看x81到100，每个单元都只对心电图信号的一个小窗口有反应，这就是一个卷积层（该层有九个单元）。

以前在进行手写数字识别（仅两个类别）时使用了特定架构的网络，现在若要对0到9这10个数字进行手写数字分类，需将新网络的输出层改为有10个单元的SoftMax输出层，有时也称为SoftMax输出层。检测工厂生产的有视觉缺陷的部件，观察制药公司生产的药片图片，判断其是否有拉伸效果、变色缺陷或芯片缺陷等，这些不同类型的缺陷就代表了多个类别，是多类分类问题的实际体现。在新网络中，给定输入X，前序计算（得到隐藏层的激活值）和之前一样，接着计算输出层的激活值。的函数），这是SoftMax激活函数的独特属性。

神经网络中的不同神经元可以选择不同的激活函数，上层（输出层）有上曾的激活函数，隐藏层有隐藏层的激活函数。Sigmoid函数，Tanh函数，ReLU函数，Leaky ReLU函数，Softmax函数

本篇简单讲解简单的神经网络训练。通过回顾逻辑回归模型训练，了解神经网络训练的相关内容。比如训练步骤、损失函数、优化算法以及深度学习库的使用，了解训练过程中的相关概念。

在NumPy中，除了常规的转置理解方式外，还可以使用这样的函数来计算转置，该函数会将矩阵的列横向排列。- 给出矩阵，通过（np指NumPy库）这样的代码计算矩阵。python在一些代码中可能会看到这种写法，这也是计算矩阵乘法的另一种方式，使用np.dot更清晰。

数据表示的历史背景NumPy 是 Python 科学计算的基础库，早期设计为处理多维数组TensorFlow 由 Google Brain 团队开发，采用张量（Tensor）作为核心数据结构两者在矩阵存储方式上存在历史遗留的不一致性矩阵维度的关键概念矩阵维度表示为行数×列数（如 2×3 矩阵）行向量（1×n）与列向量（n×1）的区别NumPy 一维数组（ndarray）与二维矩阵的差异数据输入的维度规范性框架间转换的显式处理历史设计差异带来的潜在问题。

神经网络的前向传播（Forward Propagation）是指输入数据从输入层经过各隐藏层传递到输出层，逐层计算激活值的过程

简单例子笔者注一般神经网络结构是，1.输入层 ；2.隐藏层（基本上可以认为是解决思路层）;3.输出层。而隐藏层是解决问题的关键。

这两节课主要介绍了神经网络的大的轮廓。而神经网络基本上是在模拟人类大脑的工作模式，有些仿生学的意味。为了便于理解，搜集了一些脑神经的资料，这部分是课程中没有讲到的。首先要了解一下大脑神经元之间结构。人类脑部的神经元之间的信息传说关键点在于树突。树突接收到足够强的信号时，细胞体通过电脉冲（动作电位）将信号沿轴突传递。信号是否触发取决于输入总和是否超过阈值。而神经网络中所谓的“神经元”，实际上是数学模拟，关键点在于激活函数。生物神经元通过化学和电信号传递，具有可塑性（突触强度随学习改变）。人工神经元纯数学计算，

前几节课程没什么公式和概念。只是让学习者有个大概的印象，热下身。人工神经网络（ANN）是模拟生物神经元结构的计算模型，通过多层节点和权重连接处理数据，早期受限于层数（通常 1-2 层隐含层）和数据规模，依赖人工设计特征。深度学习则是 ANN 的子集，特指具有深层结构（数十至上百层）的神经网络，其核心突破在于通过层次化特征提取自动学习抽象特征，解决了传统 ANN 难以处理的复杂问题。深度学习的兴起得益于三大驱动力：①数据爆炸（互联网、移动设备带来的海量数字化数据）；②硬件进步。