- 博客(19)
- 收藏
- 关注
RSS订阅原创 十五、循环神经网络
目前你见过的所有神经网络（比如密集连接网络和卷积神经网络）都有一个主要特点，那就是它们都没有记忆。它们单独处理每个输入，在输入与输入之间没有保存任何状态。你在 IMDB 示例中就是这么做的：将全部电影评论转换为一个大向量，然后一次性处理。这种网络叫作前馈网络（feedforward network）。与此相反，当你在阅读这个句子时，你是一个词一个词地阅读（或者说，眼睛一次扫视一次扫视地阅读），同时会记住之前的内容。这让你能够动态理解这个句子所传达的含义。
2024-02-22 10:38:06
880
原创 十四、处理文本数据2使用词嵌入
例如，在一个合理的嵌入空间中，同义词应该被嵌入到相似的词向量中，一般来说，任意两个词向量之间的几何距离（比如 L2 距离）应该和这两个词的语义距离有关（表示不同事物的词被嵌入到相隔很远的点，而相关的词则更加靠近）。one-hot 编码得到的向量是二进制的、稀疏的（绝大部分元素都是 0）、维度很高的（维度大小等于词表中的单词个数），而词嵌入是低维的浮点数向量（即密集向量，与稀疏向量相对）将一个 Embedding 层实例化时，它的权重（即标记向量的内部字典）最开始是随机的，与其他层一样。
2024-02-22 09:31:26
804
原创 十三、处理文本数据1使用 one-hot
文本是最常用的序列数据之一，可以理解为字符序列或单词序列，但最常见的是单词级处理。与其他所有神经网络一样，深度学习模型不会接收原始文本作为输入，它只能处理数值张量。是指将文本转换为数值张量的过程。
2024-02-22 09:20:07
859
原创 十二、卷积神经网络的可视化3
这种通用的技术叫作类激活图（CAM，class activation map）可视化，它是指对输入图像生成类激活的热力图。类激活热力图是与特定输出类别相关的二维分数网格，对任何输入图像的每个位置都要进行计算，它表示每个位置对该类别的重要程度。举例来说，对于输入到猫狗分类卷积神经网络的一张图像，CAM 可视化可以生成类别“猫”的热力图，表示图像的各个部分与“猫”的相似程度，CAM 可视化也会生成类别“狗”的热力图，表示图像的各个部分与“狗”的相似程度。可视化类激活的热力图。
2024-02-20 11:58:39
462
1
原创 十一、卷积神经网络的可视化2
你可以定义一个 Keras 后端函数来实现此方法：iterate 是一个函数，它将一个 Numpy 张量（表示为长度为 1 的张量列表）转换为两个 Numpy 张量组成的列表，这两个张量分别是损失值和梯度值。这可以通过在输入空间中进行梯度上升来实现：从空白输入图像开始，将梯度下降应用于卷积神经网络输入图像的值，其目的是让某个过滤器的响应最大化。下面这个简单的实用函数可以做到这一点。为了让梯度下降过程顺利进行，一个非显而易见的技巧是将梯度张量除以其 L2 范数（张量中所有值的平方的平均值的平方根）来标准化。
2024-02-20 11:43:47
432
原创 十、卷积神经网络的可视化1
为了提取想要查看的特征图，我们需要创建一个 Keras 模型，以图像批量作为输入，并输出所有卷积层和池化层的激活。模型实例化需要两个参数：一个输入张量（或输入张量的列表）和一个输出张量（或输出张量的列表）。人们常说，深度学习模型是“黑盒”，即模型学到的表示很难用人类可以理解的方式来提取和呈现。这是你在本书中第一次遇到的多输出模型，之前的模型都是只有一个输入和一个输出。可视化中间激活，是指对于给定输入，展示网络中各个卷积层和池化层输出的特征图（层的输出通常被称为该层的激活，即激活函数的输出）。
2024-02-20 10:30:03
1097
原创 九、使用预训练的卷积神经网络
想要将深度学习应用于小型图像数据集，一种常用且非常高效的方法是使用预训练网络。（pretrained network）是一个保存好的网络，之前已在大型数据集（通常是大规模图像分类任务）上训练好。使用预训练网络有两种方法：特征提取（feature extraction）和微调模型（fine-tuning）。
2024-02-20 09:27:31
1096
原创 六、机器学习基础
训练开始时，优化和泛化是相关的：训练数据上的损失越小，测试数据上的损失也越小。这时的模型是欠拟合（underfit）的，即仍有改进的空间，网络还没有对训练数据中所有相关模式建模。特征工程（feature engineering）是指将数据输入模型之前，利用你自己关于数据和机器学习算法（这里指神经网络）的知识对数据进行硬编码的变换（不是模型学到的），以改善模型的效果。防止过拟合的最简单的方法就是减小模型大小，即减少模型中可学习参数的个数（这由层数和每层的单元个数决定）。我们来看一个直观的例子。
2024-02-19 17:13:48
455
原创 五、回归问题 (预测房价)
网络的最后一层只有一个单元，没有激活，是一个线性层编译网络用的是 mse 损失函数，即均方误差（MSE，mean squared error），预测值与目标值之差的平方。这是回归问题常用的损失函数。在训练过程中还监控一个新指标：平均绝对误差（MAE，mean absolute error）。它是预测值与目标值之差的绝对值。比如，如果这个问题的 MAE 等于 0.5，就表示你预测的房价与实际价格平均相差 500 美元。
2024-02-19 16:46:41
436
原创 四、多分类问题
网络的最后一层是大小为 46 的 Dense 层。这意味着，对于每个输入样本，网络都会输出一个 46 维向量。这个向量的每个元素（即每个维度）代表不同的输出类别。最后一层使用了 softmax 激活。网络将输出在 46个不同输出类别上的概率分布——对于每一个输入样本，网络都会输出一个 46 维向量，其中 output[i] 是样本属于第 i 个类别的概率。46 个概率的总和为 1。
2024-02-19 16:28:41
349
原创 三、二分类问题
如果没有 relu 等激活函数（也叫非线性），Dense 层将只包含两个线性运算——点积和加法：这样 Dense 层就只能学习输入数据的线性变换（仿射变换）：该层的假设空间是从输入数据到 16 位空间所有可能的线性变换集合。这种假设空间非常有限，无法利用多个表示层的优势，因为多个线性层堆叠实现的仍是线性运算，添加层数并不会扩展假设空间。为了得到更丰富的假设空间，从而充分利用多层表示的优势，你需要添加非线性或激活函数。
2024-02-19 16:08:26
1056
原创 一、初识神经网络 手写数字识别
我们来看一个具体的神经网络示例，使用 Python 的 Keras 库来学习手写数字分类。我们这里要解决的问题是，将手写数字的灰度图像（28 像素×28 像素）划分到 10 个类别中（0~9）。我们将使用 MNIST 数据集，它是机器学习领域的一个经典数据集。这个数据集包含 60 000 张训练图像和 10 000 张测试图像MNIST 数字图像样本关于和的说明在机器学习中，分类问题中的某个类别叫作。数据点叫作。某个样本对应的类叫作。
2024-02-19 15:23:13
559
原创 网络编程 03 协议格式
数据包封装传输层及其以下的机制由内核提供，应用层由用户进程提供，应用程序对通讯数据的含义进行解释，而传输层及其以下处理通讯的细节，将数据从一台计算机通过一定的路径发送到另一台计算机。应用层数据通过协议栈发到网络上时，每层协议都要加上一个数据首部（header），称为封装（Encapsulation），如下图所示：不同的协议层对数据包有不同的称谓，在传输层叫做段（segment），在网络层叫做...
2020-03-16 20:33:36
166
原创 网络编程 02 分层模型
OSI七层模型1.物理层：主要定义物理设备标准，如网线的接口类型、光纤的接口类型、各种传输介质的传输速率等。它的主要作用是传输比特流（就是由1、0转化为电流强弱来进行传输，到达目的地后再转化为1、0，也就是我们常说的数模转换与模数转换）。这一层的数据叫做比特。2.数据链路层：定义了如何让格式化数据以帧为单位进行传输，以及如何让控制对物理介质的访问。这一层通常还提供错误检测和纠正，以确保数据的...
2020-03-11 20:45:38
191
原创 网络编程 01 协议的概念
什么是协议从应用的角度出发，协议可理解为“规则”，是数据传输和数据的解释的规则。假设，A、B双方欲传输文件。规定：第一次，传输文件名，接收方接收到文件名，应答OK给传输方；第二次，发送文件的尺寸，接收方接收到该数据再次应答一个OK；第三次，传输文件内容。同样，接收方接收数据完成后应答OK表示文件内容接收成功。由此，无论A、B之间传递何种文件，都是通过三次数据传输来完成。A、B之间形...
2020-03-11 20:21:48
151
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人