- 博客(45)
- 收藏
- 关注
RSS订阅原创 BERT，fine-tuning
BERT是一种基于Transformer架构的预训练语言模型，通过MLM（掩码语言模型）和NSP（下一句预测）任务进行双向预训练。其输入由词嵌入、片段嵌入和可学习的位置编码组成，能够处理句子对任务。BERT可灵活应用于多种下游NLP任务（如文本分类、序列标注、问答等），只需微调最后一层分类头。相比传统方法，BERT通过预训练+微调范式显著提升了NLP任务性能，核心优势在于其双向上下文理解能力和Transformer的并行计算特性。
2026-08-18 11:56:33
233
原创 Transformer
本文介绍了Transformer模型的核心机制，重点分析了多头注意力和编解码器结构。多头注意力通过多组投影矩阵捕捉不同子空间的信息关系，使用掩码确保自回归生成的因果性。前馈网络(FFN)引入非线性增强表达能力，层归一化提升训练稳定性。编码器处理源序列后，解码器通过交叉注意力查询相关信息，逐步生成目标序列。训练时采用掩码遮蔽未来信息，推理时缓存历史键值对以提升效率。文章还详细说明了多头注意力、FFN和层归一化的实现方式，以及编解码器的信息传递机制，其中解码器通过自注意力和交叉注意力整合历史信息与编码器输出。
2026-08-17 13:20:58
209
原创 注意力机制+seq2seq
摘要：本文系统性地介绍了注意力机制的核心概念与实现方法。首先区分了不随意线索（本能注意）和随意线索（有意注意），指出注意力机制通过Query-Key-Value框架实现有偏信息选择。重点阐述了非参注意力池化层的演进过程，从平均池化到Nadaraya-Watson核回归，并推导出参数化注意力形式。详细解析了加性注意力和缩放点积注意力两种评分函数，后者因计算高效成为Transformer首选。通过PyTorch代码示例展示了遮蔽softmax等关键技术实现，最后探讨了注意力在seq2seq模型中的应用机制，包括
2026-08-15 18:59:33
218
原创 序列到序列-seq2seq
文章摘要：本文介绍了序列到序列（Seq2Seq）学习的基本架构和机器翻译应用。核心框架由编码器（将变长输入转为固定编码）和解码器（将编码转为变长输出）组成，使用RNN实现。重点阐述了训练时的Teacher Forcing技巧（使用真实标签作为解码器输入）和推理时的自回归生成方式，以及BLEU评估指标（基于n-gram重叠度）。文章详细解析了编码器-解码器的实现细节，包括词嵌入、GRU网络结构、上下文变量处理和损失函数计算，特别说明了如何处理填充词元和应用序列掩码。
2026-08-10 20:19:51
175
原创 深层RNN和双向RNN简述
本文介绍了深度循环神经网络（Deep RNN）和双向循环神经网络（Bi-RNN）的核心原理与应用。Deep RNN通过堆叠多层RNN（如LSTM、GRU）来增强非线性表达能力，每层隐藏层都有独立的记忆元，通过隐状态连接深度维度，记忆元传递时间维度信息。Bi-RNN则通过反向更新的隐藏层同时利用过去和未来信息，适用于特征提取而非未来预测，因其会泄露未来数据。实际实现中，可通过设置num_layers控制隐藏层数，使用bidirectional=True创建双向模型。需要注意的是，双向结构不适用于预测任务。
2026-08-09 13:14:45
201
原创 GRU + LSTM
摘要：门控循环单元(GRU)和长短期记忆网络(LSTM)通过可学习的门控机制解决序列建模的三个关键问题：(1)长期记忆早期重要信息，(2)跳过无关观测，(3)处理逻辑中断。GRU采用重置门控制短期依赖，更新门管理长期依赖；LSTM则使用更复杂的输入门、遗忘门和输出门。两者都通过门控信号动态调节隐状态更新，实现旧信息保留与新信息引入的平衡。模型实现时需初始化相关参数并按公式计算各门控信号和隐状态，高级API已封装这些细节。
2026-08-09 10:50:36
268
原创 循环神经网络RNN
本文摘要主要介绍了循环神经网络(RNN)的核心概念和实现方法。内容包括RNN的关键技术如困惑度、梯度裁剪，以及从零开始实现RNN的步骤：参数设置、数据预处理、前向传播和预测函数等。同时对比了手动实现与使用PyTorch框架实现的区别，重点讲解了梯度裁剪原理、隐藏状态初始化和训练流程。文章还涉及RNN在文本处理任务中的应用，如文本生成和分类，并详细说明了如何通过预热隐藏状态来提高预测准确性的技巧。
2026-08-07 16:23:34
181
原创 文本预处理，语言模型
本文摘要： 序列建模需要处理变长数据依赖问题。传统方法使用马尔可夫假设或潜变量模型来压缩历史信息，但面临数据稀疏困境。语言模型通过链式法则分解联合概率，但n-gram统计方法受制于齐普夫定律，长尾词频分布导致概率估计失效。实验显示，即使加入平滑处理，二元/三元语法仍难以捕捉有效语言模式。为此，现代方法转向神经网络架构，通过随机采样和顺序分区策略生成训练数据，既保持局部相关性又增强泛化能力。这些技术突破为深度学习处理序列数据奠定了基础。
2026-08-06 16:18:42
391
原创 样式迁移
摘要：风格迁移是一种将风格图片的艺术风格迁移到内容图片上的技术。该方法使用VGG-19网络提取内容和风格特征，通过三个关键损失函数进行优化：内容损失保持物体结构，风格损失（基于Gram矩阵）捕捉纹理特征，全变分损失减少噪点。实现时需预处理图片数据，初始化合成图像为内容图，使用Adam优化器迭代更新像素值。核心流程包括特征提取、损失计算和参数更新，通过调整损失权重可控制风格迁移效果。该方法巧妙地将合成图像视为可训练参数，利用深度学习框架进行像素级优化。
2026-08-05 14:14:08
249
原创 FCN（全卷积）
摘要：全连接神经网络（FCN）通过用转置卷积替代CNN最后一层全连接层，实现像素级语义分割。模型使用预训练ResNet-18提取特征，移除最后两层后添加1×1卷积和转置卷积层。转置卷积层采用双线性插值初始化，确保训练初期即具备合理上采样能力，各通道独立处理。1×1卷积层采用Xavier初始化。训练时需对输出矩阵求均值，并注意图像标准化处理。该方法通过通道维度Softmax实现像素分类，输出通道数等于类别数。
2026-08-05 11:57:15
209
原创 语义分割数据集
本文介绍了语义分割数据集的构建与预处理流程。语义分割任务需要将图像中的每个像素分类到对应类别。主要内容包括：数据读取方式（RGB模式读取图像）、像素级标签处理（保持与图像尺寸一致）、颜色到类别的映射表构建、数据增广（随机裁剪）、图像标准化处理（转为[0,1]范围并应用ImageNet均值和标准差）以及小尺寸样本过滤等关键步骤。文章还提到如何自定义语义分割数据集类，整合上述功能实现完整的数据预处理流程。整个过程涵盖了从原始数据读取到最终模型输入准备的全套处理方法。
2026-08-04 14:26:28
195
原创 SSD的简单实现
文章摘要：SSD目标检测模型通过多尺度特征图预测锚框类别和偏移量。模型包含特征提取网络（通常基于VGG/ResNet）、分类预测器和回归预测器。分类头输出每个锚框的类别分数（含背景类），回归头预测4个偏移量。采用下采样块逐步缩小特征图尺寸并增加通道数，生成多尺度锚框。训练时结合交叉熵分类损失和L1回归损失，使用掩码过滤负样本。前向传播时对不同尺度的预测结果进行维度统一和拼接，最终通过非极大值抑制输出检测结果。模型支持动态处理不同尺寸输入，通过批量维度统一处理预测结果。
2026-08-03 23:32:01
201
原创 目标检测算法（R-CNN，SSD，YOLO）
目标检测算法演进综述：从R-CNN到YOLO的优化之路 摘要：目标检测算法经历了从两阶段到单阶段的演进过程。R-CNN开创性地将CNN引入检测领域，但计算效率低下；Fast R-CNN通过共享卷积和RoI池化提升速度；Faster R-CNN引入RPN网络实现端到端训练；Mask R-CNN增加实例分割能力并改进RoI对齐。单阶段算法如SSD采用多尺度特征图检测，在速度和精度间取得平衡；YOLO则通过单次前向传播实现实时检测，每个网格直接预测边界框和类别。算法发展呈现出从精度优先到速度优化的趋势，SSD和Y
2026-08-03 11:44:09
203
原创 锚框 + 物体检测和数据集
目标检测算法通常会在输入图像中采样大量的区域，然后判断这些区域中是否包含我们感兴趣的目标，并调整区域边界从而更准确地预测目标的真实边界框（ground-truth bounding box）。（不同位置、不同大小、不同形状），然后让网络去判断：有没有目标，如果有，应该怎么调整这个框才能刚好框住目标。标签label的小批量的形状为（批量大小，m，5），其中m是数据集的任何图像中边界框可能出现的最大数量。bbox.detach()：断开张量计算图，去除梯度（绘图不需要梯度，必须加）
2026-08-02 15:11:01
190
原创 数据增广+微调
本文介绍了计算机视觉中的数据增广技术和模型微调方法。数据增广部分阐述了包括翻转、裁剪、色彩调整等多种图像变换技术，以及如何通过代码实现这些增广方法。模型微调部分详细解释了预训练模型的应用流程：1）在源数据集预训练模型；2）复制源模型结构（除输出层）；3）为目标任务定制新输出层；4）分层调整学习率进行训练。文章以热狗识别为例，展示了如何对预训练模型（如ResNet）进行微调，特别强调了区分特征提取层（小学习率）和新输出层（大学习率）的不同训练策略。
2026-08-01 14:09:22
336
原创 多GPU训练：数据并行
如果没有参数，就不可能在GPU上评估网络。（4）梯度聚合：所有 GPU 的梯度相加，广播回所有 GPU。将所有 GPU 上的向量（通常是梯度）相加求和，然后把结果。先复制到同一个GPU上相加，然后将结果复制到其余的GPU上。（1）拆分数据：将 X, y 均匀分布到各 GPU。将一个小批量数据均匀地分布在多个GPU上，使用。改进方向：多GPU可以并行（这里写法看似顺序）（2）各 GPU 独立前向传播 + 计算损失。（5）各 GPU 独立更新参数（SGD）（3）各 GPU 独立反向传播。跨多个设备对参数求和。
2026-07-31 12:47:13
224
原创 残差网络ResNet
【例】输入x为模糊的照片，输出f(x)为清晰的照片，普通神经网络需要学习如何直接将x变为f(x)而ResNet只需要学习以x为基础加写什么可以变为f(x)也就是(f(x)-x)+x，所以需要得到f(x)-x。x为输入，f(x)为理想输出，f(x)-x为残差，ResNet是为了学习x输出f(x)-x。（1）易于实现恒等映射即f(x) = x只需要将f(x) - x = 0参数全设为0即可。*bn1和bn2分别对应相应的卷积层后，有自己独立的一套学习的参数。（2）只学"差多少"比学"整体是什么"简单得多。
2026-07-30 13:11:24
165
原创 批量归一化（BN）
X为输入，gamma和beta为两个参数，moving_mean和moving_var为全局数据的均值和方差，eps和momentum都有一定的值，momentum负责更新全局均值和方差。假设输入形状为 (batch_size, channels, height, width)，在每个通道上，跨 batch、跨空间位置（H×W）计算均值和方差。（with torch.enable_grad() 或默认状态），需要实时计算当前 batch 的均值方差，并更新滑动平均。上，跨 batch 计算均值和方差。
2026-07-28 14:49:37
197
原创 VGG + NiN + GoogLeNet
与其纠结用哪种卷积核（3×3 还是 5×5），不如全部并行使用，让网络自己学习哪种特征提取方式最有效。最后用10个通道数的输出作为10个类别的分类，平均池化层的核size和输入size一样，输出为输入的。in_channels = out_channels：下一块的输入通道 = 当前块的输出通道。定义一个数组(num_convs, out_channels)代表块的参数，一共有五种块。p1，p2，p3，p4代表Inception块的四条路经。Stage1:第一个模块使用64个通道，7*7的卷积层。
2026-07-28 13:56:27
156
原创 LeNet，AlexNet
Xavier初始化 → SGD优化器 → 6步训练循环（清梯度→搬数据→前向→算损失→反向→更新）→ 实时画图监控。nn.Conv2d(1, 6, 5, padding=2)：1通道→6通道，5×5核，保持28×28。nn.Flatten()：把 [N, C, H, W] 展平为 [N, C×H×W]nn.Linear(16*5*5, 120)：全连接，400→120。nn.AvgPool2d(2, 2)： 2×2平均池化，尺寸减半。iter(net.parameters())：转成迭代器。
2026-07-26 13:22:04
159
原创 卷积神经网络：卷积
通过限制每个输出只连局部窗口、所有位置共享同一套权重，把参数量从 H×W×H′×W′ 降到 K×K （核大小），同时保留提取局部特征的能力。格式参见“PyTorch 神经网络基础”章节，定义weight，bias的值，定义前向传递函数forward，引用corr2d()函数计算。当我们卷积核的维度比输入维度小得多，则需要更多的层数来使得输出特征矩阵维度大小合适，这样就需要我们调整步幅来得到合适维度的特征矩阵。当卷积核的维度越大，得到的特征矩阵维度越小，或者说经过多轮卷积核操作后，特征矩阵的维度不断减小。
2026-07-25 12:19:03
162
原创 PyTorch 神经网络基础（模型构建，参数构造...)
是 PyTorch 的"子模块登记簿" ：只有把模块放进这里，PyTorch 才知道"这是我的孩子"，才会帮你管理参数、搬 GPU、保存模型。是一个特殊的 nn.Module，它把多个层按顺序串起来，数据从第一个层流到最后一个层，中间不做任何分支或跳转。通常这是自动发生的。请注意，输出的形状可能与输入的形状不同。（2）一种前向传播函数，用于将输入按追加块的顺序传递给块组成的“链条”。下面，我们访问第一个主要的块中、第二个子块的第一层的偏置项。1.克隆原MLP的结构（这里的参数都是随机初始化的，不能用）
2026-07-24 13:20:01
226
原创 迁移学习（预训练模型的选择与微调）
神经网络通常有一个层次化的，最底层一般是学习了底层的特征，上层的更与语义相关，所以一般来说底层与上面层没有太多的关系，在换了数据集之后泛化性都很好；将预训练好的模型用在新任务上叫fine-tuning（微调）（通常在深度学习里面，微调能带来最好的效果，但是也有一定的开销）（2）在一个相关的任务上训练一个模型，然后在另一个任务上直接用它；（2）在找到合适的预训练模型之后要初始化我们的模型（将预训练模型的除了最后一层之外（特征提取器）的。（1）在新的任务上构建一个新的模型，新的模型的架构要更预训练的模型的。
2026-07-24 11:28:56
222
原创 深度神经网络：批量与层的归一化
使用批量归一化之后，收敛上会更加容易，可以选用更大的一些学习率，但是一般来说不会改变最后的结果（精度跟没有差不多，但是可以快一点），这样能帮助整个函数更加平滑，使得在训练深度神经网络的时候会更加容易（这个观点还是争议的）；*BN 是对网络内部每一层的输入做标准化，而不是对原始输入数据。对变形后的矩阵的一列 减去 这一列的均值 再除以这一列的方差。它的目的是稳定深层网络中各层的输入分布，让训练更快更稳定。，这样做的好处是说在做预测时不需要存均值方差这种全局的东西。中间那些层的输入也做标准化。
2026-07-22 15:35:07
195
原创 模型的调参，超参数的优化
在一开始的时候其实跟random search差不多（获取函数还不够好，就只能随机挑值来做），再后期的时候（建模比较准）会比较好一点；如果要做的东西是跟某些论文相关，可以看看该论文里面的超参数是什么（有些超参数 跟特定的数据集有关），这些超参数在一般的情况下都不错。，epoch还是m；每次调参一定要做好笔记（训练日志、超参数记录下来，这样可以与之前的实验做比较，也好做分享，与自己重复自己的实验）选一个质量比较高的工具包，其中设了不错的参数，虽然可能对我们的问题不算是最好 的，但是是一个不错的开始点；
2026-07-22 13:53:58
231
原创 机器学习：方差和偏差
然后将ht * η（学习率）加进当前整个boosting出来的模型，变成下一个时刻boosting出来的模型（η是作为一个正则项，boosting中叫收缩）（当然η可以为1，但是这样很。在GBDT中模型没有过拟合（每一个小模型确实比较弱，学习率也定的比较低），当weak learner、学习率 控制得比较好的时候，它的过拟合现象没那么严重。（将数据集分成两块A、B（2层stacking），然后用A训练第一层模型L1，用L1对B进行预测，把预测的结果加上B本身训练第二层模型L2）；
2026-07-21 13:35:01
242
原创 机器学习：模型验证
一般来说会选取 n% 的样本作为验证集（可以可以取50，40，30，20，10；将训练样本分成两个集合，一个是训练集，一个是验证集，在训练集上训练模型，在验证集上计算误差（或其他指标），用验证集算到的误差来近似泛化误差。问题：随机划分可能把同一个人的照片同时放进训练集和验证集，模型"记住"了这个人，而不是学到了通用特征。背景：数据量不够大时，Hold Out 方法会"浪费"一部分数据做验证，训练数据变少，模型学不充分。问题：随机划分会让未来数据"泄露"到训练集，模型"偷看"了未来。
2026-07-20 11:30:53
220
原创 机器学习：过拟合和欠拟合
当然也是很难比较两个数据集的复杂程度（图片数据集与文本数据集“像素与字符比较”），但是可以比较类似数据的复杂程度；虽然模型会有很好的精度，但是在实际情况中可能会有很大的问题（在数据上取得比较好的成绩与在实际应用中做的好不好，中间是有比较大的代沟的）可视化训练误差和泛化误差随着模型复杂度的变化，最好的地方是泛化误差最低的点，但是就算是最好的情况，可能还是会有overfitting。3.数据中是否有时间或空间的结构（股票有时间的结构，图片是有空间结构的）定义：模型能完美分类任意标签组合的样本点的最大数量。
2026-07-20 11:30:40
160
原创 机器学习：模型评估
用于搜索词（在看的具体网页） --> 取出相关的网页 --> 预测用户点击广告的点击率（点击率高的给用户看）【因为不知道点击率会是多少，所以弄成一个机器学习的问题，用机器学习来判断用户的点击（二分类问题）】 --> 把所有的广告通过CTR(点击率)乘上甲方给的钱来排序。（1）预测的CTR值变低了，但是AUC的数值没有改变，可是会引起预测用户点击的置信值降低了，可能会导致展示的广告数目降低。（2）可能新换的广告实际的CTR低，模型使用的是过去的数据，市场是会变化的，用户可能不喜欢基于过去数据的广告。
2026-07-19 16:24:51
193
原创 机器学习：多层感知机
假如说我们需要一个语言预测模型来判断下一个word，如果使用MLP输入为hello可以预测下一个为world，但如果输入world是否会预测下一个是!也纳入端到端的学习框架中，让模型从原始数据中自动学习最优的表示（representation），而不是依赖人工设计的特征。例如："我出生在中国，...，所以我会说____"，中间隔了很多词，"中国"这个信息很难传递到填空位置。：用极少的参数，通过在图像上滑动扫描，实现了对任意位置局部模式的检测。序列很长时，早期的信息在传递过程中逐渐衰减，爆炸。
2026-07-19 15:36:57
184
原创 机器学习：线性模型
若样本真实类别为 i，只要其他类别原始得分 oj 远小于 oi，损失就不会施加大量惩罚，不会像 MSE 一样强制把其他类分数压到 0。（2）当预测和真实差距大时，交叉熵的梯度很大，模型能快速修正错误；第i类的预测概率等于该类原始得分的指数，除以所有类别得分指数之和。使用线性模型预测出样本数据类别的置信度，最大置信度的类别为样本数据所对于的类别并用。把无界的原始置信分数o转化为合法概率：所有数值≥0，全部类别概率相加等于 1。，只要真实类得分远高于其他类，损失就很小，不会浪费模型能力。
2026-07-18 13:43:31
200
原创 机器学习：决策树模型
（2）数据过于复杂会生成过于复杂的树，会导致过拟合*把决策树的枝剪掉一些（在训练时觉得太复杂了就停下来，或在训练之后把特往下的节点给剪掉）（1）不稳定（数据产生一定的噪音之后，整棵树构建出的样子可能会不一样）*使用集成学习 (ensemble learning)可以解决。特征随机（特征子空间采样） 单棵树节点分裂时，不使用全部特征，仅随机。（3）大量的判断语句（太顺序化），不太好并行*在性能上会吃亏。（选择熵小的分支进行分裂）信息增益越大，分支熵越小，越优。（1）可以解释（可以让人看到对数据处理的过程）
2026-07-18 13:43:17
199
原创 机器学习：特征工程
用卷积神经网络替代特征提取器，从"人设计特征，机器做分类" ->"机器从数据中自动学习特征和分类"，代价是需要更多数据和算力，但换来的是任务最优的特征表示。为什么需要day_of_year，week_of_year，day_of_week？但模型能理解 month=7（夏天）和 is_weekend=1（周末购物多）（2）Computation Heavy（计算密集）（3）预训练语言模型 *BERT, GPT-3。（1）Data Hungry（数据饥渴）（2）类别型（Categorical）
2026-07-17 11:17:54
191
原创 机器学习：数据变换
视频变换的核心是"化长为短、化编码为帧"，在保持语义完整性的前提下，把高可变性的原始视频转化为固定长度、易于加载、模型友好的输入格式，同时接受存储空间的代价。原始数据往往不符合模型输入要求，数据转换是连接"清洗后的数据"和"可训练的特征"之间的桥梁，针对不同数据类型有特定方法。（1）将数据线性映射到指定区间 [a,b] （通常是 [0,1] 或 [−1,1] ）（2）将数据转换为均值为 0，标准差为 1 的分布（最常见）词干还原：基于词典的词性标注，准确率高，速度慢（E1）
2026-07-17 11:17:37
234
原创 机器学习：数据清理
数据错误不会导致训练失败，但会慢性中毒：模型能跑但精度差，更危险的是部署后会持续污染新数据，形成不可逆的质量下降螺旋。可以根据2.1介绍的各种查看数据的方法，可视化图寻找数据的Outliers。数据错误 = 数据与真实值（Ground Truth）的不匹配。极端值（Extreme Values）异常但可能是真实的。x → y：x 的值唯一确定 y 的值（邮编唯一对应州）（3）模式违反（Pattern Violations）（2）规则违反（Rule Violations）（1）异常值（Outliers）
2026-07-16 11:16:35
208
原创 机器学习：数据分析
建议存成压缩文件，在传输存储都会比较好，甚至还会比直接读取还要好（这个方法可用于文本）数值列转换完成后，需要查看各列的最小值（min）和最大值（max），因为有些列的极值明显不合理，可能存在异常值或数据错误。pandas：也是用于数据分析，擅长处理表，数据没那么大要放入内存中，这将是首选；1.将带’$’的货币字符串，去掉’$’后转为可被识别转换的浮点数float。如果一个列30%的样本该列数据是缺失的，就把该列删去，简化数据。[0:20]：切片取前 20 个（出现频率最高的 20 种）
2026-07-16 11:16:22
209
原创 机器学习：数据的标注
在已知输入和输出的情况下，通过训练建立起输入到输出的映射模型，应用最广的机器学习方法，可进一步分为分类和回归两类算法。聚类假设（Cluster assumption）数据存在内在的聚类结构，同一簇的样本倾向于同标签。模型主动筛选"最有价值"的未标注样本来请人标注，合并已标注数据继续训练模型，循环往复。=用模型自己的高置信度预测来"自举"更多训练数据，核心挑战是如何控制伪标签的噪声。判断标准：模型对某样本的最高类预测概率接近随机猜测（1/n，n 为类别数），与标记好的标签合并再次训练模型，重复过程。
2026-07-15 12:40:52
228
原创 网页的数据抓取
寻找需要访问的url的规律：豆瓣每页显示 25 部电影，URL 参数 start=0 表示从第 1 条开始，start=25 从第 26 条开始（有的网页比如58同城房源子网页是格局房屋id访问的，就需要依次提取html相应的各个id组成url）class_='item'：且class属性为 "item"（注意下划线）Scraping（抓取）：从特定网站的网页中提取特定数据（局部、精准）Crawling（爬取）：索引整个互联网上的网页（全局、广泛）分析目标网页的html的结构，找到需要的信息。
2026-07-15 11:57:40
223
原创 机器学习：数据的获取
学术界用的"干净数据集"和工业界的"原始数据"是两回事。在学校做实验可以用现成的benchmark，但进了公司，大部分时间都在"洗数据"，而且这不仅是技术活，还涉及法律、隐私、跨部门协作。2. 找基准数据集Find benchmark datasets ：用标准数据集来“验证新想法/新算法”的效果 测试新的超参数调优算法→用一组小到中等规模的多样化数据集。2. 数据增强（Data augmentations）：在现有数据上做变换，"变出"更多训练样本。用实体ID作为"连接键"把不同表Join在一起。
2026-07-14 16:04:45
214
原创 个人笔记：实用机器学习（b站李沐）
模型上线后，现实数据变了，或者对某些群体有偏见，需要持续跟踪。问题定义：要聚焦在“最有影响力的工业问题”上。例子：无人超市、自动驾驶——这些是能真正改变行业的大问题，而不是边缘的小优化。数据：“高质量数据稀缺”，而且涉及“隐私问题”。数据是ML的"燃料"，但好数据难获取，还可能有法律，隐私风险。背景：机器学习已经从少数科技巨头的"玩具"变成了各行各业驱动商业营收的核心工具，而新冠疫情进一步加速了这一商业化进程。训练模型：模型越来越复杂、越来越“吃数据”、越来越“烧钱”。模型部署后，需要持续监控它的表现。
2026-07-14 15:19:22
179
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人