深度学习（八）——fine-tuning, 李飞飞

最新推荐文章于 2025-06-15 11:03:57 发布
最新推荐文章于 2025-06-15 11:03:57 发布
阅读量6.7k 收藏 11
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 深度学习 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/antkillerfarm/article/details/78015644
本文探讨了生成对抗网络(GAN)的发展历程与关键技术，包括Lipschitz约束、Wasserstein GAN等，并介绍了GAN在图像生成、对话模型等多个领域的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

https://antkillerfarm.github.io/

GAN（续）

Lipschitz约束

稍微思考一下，我们就发现，问题还没完。我们目前还没有对D做约束，不难发现，无约束的话Loss基本上会直接跑到负无穷去了～

最简单的方案就是采用Lipschitz约束：

∥D(y,θ)−D(y′,θ)∥≤C∥y−y′∥

也可写作：

∥∥∥∂D(y,Θ)∂y∥∥∥≤C

注：Rudolf Otto Sigismund Lipschitz，1832～1903，德国数学家，先后就读于柯尼斯堡大学和柏林大学，导师Dirichlet。波恩大学教授。

WGAN

KL散度和JS散度由于不是距离，数学特性并不够好。因此，Martín Arjovsky于2017年1月，提出了Wasserstein GAN。

其中的一项改进就是使用Wasserstein距离替代KL散度和JS散度。Wasserstein距离的定义参看《机器学习（二十）》。

WGAN极大程度的改善了GAN训练困难的问题，成为当前GAN研究的主流。

参考：

https://zhuanlan.zhihu.com/p/25071913

令人拍案叫绝的Wasserstein GAN

GAN的发展

最早的GAN出现在2014年6月，但直到2015年底，也只有5个变种，发展并不迅速。

2016年，GAN开始发力，年底时已有52个变种。2017年6月底，更达到142个变种。

这里写图片描述

上图的源地址：

https://github.com/hwalsuklee/tensorflow-generative-model-collections

参考：

https://github.com/hindupuravinash/the-gan-zoo

GAN的各种变种。

参考

https://mp.weixin.qq.com/s/xa3F3kCprE6DEQclas4umg

GAN的数学原理

http://www.jianshu.com/p/e2d2d7cbbe49

50行代码实现GAN

https://mp.weixin.qq.com/s/YnOF9CCUFvtaiTY8HXYOuw

深入浅出：GAN原理与应用入门介绍

http://blog.youkuaiyun.com/u011534057/article/category/6396518

GAN系列blog

https://mp.weixin.qq.com/s/4CypEZscTfmUzOk-p_rZog

生成对抗网络初学入门：一文读懂GAN的基本原理

http://mp.weixin.qq.com/s/bzwG0QxnP2drqS4RwcZlBg

微软详解：到底什么是生成式对抗网络GAN？

https://mp.weixin.qq.com/s/oCDlhzjOYTIhsr5JuoRCJQ

IRGAN：大一统信息检索模型的博弈竞争

https://mp.weixin.qq.com/s/QacQCrjh3KmrQSMp-G_rEg

贝叶斯生成对抗网络

https://zhuanlan.zhihu.com/p/24897387

GAN的基本原理、应用和走向

https://mp.weixin.qq.com/s/E28lA-fcAQ6Sp6Qv64H3TQ

GAN in NLP

https://mp.weixin.qq.com/s/7-oHa-8Q8ThcctaVOZFfew

Facebook创意生成网络CAN，比GAN更有创造力

https://mp.weixin.qq.com/s/aSQ2-QxbToGF0ROyjxw2yw

萌物生成器：如何使用四种GAN制造猫图

https://mp.weixin.qq.com/s/YUMIL-f019vKpQ84mKS-8g

这篇TensorFlow实例教程文章告诉你GANs为何引爆机器学习？

http://mp.weixin.qq.com/s/UkZdUcdz7h4DqcyjSbNncw

zi2zi：用条件生成对抗网络玩转中文书法，绝妙汉字字体自动生成

http://blog.youkuaiyun.com/v_JULY_v/article/details/52683959

没GPU也能玩梵高作画：Ubuntu tensorflow CPU版

https://github.com/cysmith/neural-style-tf

TensorFlow (Python API) implementation of Neural Style.这个项目实现了两张图片的画风融合，非常牛。

https://github.com/jinfagang/pytorch_style_transfer

这个和上面的一样，不过是用pytorch实现的。

http://mp.weixin.qq.com/s/zNmJuevHaagKbyGFdKTwoQ

tensorflow实现基于深度学习的图像补全

https://zhuanlan.zhihu.com/p/25204020

条条大路通罗马LS-GAN：把GAN建立在Lipschitz密度上

https://zhuanlan.zhihu.com/p/27199954

用GAN去除动作片中的马赛克和衣服

https://zhuanlan.zhihu.com/p/27012520

从头开始GAN

https://mp.weixin.qq.com/s/Qzlg1MzRT3josy2RJpQSVg

Image to Image Translation Using GAN

https://mp.weixin.qq.com/s/AswdyjPeKbX7yhAPloP2og

基于对抗学习的生成式对话模型

https://mp.weixin.qq.com/s/uyn41vKKoptXPZXBP2vVDQ

生成对抗网络（GAN）之MNIST数据生成

https://mp.weixin.qq.com/s/sxa0BfXtylHXzjq0YBn-Kg

伯克利图像迁移cycleGAN，猫狗互换效果感人

https://mp.weixin.qq.com/s/aMfPBl6E5SxckQdSAGTkBg

Pytorch教程：Facebook发布的LR-GAN如何生成图像？

https://zhuanlan.zhihu.com/p/28342644

CycleGAN的原理与实验详解

https://mp.weixin.qq.com/s/YXWTslQXIKVihBb2Bgtafg

GAN在信息检索领域的应用

http://mp.weixin.qq.com/s/21CN4hAA6p7ZjWsO1sT2rA

一文看懂生成式对抗网络GANs：介绍指南及前景展望

https://mp.weixin.qq.com/s/YLys6L9WT7eCC-xGr1j0Iw

带多分类判别器的GAN模型

https://mp.weixin.qq.com/s/0tTLotV-8w2j3VdkH-qjCQ

让机器告诉你故事的结局应该是什么：利用GAN进行故事型常识阅读理解

https://mp.weixin.qq.com/s/lqQeCpLQVqSdJPWx0oxs2g

例解生成对抗网络

https://mp.weixin.qq.com/s/fMtuJbWG_d9zyCZ0oYyX_w

经得住考验的“假图片”：用TensorFlow为神经网络生成对抗样本

https://zhuanlan.zhihu.com/p/28488946

AI可能真的要代替插画师了……

https://mp.weixin.qq.com/s/OXN8Y5truLeslX8-UWgqmg

宅男的福音：用GAN自动生成二次元萌妹子

https://mp.weixin.qq.com/s/LAS0KgPiVekGdQXbqlw1cQ

深度学习的三大生成模型：VAE、GAN、GAN的变种

https://mp.weixin.qq.com/s/N7YU-YeXiVX7gSB-mzYgnw

生成式对抗网络GAN的研究进展与展望

https://mp.weixin.qq.com/s/gDzti2DISq_cwGbP5T7ICQ

聊聊对抗自编码器

https://mp.weixin.qq.com/s/3Aq1HXpBzgNdcB130tCKbQ

GAN网络图像翻译机：图像复原、模糊变清晰、素描变彩图

fine-tuning

fine-tuning和迁移学习虽然是两个不同的概念。但局限到CNN的训练领域，基本可以将fine-tuning看作是一种迁移学习的方法。

举个例子，假设今天老板给你一个新的数据集，让你做一下图片分类，这个数据集是关于Flowers的。问题是，数据集中flower的类别很少，数据集中的数据也不多，你发现从零训练开始训练CNN的效果很差，很容易过拟合。怎么办呢，于是你想到了使用Transfer Learning，用别人已经训练好的Imagenet的模型来做。

由于ImageNet数以百万计带标签的训练集数据，使得如CaffeNet之类的预训练的模型具有非常强大的泛化能力，这些预训练的模型的中间层包含非常多一般性的视觉元素，我们只需要对他的后几层进行微调，再应用到我们的数据上，通常就可以得到非常好的结果。最重要的是，在目标任务上达到很高performance所需要的数据的量相对很少。

虽然从理论角度尚无法完全解释fine-tuning的原理，但是还是可以给出一些直观的解释。我们知道，CNN越靠近输入端，其抽取的图像特征越原始。比如最初的一层通常只能抽取一些线条之类的元素。越上层，其特征越抽象。

而现实的图像无论多么复杂，总是由简单特征拼凑而成的。因此，无论最终的分类结果差异如何巨大，其底层的图像特征却几乎一致。

参考：

https://zhuanlan.zhihu.com/p/22624331

fine-tuning:利用已有模型训练其他数据集

http://www.cnblogs.com/louyihang-loves-baiyan/p/5038758.html

Caffe fine-tuning微调网络

http://blog.youkuaiyun.com/sinat_26917383/article/details/54999868

caffe中fine-tuning模型三重天（函数详解、框架简述）+微调技巧

http://yongyuan.name/blog/layer-selection-and-finetune-for-cbir.html

图像检索：layer选择与fine-tuning性能提升验证

h1ttps://www.zhihu.com/question/49534423

迁移学习与fine-tuning有什么区别？

李飞飞

AI大佬

李飞飞是吴恩达之后的华裔AI新大佬。巧合的是，他们都是斯坦福AP+AI lab的主任，只不过吴是李的前任而已。

李飞飞（Fei-Fei Li），1976年生，成都人，16岁移民美国。普林斯顿大学本科（1995～1999）+加州理工学院博士（2001～2005）。先后执教于UIUC、普林斯顿、斯坦福等学校。

个人主页：

http://vision.stanford.edu/feifeili/

大佬的门徒

比如可爱的妹子Serena Yeung。这个妹子是斯坦福的本硕博。出身不详，但从姓名的英文拼法来看，应该是美国土生的华裔。Yeung是杨、阳、羊等姓的传统英文拼法，但显然不是大陆推行的拼音拼法。（可以对比的是Fei-Fei Li和Bruce Lee，对于同一个姓的不同拼法。）

个人主页：

http://ai.stanford.edu/~syyeung/

还有当红的“辣子鸡”：Andrej Karpathy，多伦多大学本科（2009）+英属不列颠哥伦比亚大学硕士（2011）+斯坦福博士（2015）。现任特斯拉AI总监。

吐槽一下：英属不列颠哥伦比亚大学其实是加拿大的一所大学。

个人主页：

http://cs.stanford.edu/people/karpathy/

Andrej Karpathy建了一个检索arxiv的网站，主要搜集了近3年来的ML/DL领域的论文。网址：

http://www.arxiv-sanity.com/

李佳（Jia Li），李飞飞的开山大弟子，追随她从UIUC、普林斯顿到斯坦福。目前又追随其到Google。大约是知道自己的名字是个大路货，她的笔名叫做Li-Jia Li。

个人主页：

http://vision.stanford.edu/lijiali/

深度学习与目标检测系列(三) 本文约(4万字) | 全面解读复现AlexNet | Pytorch |
专注于人工智能学习，总结
12-31 1077
我们训练了一个庞大的深层卷积神经网络，将ImageNet LSVRC-2010比赛中的120万张高分辨率图像分为1000个不同的类别。在测试数据上，我们取得了37.5％和17.0％的前1和前5的错误率，这比以前的先进水平要好得多。具有6000万个参数和650,000个神经元的神经网络由五个卷积层组成，其中一些随后是最大池化层，三个全连接层以及最后的1000个softmax输出。为了加快训练速度，我们使用非饱和神经元和能高效进行卷积运算的GPU实现。
从ChatGPT看AI原生应用的可控性设计哲学
AI天才研究院
06-09 646
随着ChatGPT、GPT-4等大语言模型（LLM）的普及，AI不再是“工具”，而是开始作为“智能体”深度参与人类决策——从写代码到看诊，从教育辅导到商业谈判。但AI的“不可控”风险也随之放大：幻觉（编造事实）、偏见（输出歧视性内容）、越权（执行危险操作）等问题，让“如何让AI听指挥”成为AI原生应用（AI-Native Apps）的生死线。本文将聚焦这一问题，通过ChatGPT的设计细节，揭示AI可控性的底层逻辑。本文将从“为什么需要可控性”出发，用“开车”的比喻拆解可控性的三大维度（方向、速度、边界）
fine-tuning:利用已有模型训练其他数据集
fish的专栏
09-29 2万+
通过对ImageNet上训练出来的模型（如CaffeNet,VGGNet,ResNet)进行微调，然后应用到我们自己的数据集上
深度学习之模型finetuning
喵喵
04-26 1万+
深度学习 finetuning 模型
Demosaic（颜色插值）常见算法对比：线性、方向感知、深度学习方法实战分析
最新发布
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
06-15 1088
Demosaic（颜色插值）算法是图像信号处理（ISP）流程中从 Bayer RAW 转换为全彩图像的关键模块。随着 Sensor 分辨率提高与图像质量需求上升，不同类型的插值算法应运而生，包括传统的双线性插值、基于梯度的方向感知算法，以及近年来引入的深度学习方法。本文将从算法原理、图像质量、边缘还原能力、伪影控制、计算复杂度等维度对三类主流 Demosaic 方法进行详细对比，并通过实际工程案例（如 OV64B 夜景拍摄图像、IMX989 高分辨率合成）分析其优劣，辅助开发者在不同应用场景中选择最优解法。
cs231n-(9)迁移学习和Fine-tune网络
KangRoger的专栏
02-18 7256
介绍适合fine-tune的场景，以及方法。
深度学习fine-tuning
RTM的博客
12-25 960
这篇博客是关于模型的微调的点击打开链接
深度学习笔记（一）：模型微调fine-tune
shine的博客
12-13 2万+
深度学习中的fine-tuning 一. 什么是模型微调 1. 预训练模型 （1） 预训练模型就是已经用数据集训练好了的模型。 （2） 现在我们常用的预训练模型就是他人用常用模型，比如VGG16/19，Resnet等模型，并用大型数据集来做训练集，比如Imagenet, COCO等训练好的模型参数； ( 3 ) 正常情...
深度学习自学2.0
咬树羊的博客
03-10 1568
深度学习总结
AIGC时代的语言模型与提示词设计新挑战
AI天才研究院
02-04 902
1.1 AIGC的概念与重要性 1.1.1 AIGC的定义 AIGC，全称是“AI-Generated Content”，即“人工智能生成内容”。这一概念涉及到人工智能技术生成文本、图像、音频、视频等多媒体内容的过程。与传统的内容生成方式不同，AIGC依赖于先进的机器学习算法，尤其是
MATLAB算法实战应用案例精讲-【人工智能】语义分割（补充篇）(附matlab代码实现)
qq_36130719的博客
01-01 2347
语义分割是从粗推理到精推理的自然步骤：原点可以定位在分类，分类包括对整个输入进行预测。下一步是本地化/检测，它不仅提供类，还提供关于这些类的空间位置的附加信息。最后，语义分割通过对每个像素进行密集的预测、推断标签来实现细粒度的推理，从而使每个像素都被标记为其封闭对象矿石区域的类别。更具体地说，语义图像分割的目标是给图像中的每个像素都贴上对应的一类所代表的内容的标签。因为我们要对图像中的每个像素进行预测，所以这个任务通常被称为密集预测。
深度学习之finetuning（微调）
AndyJ的学习之旅
05-11 1652
在深度学习中，通常会finetuning已有的成熟模型，再基于新数据，修改最后几层神经网络权值，为什么？ 实践中的数据集质量参差不齐，可以使用训练好的网络来进行提取特征。把训练好的网络当做特征提取器。 步骤 在源数据集（如ImageNet数据集）上预训练一个神经网络模型，即源模型。 创建一个新的神经网络模型，即目标模型。它复制了源模型上除了输出层外的所有模型设计及其参数。我们假设这些模型参数包含了源数据集上学习到的知识，且这些知识同样适用于目标数据集。我们还假设源模型的输出层跟源数据集的标签紧密相关，因此
L23模型微调fine tuning
雨人的博客
02-18 717
9.2 微调 在前面的一些章节中，我们介绍了如何在只有6万张图像的Fashion-MNIST训练数据集上训练模型。我们还描述了学术界当下使用最广泛的大规模图像数据集ImageNet，它有超过1,000万的图像和1,000类的物体。然而，我们平常接触到数据集的规模通常在这两者之间。 假设我们想从图像中识别出不同种类的椅子，然后将购买链接推荐给用户。一种可能的方法是先找出100种常见的椅子，为每种椅子...
10.4 深度学习框架Caffe学习与应用-实践(Fine-tuning方法)、模型集成
wtj318_的博客
09-26 404
一、Fine-tuning方法 1、如果数据量有限，不要自己完全从头训练起caffe模型。先找相关的项目或者模型，先fintuning一下，之后再慢慢调整。 2、方法：learningrate（solver.prototxt）调低（为原来的十分之一），然后，把训练模型的最后一层或两层的学习速率调大一点。——也就是，把模型前面那些层的学习调低，使得参数更新的慢一点以达到微调的目的。 3、微调时...
[人工智能-深度学习-46]：FineTuning（微调）、Transfer Trainning（迁移学习）的理论基础与深度解析
文火冰糖（王文兵）的博客
11-14 1万+
第1张 前言：常见的工程诉求与特点 （1）数据集欠缺 个人的数据集小，无法提供向ImageNet这样的大数据集，但又想利用在ImageNet上训练的模型好的模型，为我所用，即基于在一些知名的数据集上训练好的模型，在进一步的训练，以满足自己的应用场景的需求，而无需重头开始训练。 （2）分类数多变 个人特定的应用，分类的种类与Image（1000种分类）等知名数据集的分类的种类不同，我们想在已经训练好模型的基础上，做适当的重新训练，以支持我们自己的分类数目，如100分类。 （3）防止过度训练，即过..
caffe深度学习（二）finetune
FlyYoung0709的博客
05-04 851
caffe深度学习finetune 转自Caffe fine-tuning 微调网络：http://www.cnblogs.com/xuanyuyt/p/6062204.html 一般来说我们自己需要做的方向，比如在一些特定的领域的识别分类中，我们很难拿到大量的数据。因为像在ImageNet上毕竟是一个千万级的图像数据库，通常我们可能只能拿到几千张或者几万张某一特定
动手学深度学习（二十七）——微调（fine turning）
热门推荐
Liu Feng's Blog
08-31 3万+
文章目录一、微调（fine tuning）1. 微调的四个步骤：2. 微调的训练过程3. 常用的微调技术4. 总结二、动手实现和测试微调1. 数据准备2. 模型微调3. 对比不使用微调和不同的微调参数4. 冻结层进行微调 一、微调（fine tuning） 1. 微调的四个步骤： 在源数据集（如ImageNet数据集）上预训练一个神经网络模型，即源模型。 创建一个新的神经网络模型，即目标模型。它复制了源模型上除了输出层外的所有模型设计及其参数。我们假设这些模型参数包含了源数据集上学习到的知识，且这些知识同
fine-tuning介绍
I‘m Frank Lee
02-19 2133
在深度学习过程中，获取数据集后，在训练自己的网络之前，用别人现有的网络进行fine-tuning（微调），然后训练。在实践中，由于数据集不够大，很少有人从头开始训练网络，常见的做法是使用预训练的网络来重新fine-tuning（微调），或者当做特征提取器。fine-tuning是迁移学习的一种手段（方法）。 Transfer Learning Definition Ability of a s...
读论文---Clip微调---CLIP Itself is a Strong Fine-tuner
计算机视觉
12-29 2514
CLIP Itself is a Strong Fine-tuner
Ollama Fine-tuning
02-08
### Ollama Fine-Tuning Guide and Documentation #### Overview of Ollama Fine-Tuning Fine-tuning is a process where pre-trained models are adapted to specific tasks or domains, improving performance on specialized datasets. This approach leverages the knowledge captured by large-scale language models during their initial training phase while allowing customization for particular applications. For Ollama-specific fine-tuning, several key aspects must be considered: - **Data Preparation**: Ensuring that data used for fine-tuning aligns closely with target application scenarios. - **Model Selection**: Choosing an appropriate base model based on task requirements and resource constraints. - **Hyperparameter Tuning**: Adjusting parameters such as learning rate, batch size, etc., to optimize results. - **Evaluation Metrics**: Defining clear criteria to assess improvements post-fine-tuning. #### Practical Steps for Implementing Ollama Fine-Tuning To implement effective fine-tuning strategies using Ollama frameworks, consider following these guidelines: ```python from ollama import load_model, prepare_data, train_model # Load pretrained model model = load_model('pretrained_ollama') # Prepare dataset tailored towards desired use case data = prepare_data(path_to_custom_dataset) # Define hyperparameters suitable for your scenario hyperparams = { 'learning_rate': 0.001, 'batch_size': 32, 'epochs': 5 } # Train the model with custom settings train_model(model=model, data=data, params=hyperparams) ``` This code snippet demonstrates how one might set up a basic pipeline for adapting a generic Ollama-based system into something more domain-specific through targeted adjustments at both input preparation stages alongside parameter selection processes[^1]. #### Best Practices When Performing Ollama Fine-Tuning When engaging in this type of work, adhering to best practices can significantly enhance outcomes: - Utilize high-quality labeled examples relevant to intended deployment contexts. - Experiment systematically across multiple configurations before settling on final choices. - Monitor progress carefully throughout experimentation phases via logging mechanisms built within development environments. - Validate findings rigorously against benchmarks established prior to initiating any modifications. By incorporating these recommendations when working with Ollama's capabilities, developers stand better positioned not only achieve superior technical achievements but also ensure ethical considerations remain paramount during all facets involved from conception through execution cycles[^2]. --related questions-- 1. What preprocessing steps should be taken before feeding text inputs into Ollama models? 2. How does transfer learning differ between general-purpose versus industry-focused NLP solutions like those offered under Ollama umbrella? 3. Can you provide real-world success stories showcasing benefits derived after applying advanced tuning techniques discussed here?
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值