程序猿视角

12G的RTX 3060显卡在深度学习训练中有一定的应用能力，具体能做哪些训练任务，需要考虑模型的复杂度、数据集的大小、训练框架的兼容性等多个因素。

12G显存的显卡在深度学习模型训练中具有一定的能力，但具体能够训练的模型类型和规模会受到多种因素的影响，如模型的复杂度、数据集的大小、使用的深度学习框架以及显卡的其他性能参数等。

SD（Stable Diffusion）中的ControlNet是一种条件生成对抗神经网络（Conditional Generative Adversarial Network, CGAN）的扩展技术，它允许用户通过额外的输入条件来控制预训练的大模型（如Stable Diffusion）的生成过程。ControlNet在SD的数据流中扮演着关键角色，它位于模型生成过程的输入端，通过引入额外的条件信息来指导图像的生成。

batch_size表示每个训练批次的样本数量。在训练神经网络模型时，通常需要将很多样本输入到模型中进行计算得到损失函数，然后利用反向传播算法来更新模型的参数。如果每次只输入一个样本进行计算，会大大增加训练时间和GPU显存的使用量，同时也可能导致训练过程不够稳定。因此，我们通常选择将一定数量的样本作为一个batch输入到模型中进行计算。而batch_size的大小则影响了模型参数的更新速度和训练效果。较小的batch_size可以提升参数更新的速度，但容易受到随机性较大的噪声干扰，导致训练过程波动较大；

这篇博客发出来后，我用 Rust 复现代码出现问题。为此，我对对照了 sklearn 的相关代码，反复比较了两天，发现一处 bug，把 += 误写成了 =，导致数据量大的时候完全无法聚类。这个debug过程让我仔细梳理的 AP 算法的计算过程，今天我对这篇博客做了大规模修改，以便能原样展现原论文思想。

机器学习的评价指标让人眼花缭乱。今天修改一份标准文件，发现算法测试指标定义有些不妥。反复思考后，感觉有必要再次梳理一下对这些概念的认识。

Cifar-10 的介绍可去官网阅读，也可参照我之前整理的《笔记：CIFAR-01 和 CIFAR-100 数据集内容和格式详解》1. 下载 Cifar-10 数据本文下载了 Cifar-10 的 Python 语言版本，解压后放在文件夹：...\cifar-10-python\cifar-10-batches-py 中。其中包含如下文件：2. 读取 Cifar-10 数据按照官网说明，这些数据可以用如下 Python 代码读取：def unpickle(file): import pi

1. 真假阳性阴性我们查体的时候，经常会听说检测结果呈”真阳性“、”假阴性“等说法。其中”真“、"假"说的是检查结果的对错。”真“意味着检测结果是正确的，"假"意味着检测结果是错误的。”阳性“、"阴性"说的是这次的检查结果。阳性，意味检测出了预定的目标。阴性，意味着没查出预定的目标。一共四种组合：检测结果英文术语含义真阳性true positive正确地检测到阳性结果：即检测结果正确，并且结果呈现阳性假阳性false positive错误地检测到阳性结果：即

最近，发现经常有客户对我们的产品提出质疑，你们所谓的AI，不就是数学最优化方法吗，我们怎么没看到智能呢？AlphaGo也好，人脸识别也好，人们发现在当今比较火的人工智能技术背后都有一个重要角色——神经网络。仔细研究神经网络，发现，神经网络原来是借助数学最优化方法生成的。于是，很多人不约而同的出一个结论，人工智能本质上就是数学最优化方法。果真如此吗？

下节课我们想组织学员呢嗯，搞一个练习就是给他们一些实际的案例看一看，如果用机器学习来解决这些问题的话，我们应该选择什么样的模型？讨论教案的时候呢，我们的授课讲师准备了很多例子。但是呢，这些例子当中呢，他们把重点都放在了这个模型的输出方面啊，因为他们觉得呢，根据模型的输出的这个数据类型就很容易呢，来确定我们应该选择一个什么样的模型。我觉得呢，如果让学员们呢，仅仅是根据模型的输出的设计类型啊，根据这个特点来判定我们应该选择一个什么样的模型，那这样对我们前面学过的机器学习啊，神经网络，对他的练习的话我觉得不太

1. 神经网络与逻辑电路相似的表面形式第一次看到神经网络这个理论的时候，首先呢，这个我脑子里边儿闪出的第一个念头就是它，它可能和我们传统的逻辑电路非常相似。逻辑电路里边我们处理的数据，就是0、1两个数字.那么在神经网络里边呢，由于Sigmoid函数的存在，我们所处理的数据啊，是0到1之间的实数。所以从这个角度来讲的话，我想神经网络，它很可能是逻辑电路的一个推广，把0、1两个值推广到[0，1]这样一个区间上。因此，从这个角度来看，神经网络里面的神经元，它所充当的角色就是逻辑电路里边的回门与门和非门。我们

判断一个算法模型是分类还是回归，貌似很简单，其实不然。本文结合教学内容，讨论了若干易混淆的情形。

在网上呢，十大经典机器学习算法推荐方案各不相同。我自己搞了这么多年机器学习方面的应用，感觉有些推荐的算法实际上很少，所以呢，我就站在我个人这个角度给出了这个十大经典机器学习算法的一个推荐列表。

最近的培训课程是围绕着 scikit-learn 展开的。今天对这个常规的机器学习算法来做一个总结。机器学习的工作过程机器学习解决问题的过程主要还是分成三个部分，一个呢是数据 data，第二个呢是解决问题的模型 model，最后呢是如何根据这个数据训练数据啊，通过这个 fit 的方法来对这个模型进行训练优化。当算法模型训练优化完成以后，我们就可以拿来应用了。我们给这个模型一个输入量X，然后呢，它就可以通过 predict 方法来生成一个预测值 y。机器学习的主要类型我首先给出一个列表。接下来主要

接受以前的教训，我们特地拿出一节课的时间来专门儿做上机的实习。首先呢，通过简单典型的例子来展示机器学习算法库的用法。然后呢，逐步的这个增加一些新的功能，包括转变一些数据结构，让学员们来体会到算法库对数据格式的要求，以及在做一些更完整的，比如说有这个训练和测试数据的这样一个训练方法。总体来讲吧，这节课呢，比上周几节课应该是有所进步，在材料的准备上和时间的分配上基本上是恰到好处。但是从我们自己感觉来讲，这个课的内容呢，就是还有待做进一步的提炼，我们可以讲得更浅显易懂，更有趣一些啊，然后做的练习现在看.

接受前面几节课的教训吧，从这一课开始，我们会有意的把理论介绍和上机实习分开。这节课介绍，鸢尾花的分类，主要是让学员们的初步了解，怎么样利用机器学习来构建数据分类的算法。授课方式呢，首先还是我们先抛出问题，那么我给出AB两种花的花瓣长度和宽度的测量数据，然后呢，我也用可视化的方法把它们这个测量数据的分布在坐标系里边标出来了，一共A、B两类，现在有一个新的测量数据P(X,Y)出来了，那么如何来判定P是属于A还是属于B呢？这个问题啊，我们首先让学员们展开这个思考讨论，看大家能够想出哪些不同的方法。然后呢，我.

1. 安装依赖库据说要先安装numpy和scipy，方法如下：安装 numpysudo pip install numpy安装 scipy需要先安装 matplotlib ipython ipython-notebook pandas sympysudo apt-get install python-matplotlib ipython ipython-notebooksudo apt-get install python-pandas python-sympy python-nos

作为深度学习的第一步，用 Keras 编写的糖尿病预测算法模型，并给出了注释。

越来越多的神经网络模型在部署的时候采用 8 位浮点数，感到有些好奇，所以粗略了解一下，聊聊这个话题。## 1.浮点数的格式先说说浮点数的表示方法。任意二进制数N可以写成 N = 2^e * M 的形式，其中 M 称为浮点数的尾数，是一个纯小数。e 是比例因子的指数，称为浮点数的指数，是一个整数。比例因子的基数 2 对二进记数制的机器是一个常数。我们参照 IEEE R32.24 标准，看看 float32 的格式：

直接去官网下载现成的：https://github.com/tzutalin/labelImg/releases

简单讨论了 AlexNet 的首发论文，以及论文摘译。

MNIST手写体模型 LeNet 经典论文阅读笔记：Gradient-Based Learning Applied to Document Recognition。用BP算法训练多层神经网络，是梯度学习技术的一个成功的案例。给出一个合适的网络架构，梯度学习算法可以综合处一个复杂的决策面，实现对于类似手写体字符这样高维模式的分类。本文回顾了各种不同的手写体识别方法，并给基于标准任务比较这些算法。卷积神经网络，专门为处理变化较大的二维图形而设计，显示出超越所有其他技术的能力。

简单地讨论，揭示出 softmax 与 max 函数在数学方面惊人的一致性和等价性。

本来想从现代网络建模技术的角度写一篇 LeNet 模型的“批判”杂文，仔细阅读原文后，感觉到经典的伟大。遂写此文，向经典致敬!

人与人之间的交流，主要依靠自然语言。人工智能时代，人们自然希望与机器之间的交流，也能通过自然语言进行。然而实践表明，这个目标技术难点很多，问题比想象的复杂多了。这两年，市场上出现很多对话机器人、对话音箱、语音助理之类的产品，大部分表现不佳。经常听到老百姓用“人工智障”来形容这些表现较差的机器人产品。为什么人类司空见惯的自然语言交流看起来那么简单，用于人机交互就那么困难呢？下面我们具体讨论一下。

快速浏览一下主流的CNN网络模型的特点，包括：LeNet、AlexNet、ZFNet、GoogLeNet、VggNet、ResNet 等。

one-hot 编码催生了 softmax，然而 softmax 的输出格式造成传统基于距离度量的损失函数学习效率很低，于是交叉熵技术横空出世。本文从头梳理这些技术的来龙去脉。

说一千道一万，交叉熵损失函数有什么价值？答，可以无限增加“分类失误”的惩罚力度，加快模型训练速度。本文通过一个简单的例子，直观解释其工作机制。

损失函数是神经网络模型构建的关键一步。基于模型预测结果和训练样本之间的距离，构建损失函数，是一个非常容易理解的方法。但是，用于分类模型的训练中，容易导致效率低下的问题。具体原因你知道吗？您知道如何避免出现类似问题吗？

分析 one-hot 编码如何简化了神经网络模型复杂度。

通过损失函数的设计，讨论 Sigmoid 的在训练过程中的作用。

1. 线性分类器别嫌我罗嗦，从这里开始看你不会后悔的。下面直线把平面分成两部分，平面上的点被分为两类：w1x1+w2x2+w0=0(1)w_1x_1+w_2x_2 +w_0= 0\tag1w1​x1​+w2​x2​+w0​=0(1)显然，给定坐标 (x1,x2)(x_1, x_2)(x1​,x2​) 我们可以根据 w1x1+w2x2+w0w_1x_1+w_2x_2 +w_0w1​x1​...

只要不犯愚蠢的错误，损失函数总会驱使模型朝着提升识别精度的方向前进，似乎没必要把损失函数搞得太复杂。但是，仔细思考一下，发现其中还是有些门道的。关键在于，模型的最优解最终落在什么位置，这个和损失函数定义绝对有关系。

importimport tensorflow as tf导入 Tensorflow 模块，并用 tf 做别名。from tensorflow.examples.tutorials.mnist import input_datatensorflow.examples.tutorials.mnist其中 tensorflow.examples.tutorials.mnist 是个什么鬼...

必须承认，上学的时候线性规划这门课完全没听懂。参加工作后，需要根据线性规划原理写一个算法，没办法，只好自己从头学，几经周折终于弄明白。感觉单纯性解法一节课足以讲明白，不知道教材为什么写得这么深奥难懂，而且竟然需要用一学年时间授课。 　　本文，我按自己的理解讲一下单纯形方法。凭我 quicmous 的信誉保证，稍加耐心看明白这篇文章，你能把单纯性算法DIY出来。 　　典范型　　从一个实际例子开始讨...

问题　　假设男、女身高都服从正态分布，我们通过抽样调查，利用最大似然估计，很容易估计出男、女群体的身高平均值。 　　 　　如果出现了意外，我们把抽样信息中男女的标记给弄丢了，男女身高数据混在了一起，那么还有没有办法把男女身高的平均值分别求出来呢？ 　　 　　为便于理解，我们给出抽样数据： 　　 　　男人身高(cm)：170,180,180,190 　　女人身高(cm)：150,160,

数学规划问题求解理论很复杂，这里根据自己的理解，给出浅显的解释。

自然语言处理技术离不开隐马尔可夫理论。看了书中几个例子，我已经头晕眼花了。仔细研究后把思路整理一下，画成简单的示意图，希望能帮助大家理解。 　　模型实例　　假设 S 是天气状况的集合，分别是“晴天”、＂多云＂、“下雨”， 　　其初始概率分布为， 晴天 多云 下雨 0.63 0.17 0.20　　其状态转移概率矩阵为： - 晴 阴 雨 晴 0.500

有时候需要琢磨算法为什么奏效？背后到底有什么原因？什么时候算法会失效？这些问题都搞明白了，才算真正理解了算法。这里我想探讨一下K均值和EM算法背后深层的东西。 　　 　　如果把来自不同样本类型的两组数据样本混在一起，比如男人身高和女人身高调查数据，能不能把混在一起的数据分开？K均值聚类算法迈出了非常精彩的第一步，基本思路是寻找两个类别的聚点中心。K均值聚类的特点　　首先随机给出两个聚点中心的

聊聊深度学习这档子事（4）：梯度下降法