JamesSwifte的博客

原创 基于deepseek的图像生成系统

你现在是一个ai图片生成机器人，我给你一些提示，你用你的想象力去生动描述这幅图片，并转换成英文填充到下面url的占位符中:!当你向这个URL发送请求Pollinations AI的服务器会根据URL中的参数生成一张图片，并将图片返回给你，其中包含了不少AI绘图所需的参数，内行人应该一眼就能看懂~但是它可以生成图像生成的描述词，那么是否可以使用deepseek生成描述词，然后用其他的AI绘画工具去生成呢？请求，调用Deepseek API 生成图片提示词，生成图片 URL 并返回给前端。

原创 本地部署Deeoseek

访问deepseek时出现网络延时问题。

原创 transformer架构解析{模型基本测试}(含代码)-9

经过前面的学习，我们已经学完了transformer模型的各个组成部分以及实现代码，最后也实现了模型的创建，接下来我们用一个任务来测试一下模型，看它是否能将规律学到。任务描述：针对数字序列进行学习，学习的最终目标是使输出与输入的序列相同，如输入[1,5,8,5,6]输出也是[1,5,8,5,6]任务意义：copy任务在模型基础测试中具有重要意义，因为copy操作对于模型来讲是一条明显的规律，因此模型能否在短时间内，小数据集中学会它，可以帮助我们断定模型的所有过程是否正常，是否已具备基本的学习能力。

原创 transformer架构解析{模型构建，模型创建}(含代码)-8

前面一节我们学习了输出部分组成部分（线形层+softmax），以及代码实现，接下来万事俱备，我们可以来构建模型。

原创 transformer架构解析{输出部分}(含代码)-7

前一节我们学习了解码器层的各个组成部分（3个子层结构：多头自注意力机制+规范化层+残差连接；多头注意力机制+规范化层+残差连接；前馈神经网络+规范化层+残差连接），解码器以及它们的实现代码。

原创 transformer架构解析{解码器层，解码器}(含代码)-6

前面一节中，我们了解了编码器层，编码器的组成以及代码实现。接下来我们学习解码器的知识，解码器和编码器在组成组件部分是大致一样的。

原创 transformer架构解析{编码器层，编码器}(含代码)-5

在前面一节中，我们学习了前馈全连接层，来弥补注意力机制对于复杂过程的拟合程度不够；规范化层，这是一个深度学习网络的标准层，特征数值经过多层网络，数值会变得很大或很小，影响模型的效果，经过标准化处理，有利于模型收敛；子层连接结构，经过残差连接（跳跃连接）来增强特征。

原创 transformer架构解析{前馈全连接层，规范化层，子层（残差）连接结构}(含代码)-4

我们之前学习了输入层（词嵌入层（经过词向量编码），位置编码（通过词位置信息向量和词特征矩阵得到））。注意力机制（注意力计算规则，自注意力和注意力区别，注意力机制，多头注意力机制）在transformer中前馈全连接层就是具有两层线性层的全连接网络输入到每个子层以及规范化层的过程中，还使用了残差链接（跳跃链接），我们把这一部分结构叫做子层连接结构（代表子层及其链接结构），在每个编码器层，都有两个子层，这两个子层加上周围的链接结构形成了两个子层链接结构。

原创 transformer架构解析{掩码，（自）注意力机制，多头（自）注意力机制}(含代码)-3

在之前的小节中我们学习了词嵌入层（词向量编码）以及加入了位置编码的输入层的概念和代码实现的学习。在本小节中我们将学习transformer中最重要的部分-注意力机制张量尺寸不定，里面只有(0，1)元素，代表位置被遮掩或者不遮掩，它的作用就是让另外一张张量中的一些数值被遮掩，被替换，表现形式是一个张量。在图中，我们可以看到，有一组Linear层进行线性变换，变换前后的维度不变，就当是一个方阵的张量，每个张量的值不同，那么变化后的结果也不同，特征就丰富起来了。

原创 transformer架构解析{词嵌入层，位置编码器}(含代码)-2

位置编码器（Positional Encoding）的作用：因为在transformer的编码器结构中并没有针对词汇向量位置信息的处理，因此需要在Embedding层后加入位置编码器，将词汇的位置不同 可能产生不同语义的信息加入到词嵌入张量中，以弥补位置信息的缺失。文本（词向量）嵌入层的作用：将文本词汇（其他数据）的数字表征转变成为向量表示。经过Embedding层将每个数字都转换成为512维的向量。掌握文本（词向量）嵌入层和位置编码器的实现过程。了解文本（词向量）嵌入层和位置编码器的作用。

原创 transformer架构解析{transformer总体架构}(含代码)-1

解码器部分：由N个解码器层堆叠而成，每个编码器层有三个子层：（多头自注意力，规范化层，残差连接）（多头注意力，规范化层，残差连接）（前馈全连接层，规范化层，残差连接）编码器部分：由N个编码器层堆叠而成，每个编码器层有两个子层：（多头自注意力，规范化层，残差连接）（前馈全连接层，规范化层，残差连接）输入：Input Embedding输入的源数据词向量编码，Output Embedding输入的目标数据词向量编码。本节的学习目标是了解transformer模型的作用。

原创 项目准备（flask+pyhon+MachineLearning）- 3

【代码】项目准备（flask+pyhon+MachineLearning）- 3。

原创 项目准备（flask+pyhon+MachineLearning）- 2

注意每个网页上方都有导航条，大家可以使用jinja2的继承功能，写一个base.html,其他网页都可以继承这个网页，在其上面扩展。使用render_template来渲染，注意这里的前端网页使用jinja2模板。验证前端输入的邮箱密码是否输入正确，增加一个forms.py。制作一个邮箱服务器，我们这里使用QQ邮箱。再创建一个邮箱的模板，进行数据库交互。在config.py中完成配置即可。使用falsk-mail库完成。获取从前端输入的邮箱密码。

原创 项目准备（flask+pyhon+MachineLearning）- 1

使用pycharm创建项目，flak_project，内含:static文件夹用来存储网页渲染等静态文件，templates文件夹用来存储网页代码（使用jinja2模板）flask实现操作数据库，发布网页，实现机器学习，数据分析的功能，前后端不分离。创建config.py用来实现数据库等配置，exts.py用来解决循环引用的问题,models.py用来实现模板的创建。蓝图注册，任何页面的都可以抽象出来，放在蓝图，咱们这边有两个蓝图，注册登录auth.py,登录之后的蓝图query.py。

原创 数理统计(第5章：一元线性回归分析)

原创 数理统计(第4章第2节：2元方差分析)

目录重复实验的二元方差分析引例​编辑数学模型​编辑​编辑​编辑离差（平方和）分解假设检验​编辑​编辑重复实验二元方差分析表​编辑例子

原创 数理统计(第4章第1节：1元方差分析)

目录引例基本概念1元方差分析的数学模型​编辑离差平方和​编辑​编辑​编辑​编辑​编辑单因子方差分析的假设检验​编辑1元方差分析表例子

原创 数理统计(第3章第5节：分布假设检验)

类一：不含有未知参数(离散型) 类二：含有未知参数(连续型)

原创 数理统计(第3章第4节：单侧假设检验)

来构造统计量，用保守估计作为假设：有无显著提高，减小，则。是一个未知数，则构造不成统计量，所以拿。假设没有显著提高或者减小。

原创 数理统计(第3章第3节：检验母体方差)

目录单个母体方差检验检验两个母体方差相等

原创 数理统计(第3章第2节：检验母体均值)

检验单个母体的均值当Sigma平方已知当sigma平方未知检验大样本检验两个母体的均值当sigma平方已知当sigma平方未知检验大样本

原创 数理统计(第3章第1节：假设检验的基本概念)

假设检验分两类：参数检验，分布检验。

原创 数理统计（第2章第3节：区间估计）

目录1. 区间估计的定义及求区间估计的步骤2. 求置信区间的步骤3. 抽样分布定理（正态总体下子样的均值与方差）4. 正态总体下参数的区间估计4.1 单个正态总体的均值与方差的区间估计4.1.1 已知，求的置信区间4.1.2 未知，求的置信区间4.1.3 未知，求的置信区间4.2 两个正态总体均值差与方差比的区间估计5. 大样本下均值（参数）的区间估计5.1 单个总体均值的区间估计5.2 两个总体均值之差的区间估计6.单侧置信区间

原创 数理统计（第2章第2节：估计量的好坏标准）

估计量的好坏有无偏性，有效性，一致性无偏性有效性一致性

原创 数理统计（第2章第1节：参数估计）

目录数理统计的基本问题之一是根据样本所提供的信息，对总体的分布数字特征等做出统计推断。一种是参数估计，一种是假设检验1. 参数估计：利用样本信息对未知参数做出估计。参数估计包含（点估计和区间估计）点估计（定值估计）矩法极大似然法总体是离散型的总体是连续型的

原创 数理统计（第1章第2节：一些常用的抽样分布）

若随机变量X的概率密度为： 则称X服从参数为和的正态分布，,若,则称X服从标准正态分布， 性质： 所以由此可得子样平均数 服从正态分布 标准正态分布的上侧 分位数 一般定义：设随机变量X的概率密度函数为,对于任意给定的,若存在,使得 ,则称点为该概率分布的上侧分位数的上侧分为点 例子：

原创 数理统计（第1章第1节：子样与母体）

母体：研究对象的全体（关心个体的一项或者几项）数量指标及总体的分布情况。比如·：一批灯泡的·使用寿命，班级学生的身高，体重等。

原创 自然语言处理-BERT处理框架-transformer

BERT：当前主流的解决框架，一站式搞定NLP任务。（解决一个NLP任务时的考虑方法之一）BERT：google开源的框架BERT：自然语言的通用解决框架必备知识：Word2vec,RNN(了解词向量模型，RNN模型如何建模)重点：Transformer网络架构训练方法： BERT训练方法google开源提供预训练模型，直接使用。

原创 GAN实例基于神经网络

需要了解GAN的原理查看。采用手写数字识别数据集。

原创 对抗生成网络（GAN），DCGAN原理

这是生成器的示意图：stride=2，3个反卷积核，由100维向量到64*64*3的图像，其第一步是reshape，然后反卷积，下采样，通道数不断减少。着重这些问题，发展出了DCGAN，用卷积核来提取特征，并且不同于传统的卷积神经网络，其用卷积成代替池化层，达到压缩的作用。那么生成器就在训练的过程中，得到一组参数，将噪声经过运算转换成真实的分布，产生以假乱真的图像。在迭代的过程中，生成器和判别器相互对抗，互为矛盾，提升效果，让损失函数收敛。想一想输入,是两种数据，真实的数据，生成器生成的假数据。

原创 数据增强，迁移学习，Resnet分类实战

加载预训练模型，torchvision中有很多经典网络架构，调用起来十分方便，并且也可以用人家训练好的权重参数来继续训练，也就是所谓的迁移学习。需要注意的是别人训练好的任务根咱们的可不是完全一样的，需要把最后的head层改一改，一般也就是最后的全连接层，改成咱们自己的任务。2.将卷积层权重参数冻住不变，全连接层重新训练（一般是，数据量少，冻住的层数多）训练时可以完全重头训练，也可以只训练最后咱们任务层，因为前几层都是做特征提取的，本质任务目标一致的。迁移学习，用前人的参数，改变全连接层。

原创 卷积神经网络

大家联系神经网络提取特征的过程，经过隐藏层，将输入特征值增大，减小，特征数量增多，减少，最后学习到了特征，虽然人是看不出，读不懂这样的特征。那么卷积的作用也是提取特征，而且克服了神经网络的参数过多，容易过拟合的问题。想象一下，一张图片有主次之分，有背景，有人物，把一张图片分成一块一块的（张量），每一块都有它的代表特征，怎么得到这个特征呢？？？引入卷积核（类似于神经网络中的权重参数矩阵）卷积核在定义了大小后，初始化类似与神经网络中的权重参数矩阵，然后在迭代优化中（反向传播）更新，达到最佳的一组。

原创 数据降维方法-主成分分析(PCA)

主成分分析(Principal Component Analysis)用途：降维中的常用手段目标：提取最有价值的信息（基于方差）问题：降维后的数据的意义？？

原创 自然语言处理-词向量模型-Word2Vec

计算机只认识数值数字，那么怎么认识自然语言呢？？？答案就是将自然语言转换转换成数值，就词向量。先来考虑一个问题，如何能将文本向量化呢？？？看起来比较抽象，可以先从人的角度来观察。如何来描述一个人呢？？？只用身高或者体重，还是，综合其各项指标呢？？例如：Kevin Durant 身高211cm, 体重90kg，这能完全描述他吗？？？当然不能，还有NBA超巨，全明星，死神，等等描述。1. 初始化磁向量矩阵。

原创 关联规则(理论及实例)

## 自定义一份购物数据集print(df)设置支持度（support）来选择频繁集选择最小支持度为50%计算规则可以指定不同的衡量标准与最小阈值针对选择这几条结果就比较有价值了洋葱和马铃薯 汉堡和马铃薯 可以搭配着来卖如果洋葱和汉堡在购物篮中，顾客买马铃薯的可能性也比较高，如果篮子里面没有，可以推荐一下。

原创 贝叶斯算法代码实现以及运用实例-垃圾邮件分类

阅读本文之前，需要懂得贝叶斯算法的原理，可以参考机器学习算法的另一个分支-贝叶斯算法原理（贝叶斯要解决什么问题）。本文实现了，贝叶斯算法，包括邮件预处理，将文本转换成词向量，语料库的构建，训练和测试模块实现，即：先验概率的计算，测试邮件在垃圾邮件中和正常邮件的词频统计。

原创 机器学习算法的另一个分支-贝叶斯算法原理（贝叶斯要解决什么问题）

1. 贝叶斯：英国数学家。1702年出生于伦敦，做过神甫。贝叶斯在数学方面主要研究概率论.对于统计决策函数、统计推断、统计的估算等做出了贡献。2. 贝叶斯方法源于他生前为解决一个“逆概”问题写的一篇文章3. 生不逢时，死后他的作品才被世人认可。

原创 神经网络代码实现（用手写数字识别数据集实验）

读者需要了解神经网络的基础知识，可以参考神经网络（深度学习，计算机视觉，得分函数，损失函数，前向传播，反向传播，激活函数）本文为大家详细的描述了，实现神经网络的逻辑，代码。并且用手写识别来实验，结果基本实现了神经网络的要求。

原创 神经网络（深度学习，计算机视觉，得分函数，损失函数，前向传播，反向传播，激活函数）

神经网络是一种有监督的机器学习算法，神经网络当成一种特征提取的方法，神经网络追求是什么样的的权重参数适合当前任务。

原创 SVM-支持向量机实验分析(软硬间隔，线性核，高斯核)

学习本文之前要具有SVM支持向量机的理论知识，可以参考支持向量机（Support Vector Machines）本文对比了传统分类模型和SVM支持向量机分类模型，软硬间隔差别，非线性支持向量机，核技巧，高斯核函数的参数比较。