ma_ant的博客

原创 HTTP协议

HTTP（HyperText Transfer Protocol 超文本传输协议）是一种用于分布式、协作式和超媒体信息系统的应用层协议。它是万维网数据通信的基础，设计用于客户端和服务器之间的请求与响应。

原创 Transformer架构

基于seq2seq架构的transformer模型可以完成NLP领域研究的典型任务, 如机器翻译, 文本生成等. 同时又可以构建预训练语言模型，用于不同任务的迁移学习.在接下来的架构分析中, 我们将假设使用Transformer模型架构处理从一种语言文本到另一种语言文本的翻译工作, 因此很多命名方式遵循NLP中的规则. 比如: Embeddding层将称作文本嵌入层, Embedding层产生的张量称为词嵌入张量, 它的最后一维将称作词向量等。

原创 RNN及其变体

'''第一个参数：input_size(输入张量x的维度)第二个参数：hidden_size(隐藏层的维度， 隐藏层的神经元个数)第三个参数：num_layer(隐藏层的数量)'''rnn = nn.RNN(5, 6, 2) # A 隐藏层个数从1-->2 下面程序需要修改的地方？'''第一个参数：sequence_length(输入序列的长度)第二个参数：batch_size(批次的样本数量)第三个参数：input_size(输入张量的维度)''''''

原创 NLP-文本预处理

自然语言处理（Natural Language Processing, 简称NLP）是计算机科学与语言学中关注于计算机与人类语言间转换的领域.通过一定的方式将词汇映射到指定维度(一般是更高维度)的空间.广义的word embedding包括所有密集词汇向量的表示方法，如之前学习的word2vec, 即可认为是word embedding的一种.

原创 RNN循环神经网络

循环神经网络（）是一种专门处理序列数据的神经网络。与传统的前馈神经网络不同，RNN具有循环结构，能够处理和记住前面时间步的信息，使其特别适用于时间序列数据或有时序依赖的任务。我们要明确什么是序列数据，时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度。这是时间序列数据的定义，当然这里也可以不是时间，比如文字序列，但总归序列数据有一个特点——后面的数据跟前面的数据有关系。

原创 CNN卷积神经网络

卷积神经网络是深度学习在计算机视觉领域的突破性成果，专门用于处理图像、视频、语音等数据的神经网络在计算机视觉领域, 往往我们输入的图像都很大，使用全连接网络的话，计算的代价较高。另外图像也很难保留原有的特征，导致图像处理的准确率不高。卷积神经网络（Convolutional Neural Network）是含有卷积层的神经网络。卷积层的作用就是用来自动学习、提取图像的特征。卷积层、池化层和全连接层构成：（1）卷积层负责提取图像中的局部特征（2）池化层用来大幅降低参数量级(降维)

原创 ANN人工神经网络

神经网络模型是深度学习的计算模型, 仿生生物学神经元构造功能: 创建自定义模型的时候自动调用操作：1.1 调用父类的__init__方法1.2 初始化隐藏层和输出层示例: self.linear1 = nn.Linear(3,3)1.3 初始化参数示例: nn.init.kaiming_normal_(self.linear1.weight)

原创 PyTorch框架-自动微分模块

为了计算这些梯度，PyTorch内置了名为 torch.autograd 的微分模块。自动微分（Automatic Differentiation，AD）是一种利用计算机程序自动计算函数导数的技术，它是机器学习和优化算法中的核心工具（如神经网络的梯度下降）注： 自动微分的张量不能转换成numpy数组, 通过.detach()张量剥离成不自动微分, 可以转换。① 梯度下降法公式: w = w - r*grad (r是学习率, grad是梯度值)② w和b一定是可自动微分的张量, 类型是float类型。

原创 PyTorch框架详解(1)

tensor[[0,1], [2,4]]->0轴第1个1轴第3个值, 0轴第2个1轴第5个值。③torch.IntTensor()/FloatTensor()...：Tensor直接指定类型创建。add_()/sub_()/mul_()/div_()/neg_()：修改原数据。②torch.Tensor(data=, size=())：既能指定数据,又能指定形状。③ log()/log2()/log10()/log1p()：对数。规则: (n, m) * (m, p) =(n, p)

原创 深度学习简介

深度学习是机器学习算法的分支，人工神经网络为结果, 实现自动提取数据特征的算法。电影/音乐/文章/推荐。ANN 人工神经网络。

原创 K-means聚类：3分钟带你掌握数据分组的核心秘籍！

聚类算法是一类无监督学习方法，旨在将数据划分为若干组（簇），使得同一簇内的样本相似度高，而不同簇间的样本差异大，根据样本之间的相似性，将样本划分到不同的类别中。

原创 集成学习概述

集成学习: (Ensemble Learning)是一种机器学习范式，它通过构建并结合多个模型来完成学习任务,获得更好的泛化性能。其中，参与组合的模型又叫弱学习器或者基学习器。

原创 决策树-机器学习

决策树是一种树形结构，树中每个内部节点表示一个特征上的判断，每个分支代表一个判断结果的输出，每个叶子节点代表一种分类结果。它主要用于分类和回归任务，通过递归地分裂数据集构建树状结构。2.决策树构建过程（三要素）① 特征选择选择较强分类能力的特征② 决策树的生成根据选择的特征生成决策树③ 决策树的剪枝决策树也容易过拟合，采用剪枝的方法缓解过拟合3.优缺点及应用可解释性强能处理非线性关系对缺失值有一定鲁棒性容易过拟合对数据变化敏感可能产生不稳定树结构。

原创 逻辑回归概述

(Logistic Regression)通过将线性回归的输出映射到(0,1)区间，使用Sigmoid函数将连续值转换为概率值，设置一个阈值（如下图的0.5），然后根据概率值进行二分类预测。ROC曲线以模型的真正率TPR为纵轴，假正率FPR为横轴，它将模型在不同阈值下的表现以曲线的形式展现出来。, (x_n, y_n) ]，n个样本都预测正确的概率就是伯努利分布的。逻辑回归的假想函数：h(w) = sigmoid(w^Tx + b )，把线性回归的输出，作为逻辑回归的输入。样本不平衡情况下模型训练；

原创 线性回归—机器算法相关

利用回归方程(函数) 对 一个或多个自变量(特征值)和因变量(目标值)之间 关系进行建模的一种分析方式2.公式：一元线性回归：y = wx+b多元线性回归： ℎ_(w) = w_1x_1+ w_2x_2 + w_3x_3 + … + b = w^Tx+b。

原创 优化鸢尾花案例

【代码】优化鸢尾花案例。

原创 KNN算法

其核心思想是“物以类聚”——通过计算待分类样本与训练集中样本的距离，找到最近的K个邻居，并根据这些邻居的类别进行投票决定待分类样本的类别。Ⅱ.网格搜索：网格搜索是模型调参的有力工具，只需要将若干参数传递给网格搜索对象，它自动帮我们完成不同超参数的组合、模型训练、模型评估，最终返回一组最优的超参数。为什么要预处理：特征的单位或者大小相差较大，或者某特征的方差相比其他的特征要大出几个数量级，容易影响（支配）目标结果，使得一些模型（算法）无法学习到其它的特征。比如：根据你的“邻居”来推断出你的类别。

原创 机器学习概述

1.数据：海量、高质量的数据是训练AI模型的基础，涵盖结构化（如表格）和非结构化数据（如文本、图像）。AI的子领域，通过算法让计算机从数据中自动学习规律，无需显式编程，模型性能与数据质量和规模直接相关。Ⅲ：奥卡姆剃刀原则：给定两个相同泛化误差的模型,较简单的模型比较复杂的模型更可取。从数据中自动学习规律，构建预测模型，通过参数（如权重、概率分布）泛化到新数据。2.算法：从数据中提取规律的方法，包括传统机器学习（如SVM）和深度学习。Ⅱ：泛化： 模型在新数据集(非训练数据)上的表现好坏的能力。

原创 数据分析整体思路

1.导包 2.加载数据 3.了解数据 4.清洗填充数据 5.处理分析数据 6.可视化展示。

原创 Pandas数据结构简述

DataFrame是一个表格型的结构化数据结构，它含有一组或多组有序的列（Series），每列可以是不同的值类型（数值、字符串、布尔值等）。exclude:不包含指定类型列, print(df.describe(exclude=['int', 'float']))格式：df对象.to_数据格式(路径) 例如 : df.to_csv('data/abc.csv')⑥ 添加列：通过 df[列名] = 值 的方式, 可以给df对象新增一列, 默认: 在df对象的最后添加一列。

原创 Numpy入门

np.cumsum(), np.cumprod(): 返回一个一维数组，每个元素都是之前所有元素的 累加和 和 累乘积，参数是 number 或 array。np.argmax(), np.argmin(): 最大值的下标索引值，最小值的下标索引值，参数是 number 或 array。.np.max(), np.min(): 所有元素的最大值，所有元素的最小值，参数是 number 或 array。①rand() 的功能是生成一个指定形状的随机浮点数数组,范围默认是0-1之间,(x,y)可以修改形状。

原创 MySQL数据库概述

数据库的作用就是存储和管理数据的,例如可以存储大量的商品信息、用户信息、用户浏览信息等,当然也可以对这些数据进行管理处理,例如新增数据、修改数据、删除数据、查看数据等;：概念和功能：又叫聚合函数,统计函数...sum()求和，count()计数，avg()求平均，max()求最大值，min()求最小值。select 分组字段名, 聚合函数(字段名) from 表名 group by 分组字段名,分组字段名...;：insert into 表名(字段名) values (字段值) , (字段值) ...;

原创 排序算法简述

定义：排序算法，就是使记录按照要求排列的方法这里举例两种方法。

原创 数据结构与算法

单链表的操作：is_empty() 链表是否为空length() 链表长度travel() 遍历整个链表add(item) 链表头部添加元素append(item) 链表尾部添加元素insert(pos, item) 指定位置添加元素remove(item) 删除节点search(item) 查找节点是否存在。

原创 正则表达式

原创 进程和线程

进程与线程的介绍