- 博客(36)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 HDFS 操作命令
在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为。）是项目的一个子项目，Hadoop非常适于存储大型数据比如TB和PB),其就是使用HDFS作为存储系统. HDFS使用多台计算。
2024-12-03 18:20:39
585
1
原创 Vue+Element Plus后台管理主界面搭建实现
结合Vue和Element-UI，开发者可以快速构建高质量的Vue应用，利用Element-UI提供的丰富组件和工具，以及Vue的响应式数据绑定和组件化开发模式，实现高效且美观的用户界面开发
2024-08-08 18:15:31
2231
1
原创 Vue+Vite+Element Plus基础操作
Vue.js 是一个流行的前端框架，而 Vite 是一个快速构建前端应用的新型开发服务器和构建工具，两者结合可以显著提升开发效率和体验
2024-08-07 09:28:26
1578
1
原创 Django 基础
Django是一个流行的高级Python Web框架，它旨在简化快速开发动态网站和Web应用的过程。Django的核心理念是“约定优于配置”，这意味着它提供了一系列强大的内置功能，如ORM（Object-Relational Mapping），自动管理后台系统、表单处理、URL路由等。
2024-08-01 14:36:26
391
原创 Django REST Framework
Django REST Framework (DRF) 是一个用于构建 Web API 的高级、简洁且易于使用的Python库，它是基于著名的Web框架Django而创建的。DRF提供了一套强大的工具和约定，简化了处理HTTP请求和响应的过程，以及序列化数据到JSON格式。
2024-08-01 11:31:24
1045
原创 递归神经网络 RNN
递归神经网络（Recurrent Neural Network，RNN）是一种具有循环连接的神经网络结构，主要用于处理序列数据。它的原理是通过将当前时刻的输入和上一时刻的隐藏状态进行组合，来预测下一时刻的输出。RNN的基本结构包括输入层、隐藏层和输出层。隐藏层中的神经元不仅接收当前时刻的输入，还接收上一时刻隐藏层的输出作为输入。这种循环连接使得RNN能够对序列数据进行建模，捕捉到数据中的时序信息。在RNN中，每个时间步都有一个隐藏状态，用于存储过去时间步的信息。隐藏状态可以看作是网络对过去信息的记忆。
2024-07-31 18:13:02
789
原创 Opencv基本操作 (上)
mode:轮廓检索模式RETR_EXTERNAL ：只检索最外面的轮廓；RETR_LIST：检索所有的轮廓，并将其保存到一条链表当中；RETR_CCOMP：检索所有的轮廓，并将他们组织为两层：顶层是各部分的外部边界，第二层是空洞的边界;RETR_TREE：检索所有的轮廓，并重构嵌套轮廓的整个层次;method:轮廓逼近方法CHAIN_APPROX_NONE：以Freeman链码的方式输出轮廓，所有其他方法输出多边形（顶点的序列）。
2024-02-29 09:48:15
1131
原创 卷积神经网络 CNN
卷积核是卷积神经网络中的一个重要概念，用于提取输入图像的特征。卷积核的定义包括两个方面：大小和形状。1. 大小：卷积核的大小决定了卷积操作的范围，也就是感受野的大小。在二维卷积中，最常见的卷积核大小是3x3。一般来说，较大的卷积核可以捕捉更多的图像信息，获得更好的全局特征。但是，大的卷积核会增加计算量，降低计算性能。2. 形状：卷积核的形状可以是任意的，但通常是正方形或矩形。卷积核的形状决定了卷积操作的方式和特征提取的方式。例如，边缘检测可以使用边缘检测卷积核，而模糊操作可以使用模糊卷积核。
2024-02-25 14:04:00
2454
1
原创 神经网络代码实现
损失函数定义# 获取层数# 样本个数# 分类个数# 前向传播走一次# 制作标签，每一个样本的标签都得是one-hot# 将对应的位置改为 1# 计算损失。
2024-02-18 23:03:13
1529
原创 神经网络算法原理
Dropout是一种常用的正则化技术，用于减少神经网络的过拟合问题。在训练过程中，Dropout会随机地将一部分神经元的输出置为0，这样可以强制网络去学习更加鲁棒的特征表示。具体来说，Dropout会以一定的概率p将某个神经元的输出置为0，而保留其他神经元的输出
2024-02-17 17:53:04
1172
原创 机器学习核心算法
决策树算法是一种基于树形结构的分类学习方法。它通过对数据集进行递归地划分，构建一颗由多个判断节点组成的树。每个内部节点表示一个属性上的判断，每个分支代表一个判断结果的输出，最后每个叶节点代表一种分类结果。决策树算法的概述如下：1. 选择最佳划分属性：根据某个评价指标（如信息增益、基尼指数等），选择最佳的属性作为当前节点的划分属性。2. 划分数据集：根据划分属性的取值，将数据集划分为多个子集，每个子集对应一个分支。
2024-01-24 20:07:53
1114
原创 模型评估方法
目录数据集切分交叉验证交叉验证实例混淆矩阵实例代码实现阈值全局阈值处理自适应阈值处理阈值对结果的影响ROC曲线数据集切分数据集切分是指将一个数据集分割成训练集和测试集的过程。常用的方法是随机切分，即将数据集中的样本按照一定比例分配到训练集和测试集中。切分数据集的目的是为了评估模型在未见过的数据上的性能，以便更好地了解模型的泛化能力。在Python中，可以使用train_test_split函数来进行数据集切分。该函数位于sklearn.model_se
2023-12-22 10:26:03
1034
原创 机器学习--线性回归
它是训练模型时所需要最小化或最大化的目标函数，通过调整模型参数，使得损失函数的值达到最小或最大，在模型预测结果与实际结果之间找到最优的拟合程度。通过使用正弦函数特征，可以对数据进行平滑处理，从而减少噪声的影响并提取出数据中的主要趋势。3. 对数损失（Logarithmic Loss，或称为逻辑损失，Log Loss）：常用于二分类问题的损失函数，衡量模型输出的概率与实际标签之间的负对数似然。总而言之，使用正弦函数特征可以帮助提取数据中的周期性模式和趋势，并减少噪声的影响，从而改善数据的可分析性和预测能力。
2023-12-20 20:45:56
1708
原创 贝叶斯分析
贝叶斯分析（Bayesian analysis）是一种基于贝叶斯定理的统计推断方法，用于从观测数据和先验知识中推断出参数的后验分布。这种方法能够帮助我们根据已有的信息更新我们对未知参数的置信度。贝叶斯分析的过程可以简单描述如下：1. 设定先验分布：首先，我们需要选择一个适当的先验分布来表示我们对参数的先有信念，这个先验分布可以是由领域知识、历史数据或专家经验得到的。2. 收集观测数据：接下来，我们收集实际观测到的数据。
2023-12-14 18:25:18
770
1
原创 聚类分析实例
层次聚类（Hierarchical Clustering）是一种无监督学习的聚类分析方法，用于将数据集中的样本或观测值划分为不同的群集或簇。它通过计算样本之间的相似性或距离来进行聚类，并且可以根据相似性的程度来构建层次结构。通过计算不同类别数据点间的相似度来创建一棵有层次的嵌套聚类树。在聚类树中，不同类别的原始数据点是树的最低层，树的顶层是一个聚类的根节点。创建聚类树有自下而上合并和自上而下分裂两种方法。论数据集应该聚类成多少个簇，通常是在讨论我们在什么尺度上关注这个数据集。
2023-12-14 18:13:04
2745
1
原创 方差分析实例
方差分析的基本思想是将总体方差（反映了所有样本的变异程度）分解为组间方差（反映了不同样本均值之间的差异）和组内方差（反映了相同样本内观测值的变异）。如果组间方差远大于组内方差，说明各样本均值之间差异显著；反之，差异不显著。方差分析步骤 建立假设：首先，我们需要提出一个原假设和备择假设。原假设通常假设所有样本的均值相等，备择假设则假设至少有一组样本的均值不相等。 计算方差：通过使用样本数据，计算每个样本的平均值和总体平均值，并计算组间方差和组内方差。 计算统计量：计算统计量F值，
2023-12-13 09:27:05
1665
1
原创 假设检验实例
什么是假设：对总体参数（均值，比例等）的具体数值所作的陈述。比如，我认为新的配方的药效要比原来的更好。什么是假设检验：先对总体的参数提出某种假设，然后利用样本的信息判断假设是否成立的过程。比如，上面的假设我是要接受还是拒绝呢。
2023-12-12 13:15:09
2165
原创 回归分析实例
相关分析是研究两个或两个以上的变量之间相关程度及大小的一种统计方法回归分析是寻找存在相关关系的变量间的数学表达式，并进行统计推断的一种统计方法在对回归分析进行分类时，主要有两种分类方式：根据变量的数目，可以分类一元回归、多元回归根据自变量与因变量的表现形式，分为线性与非线性所以，回归分析包括四个方向：一元线性回归分析、多元线性回归分析、一元非线性回归分析、多元非线性回归分析。因变量(dependent variable)：被预测或被解释的变量，用y表示。
2023-12-10 21:58:22
1293
原创 熵与激活函数
可以将熵看作数据中所包含的信息量，当熵最大时，数据中的每个元素都是等概率出现的，难以从中获得有用的信息；如果硬币是公平的，即正面和反面的概率均为0.5，那么熵最大，因为我们无法确定硬币会落在哪一面，信息量最大。另一方面，如果硬币是偏向正面的，例如正面的概率为0.9，那么熵较小，因为我们可以预期硬币更有可能落在正面。激活函数是机器学习和深度学习中的一种非线性函数，它被应用于神经网络的隐藏层或输出层，用于引入非线性变换和增加网络的表达能力。相反，如果数据的可能取值越少，即数据的分布越集中，熵就越小。
2023-12-08 10:22:03
752
原创 核函数变换
核函数变换（Kernel Function Transformation）是在机器学习中常用的一种技术，用于将输入数据映射到一个更高维度的特征空间中。这种技术使得原本线性不可分的数据在特征空间中变得线性可分，从而提高了分类或回归任务的性能。在核函数变换中，我们使用一个核函数（kernel function）来计算原始数据点与特征空间中的参考点之间的相似性。常用的核函数包括线性核函数、多项式核函数、高斯核函数等。
2023-12-08 09:15:53
1215
原创 数据科学必备分布
正态分布随机变量的赋范概率密度函数（pdf）和累积密度函数（cdf）# IMPORTS# PDF 概率密度alpha=.15,# CDF 累计概率密度# LEGEND# TICKS# TITLE。
2023-12-07 21:24:18
1030
原创 概率论基础
中心极限定理是一个重要的统计学概念，它描述了一种现象：当我们从一个总体中随机抽取许多样本，并计算每个样本的平均值，这些平均值的分布将趋向于正态分布，即使总体分布不是正态分布。奥卡姆剃刀的核心思想是，如果两个模型能够解释观测数据的情况下，我们更应该选择解释更简单的模型，因为它更具有泛化能力，并且更不容易受到噪声数据的影响。举个例子，假设有一个二维离散型随机变量X，它的取值可以是{(0,0), (0,1), (1,0), (1,1)}，对应的概率分别为{0.3, 0.2, 0.4, 0.1}。
2023-12-06 17:36:18
1454
1
原创 随机变量与概率估计
我们假设模型的输出是由参数化分布生成的，然后根据给定数据的观测值，通过最大化似然函数来估计模型参数。在概率中，参数被认为是固定的，而事件的出现是随机的。在似然中，参数被认为是随机的，而观测数据是固定的。换句话说，概率关注的是在已知参数情况下观测到某个事件的概率，而似然关注的是在已知观测数据情况下估计参数的可能取值。总结起来，概率是在已知参数的情况下计算事件发生的概率，而似然是在已知观测数据情况下估计参数的可能取值。似然函数是用来评估参数的可能取值与已观测到的数据之间的关系的函数。
2023-12-06 09:37:05
896
1
原创 git多人协作实战
master分支（主分支）用来存放每一阶段完成的项目，develop（开发分支）用来开发项目，当develop分支代码编写完成时，将完成的代码合并到master分支上，接着再回到develop分支开发代码，直到项目完全编写出来，这样的好处是每一个阶段的代码都可以运行。
2023-11-24 11:01:33
896
1
原创 常用的命令
进入conda base环境 source ~/anaconda/bin/activate 退出conda conda deactivate ubuntu进入venv source ./venv/bin/activate ubuntu退出venv deactivate 解决报错 from distutils.cmd import Command as DistutilsCommand ModuleNotFoundError: No module named 'd
2023-11-23 13:52:49
497
原创 手写数字识别应用
使用简单的CNN模型完成mnist手写数字识别，使用Django框架搭建网络服务的代码示例，其中包括上传图片按钮、图片展示和开始识别按钮的功能。通过上传数字图片完成数字识别。
2023-07-10 09:59:30
214
1
空空如也
登录不到后台界面控制台台报500错误，如何解决？
2022-04-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人