- 博客(43)
- 收藏
- 关注
RSS订阅原创 Tensorflow深度学习总结
由于`x`的形状是`(2, 4)`，而`w`的形状是`(4, 3)`，所以它们的乘积将是`(2, 3)`的张量。这段代码使用TensorFlow创建了一个简单的线性变换`wx + b`，其中`x`是一个随机生成的张量，`w`是一个全1的权重张量，`b`是一个全0的偏置张量。- `x` 和 `x_val` 是形状为 `(60000, 28, 28)` 和 `(10000, 28, 28)` 的 NumPy 数组，包含训练和验证样本的图像数据。这意味着`x`将包含2行4列的随机数。
2024-07-25 16:47:00
1335
1
原创 IDEA中配置代理,解决Codearts Snap登陆不了的问题
问题描述：在mac电脑中的idea中安装了华为的codearts snap插件，一直登录不了，账号是没问题的，后来我怀疑是我的代理有问题，找到IDEA中的代理设置先是有这个问题“You have JVM property "https.proxyHost" set to "127.0.0.1"This may lead to i”后来我又查了一些资料，感觉是我的idea中没有代理的原因，我就查看我电脑上的代理信息，然后手动添加了代理。再次登录就可以了，总算是解决了这个问题。
2024-07-11 10:31:01
622
原创 安装MySQL8.0及以上版本操作步骤
然后，会出现如下所示页面，点击页面底部的“No thanks, just start my download”，就可以开始下载。在界面中单击“新建”按钮，会弹出如下界面，变量名为:MySQL_HOME，变量值为:C:\mysql-8.3.0-winx64，也是刚解压出来的目录。然后点击“确定”按钮。访问MySQL官网下载安装文件，如下图所示，点击页面中的“Download”按钮。输入如下命令，跳转路径到“C:\mysql-8.3.0-winx64\bin”。在弹出的界面中（如下图所示），点击“新建”按钮。
2024-03-13 09:59:28
1604
原创 MySQL数据库中直接导入sql文件操作方法
①.新建一个数据库demo(名字任取)，点击指示图标(或者File栏里面的Open SQL Script…3.选中数据库下的表运行SQL文件（选择刚刚创建的数据库，右键选择运行SQL文件）4.选中路径导入（选择你当前电脑中sql文件的存放路径），导入后点击开始。PS：不用点保存，导入后直接×掉即可，保存会修改sql文件本身；注意：大概在15、16行的位置，如果不添加，则导入无效。当前数据库中已经导入SQL文件中所有的表。③.添加指定库名的命令 ，并点击运行。②.选择导入文件的路径。
2024-02-23 14:46:01
847
原创 华为云codeArts使用操作流程
什么是华为云CodeArts？本实验将在华为云CodeArts平台上搭建一个凤凰商城开发项目，并完成需求管理、代码仓库、代码检查、编译构建、发布、部署、流水线等软件开发操作。
2024-01-30 23:39:54
2626
原创 大规模机器学习(Large Scale Machine Learning)
但是这些是实际的问题，在这些问题里，你会看到大公司会获取如此多的数据，真的没有必要来保存一个固定的数据集，取而代之的是你可以使用一个在线学习算法来连续的学习，从这些用户不断产生的数据中来学习。这就是在线学习机制，然后就像我们所看到的，我们所使用的这个算法与随机梯度下降算法非常类似，唯一的区别的是，我们不会使用一个固定的数据集，我们会做的是获取一个用户样本，从那个样本中学习，然后丢弃那个样本并继续下去，而且如果你对某一种应用有一个连续的数据流，这样的算法可能会非常值得考虑。将重叠的区域进行合并。
2024-01-26 15:40:35
2693
1
原创 推荐系统(Recommender Systems)
影 𝑗，保证两部电影的特征向量之间的距离𝑥(𝑖)和𝑥(𝑗)很小，那就能很有力地表明电影𝑖和电影 𝑗 在某种程度上有相似，至少在某种意义上，某些人喜欢电影 𝑖，或许更有可能也对电影。总结一下，当用户在看某部电影 𝑖 的时候，如果你想找 5 部与电影非常相似的电影，为了能给用户推荐 5 部新电影，你需要做的是找出电影 𝑗，在这些不同的电影中与我。基于用户的协同过滤通过比较用户之间的历史行为，找到具有相似行为模式的用户，然后给目标用户推荐这些相似用户喜欢的物品。有一个很方便的方法来度量两部电影之间的相似性。
2024-01-26 15:20:14
1230
原创 异常检测(Anomaly Detection)
因为，如果它看起来像一个正常的引擎，那么。通常可以通过将一些相关的特征进行组合，来获得一些新的更好的特征（异常数据的该特征值异常地大或小），例如，在检测数据中心的计算机状况的例子中，我们可以用 CPU负载与网络通信量的比例作为一个新的特征，如果该值异常地大，便有可能意味着该服务器是陷入了一些问题中。假想你是一个飞机引擎制造商，当你生产的飞机引擎从生产线上流出时，你需要进行QA(质量控制测试)，而作为这个测试的一部分，你测量了飞机引擎的一些特征变量，比如引擎运转时产生的热量，或者引擎的振动等等。
2024-01-25 18:00:13
1097
原创 降维(Dimensionality Reduction)
所以，如果这是一个压缩算法，应该能回到这个压缩表示，回到你原有的高维数据的一种近似。所以，给定的𝑧(𝑖)，这可能 100 维，怎么回到你原来的表示𝑥(𝑖)，这可能是 1000 维的数组？将数据从二维降至一维： 假使我们要采用两种不同的仪器来测量一些东西的尺寸，其中一个仪器测量结果的单位是英寸，另一个仪器测量的结果是厘米，我们希望将测量的结果作为我们机器学习的特征。我们可以对新求出的“主元”向量的重要性进行排序，根据需要取前面最重要的部分，将后面的维数省去，可以达到降维从而简化模型或是对数据进行压缩的效果。
2024-01-25 17:36:42
1347
原创 聚类(Clustering)
在非监督学习中，我们的数据没有附带任何标签，我们拿到的数据就是这样的：督学习中，我们需要将一系列无标签的训练数据，输入到一个算法中，然后我们告诉这个算法，快去为我们找找这个数据的内在结构给定数据。我们可能需要某种算法帮助我们寻找一种结构。图上的数据看起来可以分成两个分开的点集（称为簇），一个能够找到我圈出的这些点集的算法，就被称为聚类算法。问题：聚类算法一般用来做什么呢？比如市场分割。也许你在数据库中存。
2024-01-25 16:53:43
1241
1
原创 支持向量机(Support Vector Machines)（需要优化）
这是支持向量机的一个有趣性质。事实上，如果你有一个正样本𝑦 = 1，则其实我们仅仅要求𝜃𝑇𝑥大于等于 0，就能将该样本恰当分出，这是因为如果𝜃𝑇𝑥>0 大的话，我们的模型代价函数值为 0，类似地，如果你有一个负样本，则仅需要𝜃𝑇𝑥<=0 就会将负例正确分离，但是，支持向量机的要求更高，不仅要能正确分开输入的样本，即不仅仅要求𝜃𝑇𝑥>0，我们需要的是比 0 值大很多，比如大于等于 1，我也想这个比 0 小很多，比如我希望它小于等于-1，这就相当于在支持向量机中嵌入了一个额外的安全因子，或者说安全的间距因子。
2024-01-25 16:05:21
1325
原创 机器学习系统的设计(Machine Learning System Design)
假设特征值有足够的信息来预测𝑦值，假设我们使用一种需要大量参数的学习算法，比如有很多特征的逻辑回归或线性回归，或者用带有许多隐藏单元的神经网络，那又是另外一种带有很多参数的学习算法，这些都是非常强大的学习算法，它们有很多参数，这些参数可以拟合非常复杂的函数，因此我要调用这些，我将把这些算法想象成低偏差算法，因为我们能够拟合非常复杂的函数，而且因为我。于是他们把诸如这样的机器学习问题，当做一类监督学习问题，并尝试将其分类，什么样的词，在一个英文句子特定的位置，才是合适的。也就是说训练误差有希望接近测试误差。
2024-01-25 14:37:27
1367
1
原创 应用机器学习的建议 (Advice for Applying Machine Learning)
问题：怎样评价一个学习算法，了解了模型选择问题，偏差和方差的问题。诊断法则怎样帮助我们判断，哪些方法可能有助于改进学习算法的效果，而哪些可能是徒劳的呢？
2024-01-24 21:40:00
1151
2
原创 神经网络的学习(Neural Networks: Learning)
小结一下使用神经网络时的步骤：网络结构：第一件要做的事是选择网络结构，即决定选择多少层以及决定每层分别有多少个单元。第一层的单元数即我们训练集的特征数量。（输入值）最后一层的单元数是我们训练集的结果的类的数量。（输出值）如果隐藏层数大于 1，确保每个隐藏层的单元个数相同，通常情况下隐藏层单元的个数越多越好。我们真正要决定的是隐藏层的层数和每个中间层的单元数。参数的随机初始化利用正向传播方法计算所有的ℎ𝜃(𝑥)编写计算代价函数 𝐽 的代码利用反向传播方法计算所有偏导数。
2024-01-23 21:16:02
2734
原创 第五部分：TensorFlowLite介绍
*特性：**轻量化、低延迟、隐私保护、高效模型、功耗节能、预训练模型。TensorFlow lite的组件：转换器（to TensorFlow lite format):将Tensorflow模型，转换为可被解释器有效可读的形式。引入优化功能，以提高二进制大小模型的性能和减少模型大小。解释器（Core):支持多种平台（Android.iOS、嵌入式Linux和微控制器），用于加速推理的平台API。性能：tensorflow lite 支持采用一些设备的加速库或者API来加速任务的执行。
2024-01-23 20:51:20
3054
原创 tensorflow 1.x和tensorflow2.x对比
Tensorflow 2是一个与Tensorflow1.x使用完全不同的框架，Tensorflow 2 不兼容Tensorflow1.x的代码，同时在编程风格、函数接口设计等上大相径庭。Tensorflow的重要功能就是利用GPU方便地实现并行计算加速功能。
2024-01-23 20:50:48
516
原创 神经网络：表述(Neural Networks: Representation)
通过调整神经元之间的连接权重，神经网络可以学习数据中的模式和特征。把𝑎0, 𝑎1, 𝑎2, 𝑎3看成更为高级的特征值，也就是𝑥0, 𝑥1, 𝑥2, 𝑥3的进化体，并且它们是由 𝑥与决定的，因为是梯度下降的，所以𝑎是变化的，并且变得越来越厉害，所以这些更高级的特征值远比仅仅将 𝑥次方厉害，也能更好的预测新数据。在我们上面三层的神经网络例子中，第三层也就是输出层做出的预测利用的是第二层的特征，而非输入层中的原始特征，我们可以认为第二层中的特征是神经网络通过学习后自己得出的一系列用于预测输出变量的新特征。
2024-01-23 20:49:04
1156
原创 逻辑回归(Logistic Regression)和正则化
第三个例子：如果你正在做有关天气的机器学习分类问题，那么你可能想要区分哪些天是晴天、多云、雨天、或者下雪天，对上述所有的例子，𝑦 可以取一个很小的数值，一个相对"谨慎"的数值，比如 1 到 3、1 到 4 或者其它数值，以上说的都是多类分类问题，顺便一提的是，对于下标是 0 1 2 3，还是 1 2 3 4 都不重要，我更喜欢将分类从 1 开始标而不是0，其实怎样标注都不会影响最后的结果。分类问题属于监督学习中的一个核心问题，其目标是根据已知样本的某些特征，判断一个新的样本属于哪种已知的样本类。
2024-01-23 15:19:59
3223
原创 第二章 多变量线性回归
其次，不同特征的尺度或量纲可能不同，需要进行归一化或标准化处理，以使所有特征都在同一量纲上。例如，当特征之间存在多重共线性时，即多个特征之间存在高度的线性相关性，正规方程可能会变得不稳定，因为它会试图同时拟合这些高度相关的特征。最后一个命令，你可以改变轴的刻度，比如改成[0.5 1 -1 1]，输入命令：axis([0.5 1 -1 1])也就是设置了右边图的𝑥轴和𝑦轴的范围。具体来说，如果特征值的取值范围差异很大，梯度下降算法在迭代过程中可能会在取值范围较小的特征上快速收敛，而忽略取值范围较大的特征。
2024-01-22 18:12:20
1561
原创 吴恩达机器学习介绍第一章介绍
性能度量值P就是它在与一些新的对手比赛时，赢得比赛的概率。常常会将得到的最终误差值除以2，这是因为在许多机器学习算法和优化问题中，通过最小代价函数来求解模型参数，其中最常用的是，常用除以2的操作，均方误差的定义是所有样本误差的平方和的平均值，当对均方误差进行求导是系数2可以消除平方项的系数。案例：许多公司有大型的数据库，存储消费者的信息，所以，你能检索这些顾客数据集，自动地发现市场分类，并自动地把顾客划分到不同的细分市场中，你才能自动并更有效地销售或不同的细分市场一起进行销售，这也是无监督学习。
2024-01-22 15:31:13
1052
原创 第十五章双向LSTM时间预测
从网上下载数据集生成时间序列#搭建两个RNN神经网络，一个使用LR_scheduler机制调整学习率，另一个不做处理#展示预测结果。
2023-11-25 14:47:11
530
1
原创 第十三章RNN网络样本的生成方法
神经网络的输入采用的是向量，循环神经网络、LSTM网络也是一个时间序列，这个时间序列怎么进行编码？在本章节中，我们将模拟循环神经网络的样本生成方法。首先我们模拟生成一个序列数据然后将数据转变为窗口数据并剔除不完整的数据，最终转化为列表。结果如下：0 1 2 3 41 2 3 4 52 3 4 5 63 4 5 6 74 5 6 7 85 6 7 8 96 7 8 97 8 98 99得到的每个子序列等长。结果如下：0 1 2 3 41 2 3 4 5。
2023-11-25 14:08:36
985
原创 第四部分第十二章：序列和时间序列
时间序列是按照时间序列的一组随机变量，时间序列数据本质上反映的是某个或者某些随机变量随时间不断变化的趋势，而时间序列预测方法的核心就是从数据中挖掘出这种规律，并利用其对将来的数据做出估计，经济数据中大多数以时间序列的形式给出，根据观察时间的不同，时间序列中的书简可以是年份、季度或其他任何时间形式。还有将会学习搭建比较简单的多层的循环神经网络，这些网络还要和传统的时间序列的预测算法进行比较，也就是对循环神经网络要处理的时序信号而言，如何预测未来的取值，可以和传统的时间序列数据的预测算法进行比较。
2023-11-25 11:10:43
973
原创 第十一章 文本生成
让他预测接下来产生的十个单词，以上就是神经网络产生的句子，但是有很多单词是重复的，这是因为单向的LSTM层只能够从前面的单词推断出后面的单词，所以可以将LSTM层改成双向的。我们可以看到开始的训练准确率比较低，这是因为没有太多的数据，但是每个周期的训练很快，同时随着训练的进行，准确率在逐渐的增加。因此，当有一个足够大的语料库时，神经网络能够对其中的短语进行训练，并预测对应的下一个单词，这样就可以产生一系列复杂的文本。针对当前序列，首先取前两个单词的编码，然后取前三个单词的编码，以此类推。
2023-11-23 23:37:23
919
1
原创 第十章探索循环神经网络
神经网络是一个特殊的模型。，当你输数据和标签时，它从中推导出规则，然后可以使用规则。就像这种函数，输入数据和标签得到规则，但该函数并没有考虑输入数据序列之间的相互联系。斐波拉契数列，根据这个序列的数据之间的规律得出对应的函数，例如3=2+1，我们按照另一种格式查看这个函数。中间的加号可以理解为就是函数。然后把这个结果再传给下一个函数。上图就是循环神经网络RNN的结构，其中X为输入，Y为输出。同时还有一个来自上一个函数的输出量，输入到当前网络。
2023-11-22 10:00:06
78
1
原创 第九章：词嵌入
链接：https://github.com/tensorflow/datasets/blob/master/docs/dataset_collections.ipynb。在tensorflow中内置了一些数据集，使用IMDB数据集。电影评论的数据集网址：http://ai.stanford.edu/~amaas/data/sentiment/高维数据查看网站：http://projector.tensorflow.org/不完整的子词，很难学习到单词的正确的语意和情感。如果是2.XX版本不要考虑。
2023-11-18 23:50:10
118
1
原创 第四章 第二部分：机器视觉-图像分类
实操练习：数据预处理、搭建模型、调整参数。狗与猫的分类、人与马的分类、手写体的分类。比如医疗领域，图像分类典型算法介绍。学习深度学习的卷积神经网络。对狗和猫两种数据进行区分。
2023-11-17 13:25:45
111
原创 第四章 更复杂的项目应用
聚类(Clustering)：是指把相似的数据划分到一起，具体划分的时候并不关心这一类的标签，目标就是把相似的数据聚合到一起，聚类是一种无监督学习(Unsupervised Learning)方法。分类(Classification)：是把不同的数据划分开，其过程是通过训练数据集获得一个分类器，再通过分类器去预测未知数据，分类是一种监督学习(Supervised Learning)方法。由于是二分类，所以最后会用到sigmoid激活函数（0、1两值）。准备训练数据、构建模型、训练模型、优化参数。
2023-11-15 23:39:30
45
原创 第三章 卷积网络
卷积神经网络具有表征学习（representation learning）能力，能够按其阶层结构对输入信息进行平移不变分类（shift-invariant classification），可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化（grid-like topology）特征，例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程（feature engineering）要求，并被大量应用于计算机视觉、自然语言处理等领域。
2023-11-13 15:09:24
60
1
原创 第二章 神经视觉介绍
加载Fashion MNIST数据集结果如下：运行出现错误：解决方法：由于https://storage.googleapis.com/tensorflow/tf-keras-datasets/mnist.npz是国外的网站，所以我们国内可能就上不了，就会报错，具体方法如下。简单来说就是自己下载好数据集：链接：链接：https://pan.baidu.com/s/1gjptrp87UMB_9gGJD8cOtg?pwd=spsk提取码：spsk–来自百度网盘超级会员V3的分享。
2023-11-13 12:51:01
66
1
原创 第一章 TensorFlow开发环境的配置
1.打开Anaconda软件，新建环境中创建一个textenv环境，点击create，创建完成后搜索tensorflow安装。2.安装完成后，点击Home,安装Jupyterlab，安装完成后运行Jupyterlab。系统列出了numpy 1.18.5和其所有依赖的包，输入y确认安装即可。构造只有一个神经元的网络来了解机器学习的过程，方程是Y=2X-1。输出结果+数据通过机器学习，总结出规则，最后得到神经元网络模型。总过运行500次，loss越来越小，说明学习效果很好。前提：配置安装好Anaconda，
2023-11-12 22:45:48
197
1
原创 Pandas数据特征分析
将一组数据通过摘要（有损地提取数据特征的过程）的方式，可以获得基本统计（含排序）、分布/累计统计、数据特征（相关性、周期性等）、数据挖掘（形成知识）。.sort_values()方法在指定轴上根据数值进行排序，默认升序。两个事物，表示为X和Y，如何判断它们之间的存在相关性？r取值范围[-1, 1]
2023-11-12 16:49:12
115
1
原创 Pandas库的介绍
链接：http://pandas.pydata.orgPandas是Python第三方库，提供高性能易用数据类型和分析工具Pandas基于NumPy实现，常与NumPy和Matplotlib一同使用。
2023-11-12 16:34:50
83
1
原创 Matplotlib库入门
Matliotlib库是Python优秀的数据可视化第三方库。Matliotlib库的效果见：http://matplotlib.org/gallery.htmlMatplotlib库由各种可视化类构成，内部结构复杂，受Matlab启发。matplotlib.pyplot是绘制各类可视化图形的命令字库，相当于快捷方式。plt.plot()只有一个输入列表或数组时，参数被当作Y轴，X轴以索引自动生成。plt.savefig()将输出图形存储为文件，默认PNG格式，可以通过dpi修改输出质量。
2023-11-11 19:36:52
79
1
原创 实例：图像的数组表示
RGB三个颜色通道的变化和叠加得到各种颜色，取值都为0-255。RGB形成的颜色包括了人类视力所能感知的所有颜色。PIL库是一个具有强大图像处理能力的第三方库。图像一般使用RGB色彩模式，即每个像素点的颜色由红（R）、绿（G）、蓝（B）组成。图像是一个由像素组成的二维矩阵，每个元素是一个RGB值。图像是一个三维数组，维度分别是高度、宽度和像素RGB值。读入图像后，获得像素RGB值，修改后保存为新的文件。Image是PIL库中代表一个图像的类（对象）
2023-11-11 16:10:33
225
1
原创 NumPy数据存取和函数
CSV（Comma-Separated Value,逗号分隔值）是一种常见的文件格式，用来存储批量数据。frame：文件、字符串或产生器，可以是.gz或.bz2的压缩文件。array：存入文件的数组。fmt：写入文件的格式，例如：%d %.2f %.18e。delimiter：分割字符串，默认是任何空格。frame：文件、字符串或产生器，可以是.gz或.bz2的压缩文件。dtype：数据类型，可选。delimiter：分割字符串，默认是任何空格。
2023-11-11 15:30:28
154
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人