爱听许嵩歌的博客

内容含有大量图，用jupyter notebook展示的，所以放在了我的gitee（码云）里。链接：https://gitee.com/rengarwang/sklearn-machine-learning-code/blob/master/（第七章）支持向量机/支持向量机（1）.ipynb有用请点个赞！！本站所有文章均为原创，欢迎转载，请注明文章出处：https://blog.youkuaiyun.com/weixin_45092662。百度和各类采集站皆不可信，搜索请谨慎鉴别。技术类文章一般都有时效性，本人习惯

%matplotlib inline%config InlineBackend.figure_format = 'svg'from sklearn.datasets import make_blobsimport matplotlib.pyplot as plt# 自己创建数据集x, y =make_blobs(n_samples=500,n_features=2,centers=4,random_state=1)fig, ax1 =plt.subplots(1)ax1.scatter(

from sklearn.linear_model import LogisticRegression as LRfrom sklearn.datasets import load_breast_cancerimport numpy as npimport matplotlib.pyplot as pltfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import accuracy_scoreda

PCA算法讲解：https://zhuanlan.zhihu.com/p/77151308SVD算法讲解：https://zhuanlan.zhihu.com/p/29846048降维算法PCA和SVD调用库和模块import matplotlib.pyplot as pltfrom sklearn.datasets import load_irisfrom sklearn.decomposition import PCA提取数据集# 提取数据集iris = load_iris()#

实验一书上是利用scikit-learn对这个数据进行逻辑回归分析。它先使用了稳定性选择方法中的随机逻辑回归进行特征筛选，只保留了有效特征为“工龄，地址，负债单，信用卡负债”，然后利用筛选后的特征建立逻辑回归模型。得出的模型平均正确率为81.4%。部分数据如下：前8列是特征，后一列是标签，这是二分类问题。实验二但我使用tf2.0中的Keras构造3层全连接神经网络，求解这个2分类问题。不做特征选择，把所有的8列数据都作为特征处理。这里应该使用k倍交叉验证，但我仅仅把前600个数据作为训练，后

安装autokeras时出现，报错：ModuleNotFoundError: No module named ‘kerastuner’ – Autokeras==1.0.3这是个坑，你的cuda算力要大于3.5，正确安装方法为：一、先用这行代码安装pip install git+https://github.com/keras-team/keras-tuner.git@1.0.2rc0安装过程有点慢，因为是国外的网站。二、安装autokeraspip install autokeras==1.

参考一篇博客：https://blog.youkuaiyun.com/dQCFKyQDXYm3F8rB0/article/details/106846014自己的想法：先配置好环境，采用conda安装conda create -n yuyin python=3.6.5conda install numpy pandas matplotlib scikit-learn scipy tensorflow-gpu==2.0.0 pip install -i https://pypi.tuna.tsinghua.ed

LSTM长短期记忆网络：它是一种特殊的RNN网络，可以很好的解决长时依赖问题，与常规神经网络有什么不同？传统的RNN为可以看到它的处理层非常简单，通常是一个单tanh层，通过当前输入及上一时刻的输出来得到当前输出。这样就可以利用上一时刻学习到的信息进行当前时刻的学习了。例如处理语音识别，语言模型，机器翻译等LSTM的结构和上面相似：LSTM可以通过门控单元可以对细胞添加和删除信息。通过门可以有选择地决定信息是否通过，它有一个sigmoid（自变量为负无穷到正无穷，值域为0到1）神经网络层

2020年6月15号，上次我们用neat算法做了线性回归还有非线性关系的拟合，效果还不错，这次，我想用这个算法做一下监督学习。我使用的数据是光纤耦合数据，知道光纤输入的4个参数，最后的输出是耦合效率，数据一共有2340个 ，数据压缩包在我的码云里（Data.rar），链接如下：https://gitee.com/rengarwang/python-mat-data-fetch/tree/master/先用Python读取mat文件，看一下数据的最大值和最小值最大耦合效率为：[0.48014282425

前期做了个neat（遗传拓扑神经网络）算法进化出异或实验（xor）的网络和权重，那个非线性的都能训练出来，这个线性的应该没问题吧，所以试试。数据，保存为：data.csv首先，因为是线性规划，所以我们改下激活函数，改为relu，配置文件保存为：config-feedforward#--- parameters for the xianxing experiment ---#[NEAT]fitness_criterion = maxfitness_threshold = 99

此时你已经安装了annaconda，首先创造一个pytorch环境conda create -n pytorch1.5 python=3.7再激活pytorch1.4环境conda activate pytorch1.4进入pytorch官网，https://pytorch.org/get-started/locally/根据自己的cuda版本选择，conda install ...

手写数字问题（pytorch）直接给代码，里面有注释，保存为mnist_run.py：import torchfrom torch import nnfrom torch.nn import functional as Ffrom torch import optimimport torchvisionfrom matplotlib import pyplot as pltfrom utils import plot_image, plot_curve, one_hotbatch_s

使用遗传拓扑神经网络优化pygame中的自动驾驶小车游戏在小车实验中，fitness = ∑小车行驶的距离50\displaystyle \sum^{}_{}{\frac{小车行驶的距离}{50}}∑​50小车行驶的距离​,所以阈值是人为设置一个数，刚开始也不知道fitness最大阈值是多少，所以又添加了一个和异或实验一样可视化的程序，来观察best fitness的值是多少，并显示5个输入和2个输出之间的网络关系，在测试时，fitness最好时为34472.0，所以我们先设置fitness_thresh

首先，线性函数为：y=wx+by=wx+by=wx+b损失函数为:loss=(wx+b−y)2loss=(wx+b-y)^2loss=(wx+b−y)2 此时把w,b,yw,b,yw,b,y看作是自变量losslossloss对www的偏导为：∂loss∂w=2(wx+b−y)x\frac{\partial loss}{\partial w}=2(wx+b-y)x∂w∂loss​=2(wx+b−y)xlosslossloss对bbb的偏导为：∂loss∂b=2(wx+b−y)\frac{\

Neat算法讲解遗传算法是个通用的框架

2层神经网络的类将这2层神经网络实现命名为TwoLayerNet的类代码如下# coding: utf-8import sys, ossys.path.append(os.pardir) # 为了导入父目录的文件而进行的设定from common.functions import *from common.gradient import numerical_gradient...