Clannad_niu的博客

0x00 背景 Ubuntu 16.04 严格按照搭建好TensorFlow-gpu版本后，引入后提示 ImportError: libcublas.so.10.0: cannot open shared object file: No such file or directory，这个错误有可能是因为TensorFlow的版本与cuda的版本不匹配，但还有一种可能。如下：运行命令sudo mv libcudnn.so.6.5 libcudnn.so.6.5.bak如果运行完毕就可...

最近尝试使用序列模型LSTM进行文本分类，数据集为入侵检测用的ADWA-LD数据集。0x01 初始loss最开始试运行模型时loss一直稳定为0.46，无论训练多少个epoch都不改变。下图为一开始使用的模型def get_lstm_model(max_features, embed_size): model = Sequential() model.add(Embe...

Keras框架是在TensorFlow之上开发一种框架，其使用相比于TensorFlow更简便，其中文使用文档如下：https://keras-cn.readthedocs.io/en/latest/layers/convolutional_layer/#conv2d0x01 框架相关库import numpy as npfrom keras import layersfrom ...

看了吴恩达的深度学习视频，跟着课后作业编写了一个卷积神经网络用来识别手势数字关于卷积神经网络的概念以及算法就不多赘述了，主要梳理一下变成过程中的主要思路0x01 要编写的神经网络的结构X -> conv2d(卷积一次) ->Relu(非线性函数) ->Max_pool(最大池化) -> conv2d -> Relu -> Max_pool ->...

最近想用python对数据集进行数据预处理，想要分析系统调用之间的关系。初步想法是利用n-gram方法，因此查询到了python的sklearn中有一个CountVectorizer方法可以使用，在这里介绍一下这个函数的使用方法，以及其输出的相关含义。0x01 输入及输出from sklearn.feature_extraction.text import CountVectorizer...

推荐系统主要用于生活中相关喜好的推荐。例如在购物的过程中，用户买了某种商品，那么系统会根据用户购买的商品推荐相关的其他类型商品，从而促进购买量（其实就是淘宝推荐= =）0x01 推荐系统理论以电影为例，用户对于不同电影的评价如下图所示。每个电影拥有两个特征，分别是爱情程度以及动作程度。分别代表该电影所包含的爱情成分大小以及动作成分大小。根据用户对于电影的评分，可以看出Ali...

0x01 异常检测思想 机器学习中的异常检测分为两种，一种是无监督的异常检测，另一种为有监督的异常检测。无监督的异常检测即在没有标签的情况下，算法从一堆数据点中，挑选出其认为不正常的数据点。而有监督的异常检测为在对训练集提前设置好标签的前提下，算法对其进行划分。 异常检测算法可以应用于发动机的挑选中，假设一个厂家生产了一系列发动机，然后根据其不同的特征值将每个发动机画在坐...

继续之前关于机器学习的笔记，此次为无监督学习的算法分享。0x01 无监督学习概念类比于之前的有监督学习而言，无监督学习最大的特点在于训练集中不会给出正确的分类，即训练样本中并没有对样本进行划分，需要算法自己学习，找出其中哪些样本是属于一类的。如下图所示 这...

在现实中，分类的对象往往非常复杂，有上千个特征，这会使得逻辑回归的分类进行十分缓慢。且当逻辑回归进行多分类时，需要分类多次才可以完成。因此提出了新的算法，神经网络。0x01 神经网络概念神经网络即模仿大脑的学习模式提出的一种算法，通过模拟大脑的神经元，将分类问题分步进行，由简单到复杂的进行。以下是神经网络的模型。 其中，x1...

最近开了新的坑 Emmmmmm这个坑有点深0x01 机器学习理论 目前学到的机器学习都是给定一类数据，然后对其进行预测。对于预测算法，其基本思想就是设定一条曲线或直线，计算其值与对应的训练集中的值的差的平方，对各个点的平方进行相加。最终取和最小的一个值作为最终的结果。这样就可以保证得到的曲线或直线是最接近实际规律的。0x02 逻辑回归 逻辑回归主要用于分类，即给...