Taoist_Nie-优快云博客

原创存储结构与磁盘划分

存储结构与磁盘划分文件目录 Linux 系统中的一切文件都是从“根（/）”目录开始的，并按照文件系统层次化标准（FHS）采用树形结构来存放文件 Linux 系统中常见的目录名称 /boot: 开机所需文件—内核、开机菜单以及所需配置文件等 /dev: 以文件形式存放任何设备与接口 /etc: 配置文件 /home: 用户家目录 /bin: 存放单用户模式下还可以操作的命令 /lib: 开机时用...

2019-06-10 10:50:49 429 1

原创用户身份与文件权限

用户身份与文件权限用户身份与能力用户 UID: Linux 系统中， UID 就相当于我们的身份证号码一样具有唯一性，因此可通过用户的 UID 值来判断用户身份管理员 UID 为 0：系统的管理员用系统用户 UID 为 1～999： Linux 系统为了避免因某个服务程序出现漏洞而被黑客提权至整台服务器，默认服务程序会有独立的系统用户负责运行，进而有效控制被破坏范围普通用户 UID 从...

2019-06-09 11:29:13 332

原创计划任务服务程序

计划任务服务程序 Linux 在无需人为介入的情况下，在指定的时间段自动启用或停止某些服务或命令一次性计划任务 : 一般用于满足临时的工作需求。我们可以用 at 命令实现这种功能 eg: 1.创建一个定时任务 at 23:30 at > systemctl restart httpd at > 此处请同时按下 Ctrl + D 组合键来结束编写计划任务 2.查看已有的定时任务 at...

2019-06-09 11:28:53 392

原创 vim编辑器

vim编辑器编辑文本 vim (文件名) 命令模式：控制光标移动，可对文本进行复制、粘贴、删除和查找等工作 dd: 删除（剪切）光标所在整行 5dd: 删除（剪切）从光标处开始的 5 行 yy: 复制光标所在整行 5yy: 复制从光标处开始的 5 行 p: 将之前删除（dd）或复制（yy）过的数据粘贴到光标后面 u: 撤销上一步的操作输入模式：正常的文本录入通常按 I 键进入末行模式：保存...

2019-06-09 11:28:34 302

原创 linux常用命令总结

常用命令总结常用系统工作命令 1.echo: 打印变量或字符串 echo (字符串 | 变量) 2.reboot: 重启系统由于重启计算机这种操作会涉及硬件资源的管理权限，因此默认只能使用 root 管理员来重启 reboot 3.ps : 用于查看系统中的进程状态 ps (选项) -a:显示所有进程（包括其他用户的进程） -u:用户以及其他详细信息 -x:显示没有控制终端的进程进程状态:...

2019-06-09 11:28:07 425

转载 PCA算法数学原理

转载 :http://blog.codinglabs.org/articles/pca-tutorial.html More Actions PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是...

2019-04-15 21:35:15 345

原创 DeepLearning: 搭建多层神经网络

一步一步搭建多层神经网络识别猫导入包 import numpy as np import h5py import matplotlib.pyplot as plt 工具函数 sigmoid def sigmoid(Z): ''' cache - as activation_cache ''' A=1/(1+np.exp(-Z)) cache=Z...

2019-03-10 21:16:46 501

原创 K-means算法小结

k-means算法是经典的聚类算法. 我自己手写了一个k-means++的放在后面, 效果似乎不太好 , 希望大佬指点 sklearn实现 import numpy as np import matplotlib.pyplot as plt import seaborn as sns from sklearn.datasets.samples_generator import make_blob...

2019-03-04 19:04:35 391

原创支持向量机算法小结

sklearn实现自己用手动实现了一下, 只能说是展示了算法过程 ,但是效果很差 , 没有找到原因, 希望大神斧正!!! from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split import pandas as pd import numpy as np # 构造数...

2019-02-24 17:00:29 304

原创 DeepLearning: 搭建单隐层神经网络对非线性数据分类

搭建单隐层神经网络对非线性数据分类我通过增加单隐层的神经元数 , 以及改变单隐层的激活函数的方式 , 探索了隐层对神经网络的影响. 通过训练发现 : 隐层的神经元数越多,模型对数据的拟合度越大 ,复杂度越高 , 并且容易出现过拟合 , 需要后期进行正则化. 对于隐层的激活函数, 我分别用了 tanh函数和Relu(线性修正单元), 通过训练后发现: 使用tanh函数作为激活函数准确率要高于Rel...

2019-02-10 17:47:29 579

原创 DeepLearning：搭建简易神经网络识别猫

我们要做的事是搭建一个能够【识别猫】的简单的神经网络 import numpy as np import matplotlib.pyplot as plt import h5py 数据处理 def load_dataset(): train_dataset = h5py.File('train_catvnoncat.h5', "r") # 保存的是训练集里面的图像数据...

2019-01-30 14:36:54 666

原创决策树算法小结

sklearn实现 from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.tree import DecisionTreeClassifier import numpy as np import pandas as pd # 加载iris数...

2019-01-28 16:36:44 240

原创逻辑回归算法小结

自己手撸了一遍并做了可视化，又用sklearn实现了一遍，以备遗忘。 sklearn实现逻辑回归 from sklearn.linear_model import LogisticRegression from sklearn.model_selection import train_test_split import pandas as pd import numpy as np df=pd...

2019-01-24 22:42:12 589

原创最优化方法之牛顿法

最优化方法之牛顿法最近在做期末总结复习这学期学过的模型算法，复习到逻辑回归的时候，看到西瓜书上用到的优化方法除了梯度下降法以外，还提到了牛顿法。于是我花了点时间看了一下牛顿法的相关实现，特此记录，以备遗忘。牛顿法的简单推导牛顿法可以理解为一种求零点的方法，也就是求方程的解。用几何的思维理解：可以想象在有一条曲线 f(x)，与 x 轴相交于一个点，我们称为曲线的根点记为 x* 。此时我们在曲线...

2019-01-04 11:16:21 1928

原创线性回归算法小结

线性回归算法使用小结利用sklearn实现最小二乘法 from sklearn.linear_model import LinearRegression from sklearn.datasets import load_boston from sklearn.model_selection import train_test_split import pandas as pd # 加载内置...

2018-12-28 19:31:11 594

转载 python时间处理

本节内容前言相关术语的解释时间的表现形式 time模块 datetime模块时间格式码总结前言在开发工作中，我们经常需要用到日期与时间，如：作为日志信息的内容输出计算某个功能的执行时间用日期命名一个日志文件的名称记录或展示某文章的发布或修改时间其他 Python中提供了多个用于对日期和时间进行操作的内置模块：time模块、datetime模块和calendar模块。其中t...

2018-12-15 15:11:44 283

原创特征向量化之one-hot(独热编码)

特征向量化之one-hot(独热编码) one-hot编码，又称独热编码、一位有效编码。其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位。例如： import pandas as pd import numpy as np data=pd.DataFrame({'feature_1':[1,2,3,4,5], 'feature_2...

2018-12-09 22:06:08 2618

原创网络爬虫学习第八弹：文件存储

文件存储 open()方法用open(‘file path’,‘open mode’,encoding=’’)构造一个file对象 file对象的方法 file.read([size])：size 未指定则返回整个文件，如果文件大小 >2 倍内存则有问题，f.read()读到文件尾时返回""(空字串)。 file.readline()：返回一行。 file.readlines([size]...

2018-11-22 15:05:29 311

原创网络爬虫学习第七弹：pyquery库使用

pyquery的使用 pyquery能够很好的利用CSS选择器对网页进行解析和查询初始化 1.字符串初始化 html='''<div> <ul> <li class="item-0">first item</li> <li class="item-1"><a href=&

2018-11-18 11:46:13 313

原创 python重构二叉树

重构二叉树要求：输入前序遍历和中序遍历，重构二叉树，并输出后序遍历。思路： 1.找出前序遍历中第一个值，即根节点，并记录它在中序遍历中的位置。 2.找出根据根节点，将中序遍历分为左子树中序遍历和右子树中序遍历，并根据1中记录的位置分别得到子树的前序遍历。 3.判断子树的前、中序遍历是否为空。 4.是返回None，否递归调用1,2,3步。 5.返回二叉树。 # 类Tree用于存放二叉树的三个属性...

2018-11-17 15:59:14 764

原创网络爬虫学习第六弹：BeautifulSoup库使用

BeautifulSoup库使用 BeautifulSoup库是python的一个HTML解析库，可以利用它来提取网页中的数据 from bs4 import BeautifulSoup # BeautifulSoup依赖第三方解释器，在初始化BeautifulSoup时第二个参数改为lxml，即用lxml解释器 soup=BeautifulSoup('<p>Hello</p&g...

2018-11-13 14:31:42 267

原创网络爬虫学习第五弹：lxml库的使用

lxml库使用我们可以利用python中的lxml库来使用Xpath对HTML文档进行搜索。选取节点： nodename 选取此节点的所有子节点。 / 从根节点选取。 // 从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。 . 选取当前节点。 … 选取当前节点的父节点。 @ 选取属性。 from lxml import etree text=''' &lt;div&gt; &lt;...

2018-11-10 11:27:32 2364 1

原创网络爬虫学习第四弹：爬取猫眼电影排行

话不多说直接上代码 import requests import re import json import time from requests.exceptions import RequestException # 构造请求头，将爬虫伪装成浏览器去请求单个网页的html内容 def get_one_page(url): try: headers={ ...

2018-11-06 18:52:09 424

原创网络爬虫学习第三弹：正则表达式

正则表达式(regular expression)描述了一种字符串匹配的模式（pattern），可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。对于爬取网页和文本处理都非常有用。 match() match() 方法会尝试从字符串的起始位置开始匹配正则表达式，如果匹配就返回匹配成功的结果，如果一旦从开头就不匹配则返回None import re co...

2018-11-05 22:49:35 171

原创网络爬虫学习第二弹：requests库的使用

requests库使用 requests库的功能与之前学习的urllib库类似，但功能更强大，实现也更简洁。下面是基本的使用方法。 import requests r=requests.get("https://www.baidu.com/") print(type(r)) # 打印Response的类型 print("---------------------") print(r.status...

2018-11-05 22:45:13 1081

原创网络爬虫学习第一弹：urllib库使用

网络爬虫之urllib库使用小道之前有学过一点爬虫，但是面对越来越严峻的就业形势，为了提高自身竞争力，决定系统的学习一下爬虫。用的是崔庆才大大的书。写博作为自己的学习笔记，方便以后复习。欢迎高人补充赐教！小道感激不尽！ import urllib.request response=urllib.request.urlopen(&amp;amp;quot;https://www.python.org&amp;amp;quot;) #print(r...

2018-11-01 20:47:51 484

原创逻辑回归-信用卡欺诈检测

观察数据 import pandas as pd import matplotlib.pyplot as plt import numpy as np 导入数据并查看前5行 data=pd.read_csv('creditcard.csv') data.head() Time V1 V2 V3 V4...

2018-10-29 16:08:42 528

原创机器学习之决策树算法

决策树算法基本概念决策树算法，顾名思义，是基于树结构来进行决策过程。譬如我们判断一个西瓜好坏，会先从它的色泽，再从它的敲声等等来从上至下进行判断，逻辑过程类似于一颗倒着生长的大树。由于决策树的思路很像我们人在做判断，具有很好的解释性，在医疗等很多领域应用广泛。决策树是由根节点（第一个选择点）、非叶子结点与分支（中间过程）、叶子节点（决策结果）三部分组成。一棵决策树由若干内部节点和若干叶子节点...

2018-10-17 22:31:47 370

原创分类可视化实践

对分类问题进行简单可视化导入数据 import numpy as np import pandas as pd import matplotlib.pyplot as plt data=pd.read_csv('LogiReg_data.txt',header=None,names=['Exam 1','Exam 2','Admitted']) data.head() ...

2018-10-15 09:17:59 1783 1

原创贝叶斯拼写检查器

利用朴素贝叶斯实现简单拼写检查器个人理解：思路：人们通常将单词写错会有四种形式：多字母，少字母，错字母，相邻字母顺序写错。而这四种形式将单词写错的过程是可逆的，也就是正确的单词放进去会变成错词。同样将错词放入也会在返回的集合中找到正确的词，根据这样的特性就能实现拼写检查。注：如上述，小道愚昧，并未看出代码的思想与贝叶斯有关，望高人看到指点一二，小道感激不尽！ import re im...

2018-10-14 21:41:53 552 1

原创机器学习之朴素贝叶斯分类器

朴素贝叶斯分类器贝叶斯决策论是概率框架下实施决策的基本方法贝叶斯公式 P(B∣A)=P(A∣B)P(B)P(A)P(B|A)=\dfrac{P(A|B)P(B)}{P(A)}P(B∣A)=P(A)P(A∣B)P(B) 对于贝叶斯公式来讲，我们是通过求出先验概率P(B)P(B)P(B) 和类条件概率P(A∣B)P(A|B)P(A∣B)来确定后验概率P(B∣A)P(B|A)P(B∣A) ，通过估...

2018-10-14 20:35:56 196

原创新闻分类任务(LDA模型，多项分布朴素贝叶斯）

新闻分类任务 1.利用gensim建立LDA模型将文本进行主题分类 2.利用多项分布朴素贝叶斯将文本进行分类数据来源：http://www.sogou.com/labs/resource/list_pingce.php import jieba import pandas as pd import numpy as np 读取文本：将新闻文本转换为dataframe df_news=pd.re...

2018-10-14 15:18:49 4009 6

原创树莓派3B+安装opencv视觉库

树莓派3B+ 安装opencv3（3.4.1）安装过程更换软件源（清华源）（1）使用管理员权限，编辑/etc/apt/sources.list文件，参考如下命令： sudo nano /etc/apt/sources.list 用 # 注释掉原文件内容，用以下内容取代： deb http://mirrors.tuna.tsinghua.edu.cn/raspbian/raspbian/ st...

2018-10-14 10:28:40 867

原创准确率，精度与召回率

准确率,精度与召回率假设某鱼塘有100条鱼，鲤鱼80条，鲫鱼20条，目标是捕到所有鲫鱼。让某人捕50条鱼，其中20条是鲫鱼，另外30条鲤鱼也当做鲫鱼被捕到。评估此人工作。 TP（True Positive）：被判定为正样本，事实上也是证样本。 TN（True Negative）：被判定为负样本，事实上也是负样本。 FP（False Positive）：被判定为正样本，但事实上是负样本。...

2018-08-20 12:11:15 7264

原创对于期望风险与经验风险的粗浅理解

2018-08-12 21:47:56 1397

原创统计学习方法笔记三

统计学习方法笔记(三) 1.7生成模型与判别模型监督学习的任务就是学习一个模型，应用这一模型，对给定的输入，预测相应的输出。这个模型一般形式为决策函数： Y=f(X)Y=f(X)Y=f(X) 或者条件概率分布： P(Y|X)P(Y|X)P(Y|X) 监督学习方法又可以分为生成方法和判别方法，所学的模型分被称为生成模型和判别模型。生成方法由数据学习联合分布律P(X,Y),然后求...

2018-08-12 21:47:29 165

原创统计学习方法笔记二

统计学习方法笔记(二) 1.4模型评估与模型选择训练误差与测试误差假设学习到的模型是： Y=f^(X)Y=f^(X)Y=\hat{f}(X) 训练误差是模型关于训练数据集的平均损失: Remp(f^)=1N∑Ni=1L(yi,f^(xi))Remp(f^)=1N∑i=1NL(yi,f^(xi))R_{emp}(\hat{f})=\frac{1}{N}\sum^N_{i=1}...

2018-08-12 21:47:03 181

原创统计学习方法笔记一

统计学习方法笔记(一) 1.1实现统计学习方法的步骤 1.得到一个有限的训练数据集。 2.确定包含所有可能的模型的假设空间，即学习模型的集合。 3.确定模型选择的准则，即学习策略。 4.实现求解最优模型的算法，即学习方法。 5.通过学习方法选择最优化模型。 6.利用学习的最优化模型对数据进行预测或分析。 1.2监督学习输入变量与输出变量（表示方法按主流表示） ...

2018-08-12 21:46:31 224

原创吴恩达机器学习线性回归代价函数推导

多元线性回归的代价函数推导决策函数： hθ(x)=θ1x1+θ2x2+...+θnxn=∑ni=1θixi=θTxhθ(x)=θ1x1+θ2x2+...+θnxn=∑i=1nθixi=θTxh_{\theta}(x)=\theta_1x_1+\theta_2x_2+...+\theta_nx_n=\sum_{i=1}^{n}\theta_ix_i=\theta^Tx 令有m个样本，对于每个...

2018-08-12 21:45:26 2068

原创机器学习初探

机器学习初探刚开始学习机器学习，希望通过博客来记录自己学习成长的一点一滴。菜鸟一枚，如若有理解偏差的地方，欢迎各位大佬提出斧正，小道在此感激不敬！ 1.监督学习对机器学习来说，监督学习就是通过已知特征和标签的数据集训练机器，让机器能够自己找出特征与标签之间的规律。在面对没有标签只有特征的时候，可以凭借之前训练的规律，找出标签。回归问题这是监督学习的...

2018-08-12 21:44:18 171

空空如也

空空如也