雯文闻-优快云博客

原创 Python你会用到的知识点

文件操作1.有一个jsonline格式的文件file.txt大小约为10Kdef get_lines(): with open('file.txt','rb') as f: return f.readlines()if __name__ == '__main__': for e in get_lines(): process(e) # 处理每一行数据现在要处理一个大小为10G的文件，但是内存只有4G，如果在只修改get_lines 函数而其他代码

2021-06-09 17:46:04 238

原创【深度之眼】【百面机器学习】聚类：K-Means、GMM

目录性能比较显示化效果from time import timeimport numpy as npimport matplotlib.pyplot as pltfrom sklearn import metricsfrom sklearn.cluster import KMeansfrom sklearn.datasets import load_digitsfrom sklearn.decomposition import PCAfrom sklearn.preprocessing i

2020-12-07 16:39:03 612 1

原创【深度之眼】【百面机器学习】PCA降维

目录知识点sklearn.decomposition.PCA()参数PCA对象方法代码相关的库包KNNPCA显示代码完整的代码知识点sklearn.decomposition.PCA()参数1）n_components：这个参数可以帮我们指定希望PCA降维后的特征维度数目。最常用的做法是直接指定降维到的维度数目，此时n_components是一个大于等于1的整数。当然，我们也可以指定主成分的方差和所占的最小比例阈值，让PCA类自己去根据样本特征方差来决定降维到的维度数，此时n_component

2020-12-05 18:58:32 454

原创【深度之眼】【百面机器学习】SVM：聚类和回归

目录【补充学习的知识点】Pipeline代码需要导入的包绘图所用的函数线形SVM的实现非线形SVM的实现：RBF核【补充学习的知识点】Pipeline参考学习笔记：Sklearn中Pipeline的使用在下面我们会接触到一个新的调用方式，就是sklearn中给我提供的Pipeline，利用pipeline我们可以方便的减少代码量同时让机器学习的流程变得直观Pipeline的作用：直接调用fit和predict方法来对pipeline中的所有算法模型进行训练和预测。可以结合grid sear

2020-12-05 17:57:05 983

原创【深度之眼】【百面机器学习】逻辑回归

目录重点from sklearn.linear_model import LogisticRegression准确率、精确率、召回率、F1值、ROC/AUC整理笔记重点from sklearn.linear_model import LogisticRegressionsklearn对常用机器学习方法都进行了封装：包括回归(Regression)、降维(Dimensionality Reduction)、分类(Classfication)、聚类(Clustering)等方法from sklearn

2020-12-04 16:23:02 120

原创【Linux】我常用的命令

catvirm -rfsshcdlsscpunzip .zip -d dirmkdircp ./* dirwget http://cn.wordpress.org/wordpress-3.1-zh_CN.zip

2020-12-01 10:22:55 107

原创【Git操作】基本配置和常用操作

github SSH 配置原因：有时候从github上下载，可能需要SSH活着Https方式，为了方便，还是SSH好一些。参考git ssh key配置常用操作Git的操作Clone使用git clone 从现有Git仓库中拷贝一个项目到本地，命令格式是git clone 。git clone的repo有ssh和https两种格式，如果要频繁进行push和pull操作的话，建议使用ssh免密来减少麻烦。–depth 创建一个指定深度的浅克隆。如果不需要看git log的话，可以git

2020-11-29 23:52:16 128

转载【Linux】Linux常用命令大全（非常全！！！）

Linux常用命令大全（非常全！！！）最近都在和Linux打交道，感觉还不错。我觉得Linux相比windows比较麻烦的就是很多东西都要用命令来控制，当然，这也是很多人喜欢linux的原因，比较短小但却功能强大。我将我了解到的命令列举一下，仅供大家参考：系统信息 arch 显示机器的处理器架构 uname -m 显示机器的处理器架构 uname -r 显示正在...

2020-11-29 22:59:41 150

原创【Pycharm】Pycharm使用的技能

全局搜索PyCharm的Find in Path功能提供了全局查找功能，快捷键Ctrl + Shift + F。Find则是在当前文件查找，快捷键为Ctrl + F。这两个个功能非常实用。Find in Path的使用：按快捷键Ctrl + Shift + F或从从菜单Edit-》Find-》Find in Path进入全局查找界面。...

2020-11-20 17:05:23 196

原创【Python搭配环境】

创建虚拟环境创建：conda create -n huxw3 python=3.6.8激活：conda activate huxw（进入到env后进行conda或pip）进入：source activate huxw 退出：source deactivate删除：conda env remove -n huxw3.7conda 添加/移除指定源查看源conda config --show-sources添加国内源（下载很快）# 清华源conda config --add c

2020-11-17 15:36:24 459

原创【python基础】将text文件转为list：eval函数

with open("GT.txt", "r") as f: data = eval(f.readline())

2020-11-10 20:52:19 494 1

原创【深度之眼】【百面机器学习】决策树

目录1.1 原理1.2 ID3、C4.5、CART1.3 信息增益 vs 信息增益比1.4 Gini指数 vs 熵1.5 剪枝1.6 总结问:决策树中连续值和缺失值特征是如何处理的?1.1 原理顾名思义，决策树就是用一棵树来表示我们的整个决策过程。这棵树可以是二叉树(比如CART只能是二叉树)，也可以是多叉树(比如ID3、C4.5可以是多叉树或二叉树)。根节点包含整个样本集，每个叶节点都对应一个决策结果(注意，不同的叶节点可能对应同一个决策结果)，每一个内部节点都对应一次决策过程或者说是一次属性测试

2020-11-06 17:32:01 1180 2

转载【Git操作】优快云怎么转载别人的博客（详细）

参考博客原址 http://blog.youkuaiyun.com/bolu1234/article/details/51867099转载优快云博客步骤： 1、优快云博客页面右键，点击【检查】 2、点击检查后，页面右侧出现html代码，如下图 3、点击写博客、点击左侧栏【博客设置】4、选择MarkDown编辑器，保存5、重新点击写博...

2020-11-05 18:16:19 146

转载【Git操作】MAC电脑使用 Pycharm如何上传、更新代码到 Github

一、Pycharm上传本地代码到github 1、点击左上角的File,选择Settings，然后选择Version Control，点击出现的GitHub,点击“Add account”。 2、输入自己在github官网注册好的用户名和密码，点击“Log In”登录。 3、点击右下角的apply,然后ok一下就可以了。 4、重新打开Settings，将鼠标移至左侧的Git，单...

2020-11-05 18:11:55 1842

原创【LC中遇到的基础知识点】python

字符串大小写转换str = "www.runoob.com"print(str.upper()) # 把所有字符中的小写字母转换成大写字母print(str.lower()) # 把所有字符中的大写字母转换成小写字母print(str.capitalize()) # 把第一个字母转化为大写字母，其余小写print(str.title()) # 把每个单词的第一个字母转化为大写，其余小写 ...

2020-10-29 10:58:09 224

原创【深度之眼】【吴恩达机器学习】第一周

文章目录要求知识What is Machine Learning?Supervised Learning要求知识What is Machine Learning?Two definitions of Machine Learning are offered. Arthur Samuel described it as: “the field of study that gives computers the ability to learn without being explicitly prog

2020-10-14 21:49:20 130

原创【沉默的真相】：有信念吗？有勇气吗？

时间：2020年10月6日信念，信念，信念！什么是信念？那么重要？那么有力？用生命换取程序正义！所谓的值不值就是当生命走到尽头的时候，还有没有遗憾。追求，是一种信念，也是一种勇气。但是，最怕的还是：纵使有人舍命燃灯，也恐怕长夜难明。我苦苦追寻的信念，还没有找到，意义是什么？有信念有勇气的人，该是多么的充满魅力色彩。...

2020-10-06 15:32:28 184

原创【百面机器学习】特征工程

2020-08-27 23:37:48 115

原创【深度学习】【百面机器学习】：堆排序

目录二叉堆堆的自我调整插入节点-`向上调整`删除节点-`向下调整`二叉堆二叉堆本质上是一种完全二叉树，它分为两个类型:最大堆:最大堆任何一个父节点的值，都大于等于它左右孩子节点的值。最小堆:最小堆任何一个父节点的值，都小于等于它左右孩子节点的值。二叉堆的根节点叫做堆顶。最大堆和最小堆的特点，决定了在最大堆的堆顶是整个堆中的最大元素; 最小堆的堆顶是整个堆中的最小元素。堆的自我调整插入节点-向上调整删除节点-向下调整...

2020-08-27 10:45:05 271

原创【深度之眼】【百面机器学习】快速排序

目录快速排序快速排序快速排序快速排序英文 Quick Sort，是冒泡排序的一种改进，由 C. A. R. Hoare 在 1960 年提出。主要思想快速排序的主要思想是通过一趟排序将要排序的数据分割成独立的两部分，其中一部分的所有数据都比另外一部分的所有数据都要小，然后再按此方法对这两部分数据分别进行快速排序，整个排序过程可以递归进行，最终使整个数据变成有序序列。原理在数据集之中，选择一个元素作为”基准”(pivot)所有小于”基准”的元素，都移到”基准”的左边;所有大于

2020-08-26 10:19:00 237

原创【深度之眼】【CV-Baseline】:AlexNet（+Code）

目录论文研究背景论文研究成果及意义AlexNet: ImageNet Classification with Deep Convolutional Neural Networks论文研究背景ILSVRC:大规模图像识别挑战赛ImageNet 数据集包含 21841 个类别， 14,197,122张图片论文研究成果及意义• 拉开卷积神经网络统治计算机视觉的序幕• 加速计算机视觉应用落地...

2020-08-25 20:55:30 1093

原创【深度之眼】【神经网络基础知识】：循环神经网络

目录一、序列数据二、语言模型三、RNN-循环神经网络1、前向传播2、反向传播四、GRU-门控循环单元五、LSTM-长短期记忆网络一、序列数据序列数据是常见的数据类型，前后数据通常具有关联性二、语言模型三、RNN-循环神经网络RNN是针对序列数据而生的神经网络结构，核心在于循环使用网络层参数，避免时间步增大带来的参数激增，并引入隐藏状态(Hidden State)用于记录历史信息，有效的处理数据的前后关联性。1、前向传播隐藏状态(Hidden State)用于记录历史信息，有效处理数据的前

2020-08-25 15:54:15 609

原创【深度之眼】【神经网络基础知识】：卷积神经网络

目录一、卷积神经网络发展史二、卷积操作三、池化操作四、Lenet-5及CNN结构进化史一、卷积神经网络发展史卷积神经网络(convolutional neural networks，CNN) CNN是针对图像领域任务提出的神经网络，经历数代人的发展，在2012年之后大部分图像任务被CNN统治，例如图像分类，图像分割，目标检测，图像检索等。猫的视觉系统实验神经元存在局部感受区域(receptive field)，也称感受野细胞对角度有选择性细胞对运动方向有选择性对CNN启发(1)视觉

2020-08-24 23:50:00 500

原创【深度之眼】【OpenCV】笔记汇总

【深度之眼opencv-1】：图像基础知识【深度之眼opencv-2】：图像基本操作-绘图&几何变换【深度之眼opencv-3】：图像基本操作-滤波&增强【深度之眼opencv-4】:形态学操作（腐蚀、膨胀、开/闭运算、顶/黑帽）【深度之眼opencv-5】：图像分割（阈值分割、边缘检测、连通、区域生长、分水岭）【深度之眼opencv-6】：图像特征与目标检测【深度之眼opencv-7】：运动目标识别...

2020-08-24 18:29:45 545

原创【深度之眼】【Pytorch训练营】笔记汇总

【深度之眼】【Pytorch打卡第1天】：PyTorch简介及环境配置；PyTorch基础数据结构—张量【深度之眼】【Pytorch打卡第2天】：张量、计算图、线性回归、逻辑回归【深度之眼】【Pytorch打卡第3天】：DataLoader、DataSet、Transforms+划分数据集代码、构建Dataset、读取数据【深度之眼】【Pytorch打卡第4天】：各种transforms详解【深度之眼】【Pytorch打卡第5天】：nn.Module与网络模型构建步骤；模型容器与AlexNet构建

2020-08-24 14:43:39 857 1

原创【深度之眼】【神经网络基础知识】：神经网络基础与多元感知机

目录人工神经元多层感知机激活函数反向传播损失函数权值初始化正则化人工神经元人工神经网络: 大量神经元以某种连接方式构成的机器学习模型。多层感知机激活函数反向传播损失函数权值初始化正则化...

2020-08-22 23:52:28 703

原创【面试问题-前后端】

实习经历，项目难点?会用到多线程或者多进程么？如果线程池线程全部用过了，怎么发现？怎么去定位？调整参数以后又使用光了，怎么办？怎么解决？Java有什么工具可以看到线程卡在哪个地方？具体怎么看？怎么样才能生存dump文件？怎么限制一个java程序使用内存的大小？项目是在什么操作系统上面开发的？（Linux，mac，Windows）你对Linux熟悉么？你大学课程什么学的比较好？Java类加载的过程？Java程序已经部署起来的，用户抱怨性能太差了？你会怎么定位这个问题？用什么工具检查Cpu占

2020-08-22 21:44:33 263

原创【深度之眼opencv-7】：运动目标识别

目录一、视频获取（开启、保存、修改）1、开启摄像头-`cv2.VideoCapture(0)`&`ret, frame=cap.read()`2、视频的读取与保存-`cv2.VideoWriter_fourcc()`&`cv2.VideoWriter('output.avi',fourcc, 20.0,(640,480)) `3、修改视频格式帧差法目标识别光流法背景减除法一、视频获取（开启、保存、修改）1、开启摄像头-cv2.VideoCapture(0)&ret, frame=

2020-08-22 14:02:23 1570 1

原创【leetcode：字符串】

目录1108. IP 地址无效化1108. IP 地址无效化给你一个有效的 IPv4 地址 address，返回这个 IP 地址的无效化版本。所谓无效化 IP 地址，其实就是用 “[.]” 代替了每个 “.”。class Solution: def defangIPaddr(self, address: str) -> str: return address.replace('.','[.]')...

2020-08-22 00:01:41 116

原创【深度之眼opencv-6】：图像特征与目标检测

目录一、图像特征理解1、颜色特征2、纹理特征3、形状特征4、空间关系特征二、形状特征1、HOG-`方向梯度直方图`(Histogram of Oriented Gradient, HOG)HOG特征提取HOG实现过程-`hog.detectMultiScale(img, 0.1, (1, 1))`2、Harris角点概念Harris角点检测Harris实现过程Harris代码-`cv2.cornerHarris()`3、SIFT-`尺度不变特征变换算法`SIFT算法SIFT特点SIFT算法步骤函数封装-`

2020-08-21 20:09:09 1244

原创【深度之眼opencv-5】：图像分割（阈值分割、边缘检测、连通、区域生长、分水岭）

目录一、图像分割1、固定阈值图像分割（1）直方图双峰法-`cv2.threshold(src, thresh, maxval, type) `2、自动阈值图像分割（1）自适应阈值法-`cv2.adaptiveThreshold() `（3）迭代法阈值分割（4）Otsu大津法-`cv2.threshold(img, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)`3、图像分割代码汇总二、图像边缘提取1、梯度算子图像梯度模板卷积梯度图梯度算子(1)Roberts交叉算

2020-08-21 00:39:20 7060

原创【深度之眼】【Pytorch打卡第20天】：图像分割

目录一、图像分割分类二、PyTorch-Hub常用函数实例演示模型如何分割三、深度学习图像分割模型简介FCN模型图像分割：将图像每一个像素分类一、图像分割分类超像素分割:少量超像素代替大量像素，常用于图像预处理语义分割:逐像素分类，无法区分个体实例分割:对个体目标进行分割，像素级目标检测全景分割:语义分割结合实例分割超像素分割：少量超像素代替大量像素，常用于图像预处理。下图中，每一个白色的区域都是一个超像素，是由很多像素构成的，通常来说，一个超像素中的像素性质都是非常接近的，例如

2020-08-19 20:56:45 1233

原创【深度之眼opencv-4】:形态学操作（腐蚀、膨胀、开/闭运算、顶/黑帽）

目录概要一、腐蚀和膨胀1、腐蚀-`cv2.erode(src,element,anchor,iterations) `2、膨胀-`cv2.morphologyEx(src,element,anchor,iterations)`代码汇总二、开运算和闭运算1、开运算-`cv2.morphologyEx(img, cv2.MORPH_OPEN, kernel)`2、闭运算-`cv2.morphologyEx(img, cv2.MORPH_CLOSE, kernel)`代码汇总三、顶帽和黑帽1、形态学梯度-`cv2

2020-08-19 17:34:08 841

原创【深度之眼opencv-3】：图像基本操作-滤波&增强

目录一、图像滤波1、滤波简介2、线性滤波（1）方框滤波-`cv2.boxFilter(src,depth，ksize，normalize) `（2）均值滤波-`cv2.blur(src, ksize) `（3）高斯滤波-`cv2.Guassianblur(src, ksize, std) `3、非线性滤波（1）中值滤波-`cv2.medianBlur(img,ksize) `（2）双边滤波-`cv2.bilateralFilter(src=image, d, sigmaColor, sigmaSpace)`

2020-08-19 12:33:25 936

原创【深度之眼opencv-2】：图像基本操作-绘图&几何变换

目录绘图函数1：线段绘制--`cv2.line(img, pts, color, thickness, linetype)`2：矩形绘制-`cv2.rectangle(img, prets, color, thickness, linetype) `3：圆、椭圆绘制-`cv2.circle() & cv2.ellipse()`4：多边形绘制-`cv2.polylines(img,pts,isClosed,color,thick ness,lineType)`5：添加文字-`cv2.putText()

2020-08-18 23:56:41 726

原创【深度之眼】【Pytorch打卡第19天】：图像分类Resnet的Inference

目录模型是如何将图像分类的？3-d 张量→字符串图像分类的Inference(推理)Inference代码基本步骤Inference阶段注意事项Resnet18模型Inference代码核心代码全部代码resnet18结构分析图像分类经典模型结构分析Pytorch中的Resnet实现模型是如何将图像分类的？3-d 张量→字符串类别名与标签的转换: label_name = {"ants": 0, "bees": 1}取输出向量最大值的标号 : _, predicted = torch.max(ou

2020-08-18 18:00:16 1231

原创【深度之眼opencv-1】：图像基础知识

目录图像读取1：读入图像-`cv2.imread()`2：显示图像及保存图像-`cv2.imshow()`&`cv2.imwrite()`图像分辨率和通道数3：通道转化，三通道转为单通道灰度图-`cv2.cvtColor(img，cv2.COLOR_BGR2GRAY)`4：通道转化，单通道转为三通道灰度图-``cv2.cvtColor(img，COLOR_GRAY2BGR)``5：图像三通道分离-`cv2.split(img)`6: 图像通道合并-`cv2.merge(List)`7：RGB与BGR

2020-08-17 22:57:37 475

空空如也

空空如也