- 博客(109)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 Vim使用总结
vim使用总结 vim是我们经常使用的工具，一些常规的操作还是比较熟悉的，还是想把它总结下来，以备忘记时查看使用。1、vim中删除多行(块)代码 打开文件之后，按shift+v默认进行选中块的模式，然后按向下的方向键久会继续选中下面的行，选完之后按d就可以删除这一块代码了。最后保存即可。vim test.txtshift+V方向键
2019-08-22 16:48:43
305
原创 Linux下对文件的一些操作
今天来聊一聊linux对文件的一些操作，首先准备一个文件，里面存储一些字符串，如下图所示。 一、获得字符串在文件中所在的行grep -n 'a b c' 1.txt 可以看出“a b c”在文件中分别为第1行和第2行。 1、也可以使用cat获得某个关键字所在的行数https://my.oschina.net/bobwei/blo...
2018-10-11 15:43:53
1232
原创 深度学习调参总结
2017-07-15 一、acc、val_acc停留在一个值附近，上下震荡 今天早上来到实验室 ，看了看昨天跑得结果，很好啊，acc、val_acc同步上升，基本没有甚麽偏差。心中一喜，可是acc还没有超过50%，虽然说在同步上升，但是没有任何卵用。想把程序停下来，但是看着它一会越过50%，一会跌落50%。简直就是就挑逗我，如果我要等，它肯定是会越过50%，但是是一个时间问题，
2017-07-15 10:58:14
2623
原创 XGBoost算法介绍
XGBoost算法介绍一、简介二、基本原理三、目标函数新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入一、简介 XGBoost(eXtreme Gradient Boosting)又叫极度梯度提升树，是boosting
2022-04-05 16:42:04
58064
2
原创 leetcode最大收益I II III
leetcode最大收益问题接连做了3道，难度逐渐提升，而且第三道直接没有思路，现在做完之后，需要做一个总结。第一题https://leetcode.com/problems/best-time-to-buy-and-sell-stock/给定一个数组，每一个数代表股票每天的价格，允许你进行一次交易，然后返回可以获得的最大收益。第一种思路这个题第一印象就是双重循环，暴力求解，????，这...
2020-01-27 15:24:32
845
原创 Golang中interface{}转为数组
interface{} 转为普通类型 我们都知道在golang中interface{}可以代表任何类型，对于像int64、bool、string等这些简单类型，interface{}类型转为这些简单类型时，直接使用p, ok := t.(bool)p, ok := t.(int64)如果ok==true的话，就已经类型转换成功。 假设有这样一个场景，我们有一个函数有返回值，但是返回...
2019-12-26 21:51:49
26369
原创 nohup 命令简介
nohup命令就是不挂断的运行命令，适用于我们想让程序在后台执行，而不一直占用当前终端或者不把程序的log输出到终端中。程序放在后台运行，我们可以正常使用终端，并且程序会把日志默认输出到nohup.out文件中。 之前在服务器上跑代码，我都是直接起一个tmux，然后让程序跑起来，关掉终端代码还是回照常运行，但是这样日志可能会一直打印到终端上，对于后续的分析日志不便。看到有同事使用nohup...
2019-12-07 13:39:44
790
原创 git使用总结
Git使用总结1、本地更新代码前忘记拉取(pull)最新代码 本地对代码进行了修改，但是忘记拉取最新版本的代码。这时想要拉最新的代码时，git pull origin branch name，会提示你Your local changes to the following files would be overwritten by merge:意思就是如果拉取最新的代码，你本地更新的部分...
2019-10-12 13:12:04
927
原创 Matplotlib绘制不同颜色的带箭头的线
Matplotlib绘制不同颜色的箭头线 周五的时候计算出来一条线路，但是计算出来的只是类似与0->10->19->2->..0这样的线路只有写代码的人才能看的懂无法直观的表达出来，让其它同事看的不清晰，所以考虑怎样直观的把线路图画出来。&esp; 当然是考虑用matplotlib了，导入相关的库import matplotlib.pyplot as...
2019-08-11 13:50:27
8611
原创 python对excel文件的操作
python对excel文件的操作 之前处理excel的时候主要是用pandas来做，这次处理一些小型的excel数据，用的是比较轻量级的python库。主要有xlrd、openpyxl、xlsxwriter然后还有处理时间的datetime库。一、创建excel文件xlsxwriter在这里有一个坑，它只能创建文件并写入，但是不能对现有的文件进行数据的更新，所以在是用的时候还...
2019-07-26 19:25:24
958
原创 Java从json文件中读取数据
Java从json文件中读取数据数据准备数据是利用python生成的一个字典x，然后使用json.dump(x, file)就可以将数据保存成json文件存储至本地。读取数据借助java自带的一些FIle包和阿里的JSON、JSONArray、JSONObject三个包来完成文件的读取。因为读文件时可能会出现异常，所以要用try/catch捕获异常。代码如下： public stati...
2019-07-09 19:41:04
13009
原创 Tmux使用总结--不断更新
Tmux Tmux终端神器，主要是用于终端的复用，这样我们在使用终端的时候就不用开多个了，而是开一个终端，让终端再分成不同的部分，这样比开多个终端方便简洁。 首先说几个简单的概念， Session:会话，相当于一个全局变量，开启一个会话之后终端就进入tmux模式下了。直接输入tmux即可。 Window:窗口，开启一个会话之后，不做任何操作，一个窗口就沾满整个终端。 Pane:...
2019-07-04 23:32:45
795
原创 推荐算法－AFM
推荐算法－AFM 推荐算法－AFM，这篇文章也是在FM的基础上做工作。这篇文章是针对特征之间组合时，不同的特征都是用同样的向量去做。即每一个特征和其它的特征进行组合时，都是采用同一个向量，缺乏不同特征之间的关联性不同，应该采用不同的向量。解决这个问题的一个思路就是FFM，即每一个特征针对每一个的field生成一个特征向量，即在进行特征组合时，采用不同的向量表示去做。本文是解决这个问题的另一种思...
2019-05-24 10:07:42
3849
4
原创 推荐算法－NFM
推荐算法－NFM FM对于特征的组合仅限于二阶，缺少对特征之间深层次关系的抽取。因此，NFM提出来就是在FM的基础上引入神经网络，实现对特征的深层次抽取。NFM的模型结构图如下所示： 模型的结构如上图所示，首先输入就是离散化的特征，然后再进行embedding操作，获得每一个特征的向量表示。接着就到了Bi-interaction Pooling层，这里其实就是FM部分。FM的公式如下图所...
2019-05-22 10:45:15
4688
1
原创 推荐算法-PNN(Product Network)
推荐算法-PNN 这篇文章出自上海交大，针对直接把Embedding之后的特征输入到神经网络中进行计算对特征的交叉组合不充分而提出来的。也是对特征的组合做文章的一种方法。PNN网络结构 模型结构如下图所示：可以看出模型也是实现CTR预估任务，输入数据是对特征进行one-hot编码之后特征，然后经过一个embedding层，将输入特征映射到相同长度的特征得到上图中的embedding层...
2019-05-17 14:54:33
17986
2
原创 推荐算法-Deep & Cross Network
推荐算法Deep & Cross Network 这篇文章是谷歌在2017年的一篇文章，是用在广告点击率预估上面的。从文章题目上来看，应该是包含两大块，Cross和Deep两个部分。原因应该很简单，还是在特征的组合上做文章。但是看完这篇文章之后，感觉很清爽，就是思路比较简单，而且实现起来也很方便。一、Deep & Cross Network出现的原因 前面提到了FM和De...
2019-05-01 14:22:25
2884
2
原创 推荐算法-DeepFM
推荐算法-DeepFM一、DeepFM出现的原因 在FM中，采用了一阶和二阶的特征组合，相比与只使用一阶线性组合效果要好很多。但是特征组合的能力还是有限的。即特征之间组合的力度，挖掘特征之间的关联性还是较差的。在图像处理的一些方法中，模型的深度都比较深经过了很多层的非线性变换，主要的目的是为了让模型充分的学习数据的分布以及更加抽象的表示，也就是希望利用高阶的特征。在模型的深层部分得到的特征就...
2019-04-30 13:38:14
4511
原创 推荐算法-FM(Factorization Machine)
FMFM出现的原因FM的求解参考FM出现的原因 FM是推荐系统中重要的方法，也有许多基于FM的变种。 FM的出现主要是为了解决线性模型的特征之间无法进行组合的问题。在LR模型中，特征之间都是独立存在的，无法体现特征之间的联系。比如有的女生喜欢化妆品，男生喜欢运动产品。单纯的使用w1∗x1+w2∗x2+..+wi∗xiw_{1}*x_{1}+w_{2}*x_{2}+..+w_{i}*x_{...
2019-04-28 22:16:14
3590
原创 C++中的Transform简介
C++中Transform使用简介c++中的Transform举例如下:c++中的Transform 今天在写代码时，想把字符串数组中的大写字母全部转变为小写字母，看到有人使用Transform来进行处理，特地查阅了一些资料。记录一下： Transform是STL中的一个函数。 Transform是对区间中的内容进行变换操作，主要有两种方式。第一种是template<typ...
2019-04-11 20:55:11
7082
原创 Pandas常用方法总结
先开个头，明天接着写。一、数据的读取与导出1、数据读取df = pd.read_csv('/home/greg/桌面/uk_rain_2014.csv', sep=',',header=0)读取数据有三个参数，第一个是文件名，第二个是分隔符，也就是两列之间的分隔符，默认是','，第三个参数也就是文件每一列的命名，如果没有列名可设置为header=None从限定分隔符文...
2018-11-11 22:33:28
1683
原创 边缘检测
一、Canny边缘检测 1、高斯滤波 在LOG中，也使用了高斯滤波，目的是去除图像中的噪声，因为噪声也是高频信号，很容易被认为成伪边缘。因此在进行边缘检测之前先对图像进行高斯滤波。 2、计算梯度幅值和方向 图像的边缘可以指向不同方向，因此经典Canny算法用了四个梯度算子来分别计算水平，垂直和对角线方向的梯度。但是通常都不用四个梯度算...
2018-08-11 10:42:20
20473
原创 常识点滴积累
一些常识性的东西，用的时候需要查资料，比较麻烦，就在这记录一下，为了以后的方便。4、linux下在当前目录下根据文件名查找文件：find | xargs grep tree这样可以在当前目录以及子目录下寻找文件名中有tree关键字的文件ll | grep tree只能在当前目录下寻找，不能递归的查找子目录下的文件。1、linux下解压gz文件，gzi...
2018-06-30 17:26:23
2383
原创 libtiff简单总结
又用libtiff读取图片，这个包里面主要用到的就是TIFF和TIFF3D这两个包，之前用的时候在python3上总是报错，然后用python2来读取tif文件是没问题的。今天又用来读取文件，始终不能读入，报错如下：，然后又用opencv来读取文件，但是opencv根本就读不进来，查看文件大小的时候，直接报'Nonetype'。所以就很难搞了，最后想要不先把文件转换一下吧，用Imagemagi...
2018-06-23 10:47:50
10336
原创 写文章的碎碎念
最近在写文章，不能是最近，应该是很久以前了，提起写文章，也是个血泪史。向我这种渣渣，写个文章也是费劲，现在也只是在deadline前垂死挣扎，无奈，罢了罢了，说正事吧。一、Linux下写文章的工具 Linux下当然推荐用Texmaker,好看又好用，安装就不说了，自行google。二、关于文章中的图片 文章中的图片最好是用eps格式的，eps就是俗称的矢量图，有什么好处的，普通的png格式...
2018-05-29 20:18:24
2127
原创 PSPNet: Pyramid Scene Parsing Network
PSPNet在分割中取得了非常不错的效果。 文章地址：PSPNetRelated work在神经网络的驱动下，像场景解析和语义分割这种像素级的预测都取得了很好的效果。像素级的预测主要分为两个主线：1、multi-scale feature ensembling 多尺度特征融合。因为在深度神经网络中，higher-layer包含更多的语义信息，较少的位置信息。多个尺度的特征融合有助于提高模型的效果。
2018-04-10 16:12:14
8621
1
原创 排序算法总结
今天来总结一下排序算法。排序算法有多种多样，而且也是面试中常见的考察点。排序算法分别有冒泡排序、插入排序，选择排序、希尔排序、归并排序、快排以及堆排序。 首先是冒泡排序，冒泡排序原理简单，每次都是两两比较，然后把大的放在后面，一直比较，直到把前M个元素中最大的放在最后面。也就是说经过一趟排序，最大的元素处在最后一位，再经过一趟排序，除最后一个元素之外的最大元素在倒数第二位。 １、从...
2018-03-25 20:56:29
2014
原创 《Understanding Convolution for Semantic Segmentation》
Understanding Convolution for Semantic SegmentationAbstract 首先，我们设计了密集卷积上采样(dense upssampling convolution DUC)可以获得像素级别的上采样，DUC可以获取并解码一些细节信息，这些细节信息是双线性插值上采样不能获取的。第二，在编码部分我们提出了混合空洞卷积(Hybrid dilate...
2018-03-15 20:07:42
3175
原创 DeepLabv3:《Rethinking Atrous Convolution for Semantic Image Segmentataion》
论文地址：https://arxiv.org/abs/1706.05587Abstract 在这篇文章中，我们重温了atrous convolution(带孔卷积)，它可以很好的调整过滤器的感受野以及控制输出feature map的分辨率。为了解决分割中物体的多尺度，我们设计了带孔卷积的串行和并行模块来获取多尺度信息通过多个atrous rate(采样率)。另外，我们建议增加之前提出的A...
2018-03-12 17:07:42
4829
原创 《ImageNet Classification with Deep Convolutional Neural Network》
本篇论文是在ImageNet上大放异彩，将CNN应用于cv大舞台，论文的作者是Alex Krizhevsky，来自加拿大多伦多大学Hinton组，所以论文中的模型又叫AlexNet。概述 ImageNet数据集共有150万张图片，分为22000个类别。Image Large-Scale Visual Recognition Competition(ILSVRC-2010)和ILSVR...
2018-03-06 22:32:10
3557
原创 机器学习实战--K近邻法
这两天再看Ｋ近邻法，Ｋ近邻法是基本的分类与回归算法．在这里总结一下，从一下几个方面． １ＫＮＮ的原理 ２距离度量 3 Ｋ值的选取 4 分类规则以及Ｋｄ树一KNN的原理 以分类为例，我们有训练样本，即训练集，每个一样本都是带有label的，即我们知道每一个样本与类别的对应关系．测试样本没有label，我们需要对其进行预测，得出它的label．通常
2018-01-14 14:23:43
2071
原创 排序算法-快排
今天聊聊排序算法，排序算法平时也会用到，有很多比如，冒泡，快排，选择，归并排序等．今天就聊一聊快速排序算法排序算法的一个宗旨就是经过一趟排序，何为一趟排序呢？就是遍历完一次数组，数组中的一部分数据比另外一部分的数据都要小．当然这两部分数据内部仍然是无序的，然后我们再对这两部分数据分别进行排序，如此递归下去．所以整个算法的核心思想就是这样，今天介绍两种实现快速排序的方法，一种是交换排序以及另一种方法
2018-01-13 17:44:49
2412
原创 画pytorch模型图，以及参数计算
刚入pytorch的坑，代码还没看太懂。之前用keras用习惯了，第一次使用pytorch还有些不适应，希望广大老司机多多指教。 首先说说，我们如何可视化模型。在keras中就一句话，keras.summary()，或者plot_model()，就可以把模型展现的淋漓尽致。但是pytorch中好像没有这样一个api让我们直观的看到模型的样子。但是有网友提供了一段代码，可以把模型画出来
2018-01-12 20:38:09
21225
3
原创 《机器学习实战》--逻辑斯蒂回归<二>
梯度下降可视化前一篇看完了理论，我们来实战一下，首先看一下梯度下降的效果 先看代码# 目标函数def func(x): return np.square(x)# 目标函数一阶导数def dfunc(x): return 2 * xdef GD_momentum(x_start, df, epochs, lr, momentum): xs = np.zeros(epoch
2017-12-02 22:41:33
2050
原创 《机器学习实战》-- 逻辑斯蒂回归<一>
引言 回归我们知道有线性回归，线性回归模型能够无限的逼近我们的结果。以(xi,yi)(x_{i}, y_{i})为例，通过线性回归 f(x)=wTx+bf(x)=w^{T}x+b表达式，就可以得到我们对yiy_{i}的估计值。回归到分类 如何从线性回归转换到分类呢？由于线性回归得到的是连续值，z=wTx+bz=w^Tx+b，zz的范围[−∞,∞][-\infty, \infty]，是这样的一个连
2017-12-02 21:47:56
3124
3
原创 极大似然估计
在学统计学习方法的时候，里面经常提到最大似然函数，但是我一直不知道他代表什么意思，或者说每次要求参数的时候，都是先根据已有的分布连乘，然后求参数就行了。这种做法让我很困扰，今天就百度了一下， 看到了各路大神的解释，心中有些谱了，就在这里简单记录一下，尽量不涉及公式。 极大似然估计就是利用已有样本的信息，反推最有可能导致这种情况出现的模型参数。即你手头有一堆样本，这些样本的值都已经出现，也就是找
2017-11-27 23:36:56
2895
原创 C++传参数的正确姿势
vector传递参数 前几天写一个很简单的c++程序，但是中间遇到了很有趣的问题，搞得我当时一顿懵，后来弄懂了，简单总结一下。 话说到底是什么问题呢？调用函数时，怎样引入实参才能对实参本身改变内容，有时候你想当然的调用了函数func，func运行完，发现参数并没有改变，这可如何是好？很简单的一个问题，还请大神们不要嘲笑我这个大专生。 咱们以对数组的元素加一为例，首先数组以两种方式来表示
2017-11-19 21:20:09
2238
原创 Generative Adversarial Nets (GAN) 阅读笔记
Generative Adversarial Nets 生成对抗网络的出现所引起的影响,不用我多说,想必大家也都知道了.我也是最近几天才看完这篇文章(汗,我这科研速度),把自己的一些理解分享给大家.一 Abstract 作者提出了一个网络结构, 该结构包含两个模型, 一个是生成模型, 另一个是辨别模型. 这两个模型的存在就是一个相互促进或者说是互怼的过程. 二 Introduction 顾名思
2017-11-12 16:57:05
2274
原创 <机器学习实战>--朴素贝叶斯实战(二)
一 前言 上一篇文章介绍了朴素贝叶斯的基本原理, 现在就来实践一下吧, 阅读了部分<机器学习实战>上的代码, 自己也敲了一遍, 做了一下验证, 现在就在这里分享一下. 环境: Ubuntu 16.04 Python 3.5.2 二 使用朴素贝叶斯进行文档分类2.1 准备数据: 从文本中构建词向量 加载数据'''加载训练数据, postingList是所有的训练集, 每一
2017-10-15 15:50:19
2509
原创 <机器学习实战>--朴素贝叶斯(一)
一 简介 朴素贝叶斯是基于概率论的一种分类方法，或者说是基于贝叶斯定理与特征条件独立假设的分类方法.该方法是用于分类问题，现实生活中用于病人的诊断，不当言论的分类等．由于其实现方法简单，计算效率高，所以应用还是比较广泛的． 二 概率模型 朴素贝叶斯就是一个概率模型, 再分类的过程中, 我们会计算这个样本属于每一个类别的概率, 然后求出其中的最大值, 最大值所对应的概率就是我们所确定的类.
2017-10-14 20:06:05
2103
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人