aprilvkuo的专栏

翻译 半监督方法

转载 数据库事务与锁详解

什么是事务(Transaction)?是指作为单个逻辑工作单元执行的一系列操作，要么完全地执行，要么完全地不执行。 事务处理可以确保除非事务性单元内的所有操作都成功完成，否则不会永久更新面向数据的资源。通过将一组相关操作组合为一个要么全部成功要么全部失败的单元，可以简化错误恢复并使应用程序更加可靠。一个逻辑工作单元要成为事务，必须满足所谓的ACID(原子性、一致性、隔离性和持久性)属性。事务是数据库

转载 Difference between Steps,Batch size,Epoch in Tensorflow

https://stackoverflow.com/questions/42816124/steps-vs-num-epochs-in-tensorflow-getting-started-tutorial Let’s start the opposite the order:1) Steps - number of times the training loop in your learning

转载 标准化与归一化

标准化与归一化Referencehttps://www.zhihu.com/question/20467170http://blog.youkuaiyun.com/pipisorry/article/details/52247379https://www.zhihu.com/question/30038463/answer/50491149归一化一般的方法是 (x-min(x))/(max(x)-min(x))

原创 TensorFlow 中生成Batch数据

TensorFlow 中生成Batch数据Reference： https://www.tensorflow.org/programmers_guide/datasets#simple_batching1. 利用sklearndef batch(self,STEPS=10000, BATCH=100): ss = ShuffleSplit(n_splits=STEPS, train_size

原创 阅读笔记：Domain-specific Question Generation from a Knowledge Base

Domain-specific Question Generation from a Knowledge Base基于知识库面向特殊领域的问题生成摘要:为了生成自然而有深度的问题,本文提出了一种利用丰富的网络资源生成问题的方法.首先知识库中有小数量的问题模板,并实例化.然后将这些作为种子集,通过web进行扩展得到更多的候选问题.然后用一个filtering模型从中选出语法准确度高而且领域相关性高的问

原创 git 常用指令

收录一下使用过程中遇到的陌生操作指令.git设置设置不需要输入密码 经常需要 git push 东西,发现每次都需要输入账号和密码,疼疼的密码很蛋疼,很长.所以就收录了一下git自动记录账号密码的方法.git config默认记住15分钟:git config --global credential.helper cache自己设置时间:git config credential.helpe

原创 数据挖掘-数据规整

Data ReductionNumerosity Reduction—Regression and Log-Linear ModelsRegression Analysis对于含有自变量和因变量数据的一种建模和分析手段. 最常用的拟合方法是用最小二乘法Regression and Log-Linear ModelsA log-linear model is a mathematical model

原创 数据挖掘- Analysis

定义:对于一组事务,根据一些事务的项目,发现能预测另外一些事务项目的规则Itemset(项集):包含一个或者多个条目(item)的集合Support count(支持度计数):项集出现的频率(次数)Support(支持度):事务中包含项集的概率.Frequent Itemset(频繁项集):支持度大于等于最小支持度阈值的项集Association Rule(关联规则):表示对X->Y这种形式的蕴含.

原创 tensorflow 维度变化

https://www.tensorflow.org/api_guides/python/array_ops#Shapes_and_Shapingreshapelike numpysqueeze(removes dimensions of size 1 from the shape of a tensor)expand_dims(adds dimensions of size 1)

翻译 What's the difference between tf.placeholder and tf.Variable

https://stackoverflow.com/questions/36693740/whats-the-difference-between-tf-placeholder-and-tf-variabledown vote The difference is that with tf.Variable you have to provide an initial value when you

翻译 特征选择

特征选择1. 移除低方差方差计算公式：离散型： D(X)=E{[X-E(X)]^2}=E(X^2) - [ E(X)]^2∑(X−avg(X))2N\sum \frac {(X-avg(X))^2}{N}#sklearn 实现# http://scikit-learn.org/stable/modules/generated/sklearn.feature_selection.VarianceTh

原创 中文垃圾邮件检测

垃圾邮件检测github_repositories1. 数据集以及处理https://pan.baidu.com/s/1i4HaYTB#list/path=%2F对文件进行merge(Merge.py), 而且由于会出现很多重复行，用uniq 进行去重。 16207 ham_new.txt 4702 spam_new.txt 20909 total这边没有进一步对进行正负样本进行调

原创 shell 入门笔记

sh入门“#!” 是一个约定的标记，它告诉系统这个脚本需要什么解释器来执行，即使用哪一种Shell。echo命令用于向窗口输出文本.使用变量时要用 $ , 推荐加上花括号 {}只读变量。myUrl="http://see.xidian.edu.cn/cpp/shell/"readonly myUrl删除变量。unset特殊变量$$ 表示PID，当前shell的id变量$*

原创 linux 磁盘挂载的三种方法

df使用df命令，这个命令比较常用，大家都很熟悉。问题是这种方法，有时候挂载点和挂载的卷不在同一行，使用脚本分析需要一点技巧的mount使用mount命令，mount -l，这种方法的缺陷在于没有卷的大小，但是挂载点和挂载的卷在同一行查看文件/etc/mtab。原理是，每新挂载一个卷基本上都会更新这个文件的，那么自然可以通过这个文件来查看挂载点和挂职的卷。这种方法比mount -l稍微清晰了一点，但

原创 linux指令

1. ubuntu下安装 deb 软件sudo dpkg -i xxx.debsudo apt-get -f install2. jobs当 命令行 在执行一个任务时候，可以用 Crtl+Z 中断，如果需要恢复任务或者停止任务，需要用到 jobs 指令。2.1. 查jobs：jobsjobs -l -l ：表示list，能罗列jobs的ids -p :只罗列ids -r

转载 XGboost调参

xgboost 使用与调参XGBoost的优势XGBoost算法可以给预测模型带来能力的提升。当我对它的表现有更多了解的时候，当我对它的高准确率背后的原理有更多了解的时候，我发现它具有很多优势：4.1 正则化标准GBM的实现没有像XGBoost这样的正则化步骤。正则化对减少过拟合也是有帮助的。实际上，XGBoost以“正则化提升(regularized boosting)”技术而闻名。4.2

原创 改进版LCS

改进LCS：用k表示最长公共子串允许的最长间隔。 如(‘我喜欢周杰伦歌’,’我最喜欢的是周杰伦唱的歌哈’,) 如果k = 2： 匹配出 ‘我喜欢‘ or ’周杰伦’ ，因为‘欢的是周’ 中‘欢’与‘周’字间隔为3，超过k值。 如果k = 3： 匹配出 ‘我喜欢周杰伦歌’ 。修改过的动态规划方法:用str1，str2分别表示需要匹配的串。用state[i][j

原创 最小生成树，并查集

最小生成树Prim基本思路：将点的集合分为C 和 V-C ，分别为访问过的。Krusal将每个顶点维护成单顶点连通分量C(v1),…C(vn) C(v_1),…C(v_n) 1. 先将边进行排序 2. 每次加入权值最小的边，如果两个节点在不同的连通分量，则加入，否则丢弃 最好的实现方式是使用并查集，时间复杂度为O(|E|log|E|)O(|E|log |E|) 使用链表，算法复杂度O(|V

原创 搜索策略-DFS，BFS，爬山法，分支界限法

最小生成树 Prim 基本思路：将点的集合分为C 和 V-C ，分别为访问过的。 Krusal 将每个顶点维护成单顶点连通分量C(v1),…C(vn) C(v_1),…C(v_n) 1. 先将边进行排序 2. 每次加入权值最小的边，如果两个节点在不同的连通分量，则加入，否则丢弃 最好的实现方式是使用并查集，时间复杂度为O(|E|log|E|)O(

原创 搜索策略实现-DFS，BFS，爬山法，分支界限法

DFS数据结构class Node(object): def __init__(self): self.way= None self.node= None步骤构建一个栈S，栈中初始状态只含有初始节点0的节点类(Node(0,[])).每次从栈顶弹出一个节点 i。 当节点i的编号为0，回到出发节点，而且i.way符合要求（每个节点只经过一次，最后回到初始点

原创 在TensorFlow使用RNN（读书笔记）

在TensorFlow使用RNNRNN 输入的是有多个时间点序列。tf.SequenceExample在tensorflow中有用来处理这样数据的数据交换格式（ protocol buffer）。虽然也可以用python 或者 Numpy 的array，但是tf.SequenceExample有下面的优点。 优点：简单，可以把数据分成多个TFRecord，每一个含有多个序列样例。而且可以支持Te

原创 哈密顿环的实现

哈密顿环DFS数据结构class Node(object): def __init__(self): self.way= None self.node= None步骤构建一个栈S，栈中初始状态只含有初始节点0的节点类(Node(0,[])).每次从栈顶弹出一个节点 i。 当节点i的编号为0，回到出发节点，而且i.way符合要求（每个节点只经过一次，最后回

转载 C++中的声明与定义

C++中的声明与定义声明声明不分配内存空间，声明只是告诉编译器存在一个名字是xx的变量、函数、结构体等等。 声明一般写在头文件中。定义定义分配内存空间，声明的变量、函数、结构体等就可以在程序中使用了。 声明一般写在源文件中。 （3）变量 int a; //(1) int b=1; //(2) 在C中，（1）没有进行初始化，将其视为单纯的声明或者“临时性定义”。（2）进行了初始

转载 欢迎使用优快云-markdown编辑器

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

原创 Digital Roots

Digital Roots My Tags (Edit) Source : ACM ICPC Greater New York 2000 Time limit : 1 sec Memory limit : 32 M Submitted : 5052, Accepted : 1337 BackgroundThe digital root of a positive intege

原创 Prime Palindromes

Prime PalindromesMy Tags  (Edit) Source : USACO Gateway Time limit : 15 sec Memory limit : 32 MSubmitted : 20750, Accepted : 4606The number 151 is a prime palindrome because it is both a prime

原创 Mixing Milk

Mixing MilkMy Tags  (Edit) Source : Unknown Time limit : 3 sec Memory limit : 32 MSubmitted : 8651, Accepted : 3664Since milk packaging is such a low margin business, it is important to keep the

原创 getchar， EOF 以及转义字符

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl