DawnRanger的专栏

过滤非utf-8字符

DawnRanger — Fri, 27 Dec 2019 15:11:30 +0800

std::string filter_none_utf8_chars(const std::string &src) { std::stringstream ss; for (int i = 0; i < src.length(); ) { char chr = src[i]; int bytes=0; if (...

ComE: From Node Embedding to Community Embedding

DawnRanger — Tue, 17 Apr 2018 22:55:42 +0800

原文：Zheng, Vincent W., et al. “From node embedding to community embedding.” arXiv preprint arXiv:1610.09950 (2016).这篇文章是第一个提出 community embedding 的文章，思路为先利用 line 的方法训练 first order loss 和 second order lo

神经网络中的矩阵求导及反向传播推导

DawnRanger — Wed, 22 Nov 2017 10:54:46 +0800

第一部分: 一个简单的两层神经网络的反向传播下面的代码是来自 pytorch tutorial 的一个 numpy 版本的(激活函数为relu的)两层全连接神经网络的实现, 包括网络的实现、梯度的反向传播计算和权重更新过程：# -*- coding: utf-8 -*- import numpy as np# N is batch size; D_in is input dimension; # H

实现自己的Keras层

DawnRanger — Sat, 21 Oct 2017 23:05:06 +0800

一. 所有keras层的基类:Layerkeras的所有层的基类定义在keras/engine/topology.py文件中的Layer类中。python语言基础用到的装饰器： @property 让类函数能像类变量一样操作 @interfaces.legacy_add_weight_support 让函数支持keras 1.x的 API @classmothod 类函数，属于整个类，类似于C++/

python实现静态变量

DawnRanger — Sat, 21 Oct 2017 22:07:23 +0800

在类中定义在函数外面的变量是类变量，不属于类的实例。利用它可以实现静态变量。1. 意料之外的静态变量在使用类变量的时候一定要小心，否则会得到意料之外的结果。看下面的代码：class Foo(object): count = 0f1 = Foo() f2 = Foo() f1.count = 1 print(f1.count, f2.count) # 结果: 1 0之所以结果不相同，原因在于第

tensorflow 中的 name_scope 与 variable_scope

DawnRanger — Mon, 09 Oct 2017 19:01:43 +0800

0. 为什么需要共享变量: 减少需要训练的参数的个数多机多卡并行化训练避免变量名和操作名重复， 1. tf.Variable() 和 tf.get_variable()tf.Variable():与 tf.name_scope 配合使用，用于创建一个新变量，在同一个name_scope下面，可以创建相同名字的变量，底层实现会自动引入别名机制。tf.get_variable(name, s

交叉熵与均方差

DawnRanger — Tue, 19 Sep 2017 16:44:44 +0800

先放结论：相同点：当输出值与真实值接近的话，cross_entropy和rmse的值都会接近0 cross_entropy具有rmse不具有的优点：避免学习速率降低的情况，方法是避免了 σ′(⋅)\sigma'(\cdot) 的出现。 (注意这种效果仅限于输出层，隐藏层的学习速率与其使用的激活函数密切相关。) 均方损失：假设误差是正态分布，适用于线性的输出(如回归问题)，特点是对于与真实结果差别越

Python 星号表达式(starred expression)

DawnRanger — Tue, 19 Sep 2017 11:32:21 +0800

一、用于参数传递出现在函数的参数中的星号表达式 *args 用于将传入的可迭代参数序列解析出来，并存入args中。def fun1(*args, **kwargs): print(args, kwargs) * 会将传入的参数放入名为args的元组中 ** 会将传入的参数放入名为kwargs的字典中例1：>>>def f(a, b, c, d): print(a, b, c, d

Deep learning in graph clustering 论文两篇

DawnRanger — Wed, 16 Aug 2017 11:34:10 +0800

1. Learning Deep Representations for Graph Clustering论文信息：Tian, Fei, et al. “Learning Deep Representations for Graph Clustering.” AAAI. 2014.来自微软亚洲研究院，这是最早将深度学习应用于图聚类问题(graph clustering)的文章。论文的思路非常简单，首

线性代数-Gilbert Strang(第三部分)

DawnRanger — Tue, 02 May 2017 11:08:07 +0800

第二十六课时：对称矩阵和正定性本节研究对称矩阵的特征值和特征向量。对称矩阵的性质：实对称矩阵的特征值是实数在对称矩阵的特征向量中，能挑出一组是垂直正交的如果特征值互不相同，那么每个特征值的特征向量是在单独的一条线上，那些线是垂直正交的；如果特征值重复，那就有一整个平面的特征向量，在那个平面上，我们可以选择垂直的向量将这组特征向量转化为标准正交向量，由它们组成的矩阵称为标准正交矩阵。如果

线性代数-Gilbert Strang(第二部分)

DawnRanger — Tue, 18 Apr 2017 22:38:11 +0800

第十四课时：正交向量与子空间结论：行空间(r)与零空间(n-r)是正交的列空间(r)与左零空间(m-r)是正交的正交向量在n维空间中，向量之间的夹角为90度。如果 XTY=0X^TY=0，则X,Y 正交零向量与任何向量都正交正交子空间定义：如果子空间 S 与子空间 T 正交，那么 S 中的每个向量都和 T 中的每个向量正交。性质：如果两个子空间正交，那么他们必定不会交与某个非零向量（因

线性代数-Gilbert Strang(第一部分)

DawnRanger — Fri, 14 Apr 2017 15:38:12 +0800

第一课时：方程组的几何解释线性方程组的两种理解方式：行图像(row picture)、列图像(column picture) 行图像：试图将每一个完整方程所表示的图像表示出来；列图像：关注矩阵的列所表示的向量，把两个方程组放在一起考虑。这样做的目的是找到两个列向量的正确的线性组合为右侧向量。方程组解的情况：如果是奇异矩阵，即不可逆矩阵，在行图像中看即至少有两个方程组所表示的平面是平行的，在列图像

A tutorial on Spectral Clustering

DawnRanger — Wed, 12 Apr 2017 10:43:27 +0800

1. 基础知识令 G=(V,E)G=(V,E) 为无向图，节点集为V=v1,v2,...,vnV={v_1,v_2,...,v_n}. 假设图 GG 是有权图，节点 viv_i 和 vjv_j 之间的权重为 wij≥0w_{ij} \geq 0. 权重邻接矩阵为 W=(wij)i,j=1,...,nW=(w_{ij})_{i,j=1,...,n}. 如果 wij=0w_{ij}=0，则说明它们不相

约束最优化问题求解：拉格朗日乘子法和KKT条件

DawnRanger — Fri, 11 Nov 2016 21:29:43 +0800

在约束最优化问题中，常常利用拉格朗日对偶性（Lagrange duality）将原始问题转换为对偶问题，通过解对偶问题而得到原始问题的解。该方法应用在许多统计学习方法中，例如最大熵模型和支持向量机。对于等式约束的优化问题，可以应用拉格朗日乘子法（Lagrange Multiplier)去求取最优值；如果含有不等式约束，可以应用KKT（Karush-Kuhn-Tucker）条件去求取。当然，这两个方法

NumPy学习笔记

DawnRanger — Fri, 11 Nov 2016 09:41:05 +0800

1. 简介Numeric Python的简称，是几乎所有python科学计算工具的基础。主要功能： ndarray: 一个具有矢量运算和复杂广播能力的快速并且节省空间的多维数组面向数组的运算: 对于数组进行快速运算的标准数学函数磁盘读写、内存映射线性代数、随机数、傅里叶变换 NumPy本身并没有提供什么高级的数据分析能力，但是理解NumPy数组以及面向数组的计算将有利于使用pandas等工具。

逻辑回归模型的两种定义与参数估计思路

DawnRanger — Wed, 09 Nov 2016 09:51:05 +0800

逻辑斯谛回归（logistic regression）是统计学习中的经典分类方法，属于判别模型。1. 逻辑斯谛回归模型定义在 Andrew NG 的 Machine Learning 课程和李航的统计学习方法中，都有对逻辑斯谛回归模型的介绍，然而二者却对模型有着不同的定义。1.1 决策函数Andrew NG 课程中，对二项逻辑回归模型的决策函数如下：hθ(x)=g(θTx)h_\theta(x)=g

朴素贝叶斯的参数估计

DawnRanger — Mon, 31 Oct 2016 22:50:22 +0800

输入空间 X⊆Rn\mathcal{X} \subseteq \mathbb{R}^n 为 nn 维向量的集合，输出空间 Y={c1,c2,...,cK}\mathcal{Y} = \{c_1,c_2,...,c_K\} 为类标记集合设输入为特征向量 xx，输出为类标记 yy。XX 为定义在输入空间上的随机向量，YY 是定义在输出空间上的随机向量。P(x,y)P(x,y) 为 XX 和 YY 的联合

数理统计学基本概念

DawnRanger — Thu, 27 Oct 2016 22:44:00 +0800

1. 统计量1.1 样本均值统计量 X¯¯¯=1n∑ni=1Xi=1n(X1+X2+...+Xn)\overline{X}=\frac{1}{n}\sum_{i=1}^{n}X_i = \frac{1}{n}(X_1+X_2+...+X_n) 称为样本均值。定理：设总体 XX 的均值(即数学期望) E(X)=μE(X)=\mu 和方差 D(X)=σ2D(X)=\sigma^2 存在，则： E(X¯

大数定律与中心极限定理

DawnRanger — Thu, 27 Oct 2016 22:41:53 +0800

1. 大数定律切比雪夫大数定律：用统计方法来估计期望的理论依据。E(X)≈1n∑nk=1xkE(X)\approx \frac{1}{n}\sum_{k=1}^{n}x_k 贝努利大数定律：事件 AA 发生的频率 nAn\frac{n_A}{n} 依概率收敛于事件 AA 的概率 pp。明确了频率的稳定性，当 nn 很大时，事件发生的频率与概率有较大偏差的可能性很小。p≈nAnp\approx \f

随机变量及概率分布

DawnRanger — Mon, 24 Oct 2016 17:25:36 +0800

本文主要包含四个部分的内容：一维随机变量及其概率分布、二维随机变量及其概率分布、条件分布、随机变量的相互独立性。 1. 一维随机变量1.1 随机变量与分布函数- 分布函数：设X是一个随机变量，记F(x)=P{X