iterate7的博客

安装milvus关于milvusmilvus作为一个集成的开源平台，目标就是向量检索的集成平台。类似于elasticsearch集成了搜索。细节大家可以直接看官网。https://www.milvus.io/cn/docs/v0.11.0/overview.md安装说起来其实挺容易，方法也比较清晰。不过下载比较慢。>> docker pull milvusdb/milvus:0.11.0-cpu-d101620-4c44c00.11.0-cpu-d101620-4c44c0: Pul

bert可以干啥我们理解bert为一个transformer集合，输入是一句话，输出是经过transform的结果。我们了解，深度学习的本质就是抽取核心特征， 这也是bert的核心功能，而且以transformer为主要模块，具有更优秀的attention功能，捕获的特征更为精确和全面。一句话概括， bert就是一个抽取器。输入一句话（词序列），输出抽取后的embedding序列。输入输出输入会加入特殊的[CLS]代表整句话的含义，可以用于分类。input的词help，prince，ma

背景cart树作为决策树的一种，在非常多的地方被使用。既可以用于分类问题，也可以用于回归问题。分类问题则非常容易理解，利用gini系数较大的特征进行样本分裂，从而构建一颗分类树。 今天我们要探讨的是回归树。回归树cart简介回归树，则目标函数则是平方差，也就是说，分完之后形成left和right子树，每个子树对label，也就是y，进行平方差的计算。最后左右子树的平方差之和则是评估标注。 ...

背包问题描述有n个物品，它们有各自的体积和价值，现有给定容量的背包，如何让背包里装入的物品具有最大的价值总和？类似的问题非常多：比如每个任务都有时间和价值，我们有一定的时间，现在在有限的的时间里完成最大价值的任务，如何安排？任务ABCDEFG所得收益7951214612需要时间3426735下面就以这个问题来进行分析。...

介绍动态规划（英语：Dynamic programming，简称 DP）是一种在数学、管理科学、计算机科学、经济学和生物信息学中使用的，通过把原问题分解为相对简单的子问题的方式求解复杂问题的方法。动态规划常常适用于有重叠子问题和最优子结构性质的问题，动态规划方法所耗时间往往远少于朴素解法。动态规划背后的基本思想非常简单。大致上，若要解一个给定问题，我们需要解其不同部分（即子问题），再根据子问...

背景对于java的多线程问题，可以方便利用disrupt架构。在python则一般是使用multiprocessing和multithread两种解决方案，前者是基于cpu； 后者基于多线程。具体方案Process 方案def f(x, ret): ret[x] = x*x def task_multiprocessing_get(): ret = {} ...

异或0和0异或产生0，0和1； 1和0异或得到1；1和1异或得到0。 简单总结：不同的产生1；否则0。代表的是差别。 补充AND，OR。AND 0&0=0 1&1=1 0&1=0 只有两个同时满足才能满足。OR 0|0=0 1|1=1 0|1=1 只要有一个满足就满足。再理解：异或的操作，如同...

题目In a 2 dimensional array grid, each value grid[i][j] represents the height of a building located there. We are allowed to increase the height of any number of buildings, by any amount (the amounts...

信息量一个事件x的信息量是： I(x)=−log(p(x))I(x)=−log(p(x))I(x)=-log(p(x)) 解读：如果一个事件发生的概率越大，那么信息量就越小。如果是1，也就是100%发生，那么信息量为0。熵就是对信息量求期望值。 H(X)=E[I(x)]=−∑x∈Xp(x)logp(x)H(X)=E[I(x)]=−∑x∈Xp(x)log⁡p(x) H(X...

题目Given an array of words and a width maxWidth, format the text such that each line has exactly maxWidth characters and is fully (left and right) justified.You should pack your words in a greedy a...

关于词向量计算方法word2vec加载方法word2vec format；bin；text format；xx.kv结构如何计算相似度有必要norm吗？性能那个更快结果参考文献

问题类型TagSpace 单词、标签的嵌入用途: 学习从短文到相关主题标签的映射,例如，在 这篇文章 中的描述。这是一个典型的分类应用。模型： 通过学习两者的嵌入，学习的映射从单词集到标签集。 例如，输入“restaurant has great food <\tab> #restaurant <\tab> #yum”将被翻译成下图。（图中的节点是要学习嵌入的实体，图...

什么是xlearn安装步骤1. xcode for clanghttps://developer.apple.com/download/more/下载xcode并安装，是的，就是5-6G大小，而且解压缩之后11.8G2. cmakebrew install cmake 即可。验证成功。==> Auto-updated Homebrew!Updated 2 taps (home...

前言本文要讨论的并非是Bootstrap工具包，而是统计学习中一种重采样（Resampling）技术。下面引用的是谢益辉博士关于Bootstrap （和 Jackknife）基本思想的论述，希望能帮助读者对于Bootstrap 建立一个初步的认识：在统计的世界，我们面临的总是只有样本，Where there is sample, there is uncertainty，正因为不确定性...

bp算法又称反向传导算法，英文： back propagation。 我们了解，前向传导，可以根据W，b来计算出隐层、输出层的各个神经元的值以及对应的激活值，最终得到输出。如果输出和我们的目标存在误差，这个误差可以用成本函数表示（loss function），那么我们就需要反向的把这个误差分配到前面的各个传导的过程中，也就是W和B上；我们需要知道每个神经元带来了多少误差，这个影响程度我们用“...

随机数产生器随机数一般分为真正的随机和伪随机（pseudorandom number generator (PRNG)）。真正的随机则是不可预测；伪随机则依靠随机数种子和随机算法，是可能被预测的。 只依靠计算机程序，不依赖硬件和外部噪音能否产生真正的随机？ 个人分析： 不可能。原因如下：种子是可选择的，产生序列的算法代码也是固定的，那么这个序列则是可以预测，即使引入“时间”这种动态的变量

K-Means聚类算法。基础含义K-Means是一种聚类算法，它可以把n个对象根据相互之间的相似度，自动划分到K个聚类。 但并不是任意的划分，我们有明确的目标。通俗的讲，目标就是划分后的聚类, 每个类内部相对集中；而聚类与聚类之间则相对离散。数学原理给定n个观察点X1,X2,...,XnX_1,X_2,...,X_n 其中每个观察点XiX_i都是d维向量，也就是说，只要把

概述以监督学习为例，假设我们有训练样本集(xi,yi)(xi,yi)(x_i,y_i),那么神经网络算法能够提供一种复杂且非线性的假设模型hW,b(x)hW,b(x)h_{W,b}(x), 它具有参数W,bW,bW,b, 可以以此参数来拟合我们的数据。 为了描述神经网络（neural networks），我们先从最简单的神经网络讲起， 这个神经网络仅由一个“神经元”构成，以下就是这个“神经元...

本文从稀疏矩阵分解引入，构建了平方损失函数，从而引入最小二乘法和随机梯度下降两种求解方法，并进行了求导的推导，并用python来实战观察两种方法的效果。

EM算法的例子和思想，以及算法流程。 从具体到抽象再到具体。

1. 需要求极值2. 然后泰勒公式展开3. 然后求导，得到梯度和海塞矩阵4. 极值满足必要条件梯度为0，所以推导出两次迭代的更新公式

最小二乘法的思想最小二乘法则是一种统计学习优化技术，它的目标是最小化误差平方之和来作为目标，从而找到最优模型，这个模型可以拟合（fit）观察数据。 回归学习最常用的损失函数是平方损失函数，在此情况下，回归问题可以用著名的最小二乘法来解决。最小二乘法就是曲线拟合的一种解决方法。 最小二乘法的问题分为两类：线性最小二乘法非线性最小二乘法如果是线性的则有闭式解(closed-for

梯度在某个点的位置法向量,所以它的方向表示下降最快或者上升最快也就很好理解了。 法向量：假设平面a与向量n垂直，且n是非零向量，那么n就是a的法向量。由于是垂直的关系，针对当前点而言，肯定是变化最快的方向。 梯度是一个方向，而且是针对某个点（其实是这个点对应的切面） 这个方法变化率最快，用偏导来表达∇=(∂f∂x,∂f∂y,∂f∂z)(1)\nabla= (\frac{

得分机制和思想对于搜索，一般包括从库里通过query搜索出docs并排序。 本质上是一个排名问题，检索的话比较简单，可以通过倒排文档的思路，直接通过词找到包括该词的文档（最原始的思路）。 lucene也是利用了两类模型：布尔模型和向量空间模型； [布尔模型]{http://blog.youkuaiyun.com/iterate7/article/details/77206613}负责检索到数据； 向量...

这里只推导逻辑回归的损失公式。假设函数hθ(x)=11+e−θTx(假设函数)(假设函数)hθ(x)=11+e−θTxh_\theta(x) = \frac{1}{1+e^{-\theta^Tx}} \tag{假设函数}用于二分类p(x)={hθ(x),(1−hθ(x)),if&nbsp;y=1if&nbsp;y=0p(x)={hθ(x),if&nbsp;y=1(1−hθ(...

定义编辑距离是字符串之间的一种距离度量，也称为Levenshtein距离；这种距离的含义是：通过最少的操作把一个字符串变换成另外一个字符串。 一次操作包括：删除、插入和替换一个字符。 编辑距离越小，代表越相似。例子将kitten转换成sitting的步骤： 1. kitten-&gt;sitten(替换k-&gt;s） 2. sitten-&gt;sittin(替换e-&gt...

问题描述如果要评估一个页面的得分，谷歌提出了pageRank算法。主体思路是： 一个网页的重要程度与两个方面有关： 1. 指向自己的页面越多，越重要 2. 指向自己的页面越重要，那么得分越高。于是公式可以： PRi=∑(j,i)∈EPRjOj(1)(1)PRi=∑(j,i)∈EPRjOjPR_i = \sum_{(j,i)\in E} \frac{PR_j}{O_j} \tag{...

朴素贝叶斯分类器naive bayes classifier，简单梳理其数学公式，基本思想，并简单应用到搜索引擎的用户意图识别中。