LWHGMAN的博客

原创 RocketQAv2阅读笔记（#问答系统 #NLP #检索）

个人博客：05hBoolShow的博客_优快云博客-SLAM,概率论,线性代数领域博主百度的检索技术厉害的原因：现实中 海量的用户历史数据、强大的中文ERNIE预训练模型、各种创新的模型训练策略。其中RocketQA v2便是其一。先前，自己工作中，也有使用过RocketQA v1模型（策略），并完成相关业务。特此拜读v2论文《RocketQAv2: A Joint Training Method for Dense Passage Retrieval and Passage Re-ra...

原创 RNN-循环神经网络-吴恩达读书笔记

参考博文：http://www.ai-start.com/dl2017/html/lesson5-week1.html#header-n1141、为什么选择序列模型？（Why Sequence Models?）什么是序列模型:序列模型也就是处理与时间有关系的数据的模型，这些数据前后是有相互依存的关系的。比如音频片段（歌曲、语言），是一个按照时间播放的序列。序列模型在机器翻译、文本生...

原创 编辑距离

NLP中有个 编辑距离 的概念，常运用到单词纠错中。本博文介绍并代码实现编辑距离。参考并综合以下三篇博文。https://blog.youkuaiyun.com/LWHGMAN/article/details/100067314 https://blog.youkuaiyun.com/baodream/article/details/80417695 https://www.jianshu.com/p/a6...

原创 信息论基础--熵

熵是信息论的基础理论，掌握和学习它十分重要。这里介绍若干信息论中的相关概念，重点参考宗成庆老师的《统计自然语言处理》书籍和课件。也在这，强烈推荐下宗成庆老师的《统计自然语言处理》书籍和课件。目录熵联合熵(joint entropy)条件熵(conditional entropy)连锁规则---》log运算而来熵率(entropy rate)相对熵（KL距离）交叉熵...

转载 快速复习回忆--动态规划算法

参考的博客有两篇链接：https://blog.youkuaiyun.com/qq_38410730/article/details/81667885链接：https://blog.youkuaiyun.com/Shile975/article/details/89971720动态规划算法大二时学了，但是经不起岁月的遗忘。发现了上述优秀的博文，很快帮助恢复了算法的记忆，特此转载。动态规划的原理动态规划...

原创 线性代数 第五章 相似矩阵与二次型

第二节 方正特征值和特征向量第三节 相似矩阵

原创 线性代数 第四章 向量组的线性相关性

第2节 向量组的相关性第3节 向量组的秩第4节 线性方程组解的结构第5节 向量空间

原创 线性代数 第三章 矩阵初等变化与线性方程组 复习笔记

第2节 初等矩阵第3节 矩阵的秩第4节 线性方程组的解

原创 线性代数 第二章 矩阵

第二节 矩阵的运算第三节 矩阵的逆第四节 分块矩阵例题

原创 线代第一章 行列式 复习笔记

第二节第三节第四节例10例11例13例14第五节例16

原创 《机器学习实战》Code2-朴素贝叶斯分类

本博客是学习《机器学习实战》例子后，自己对书上的例子代码总结的个人理解。在代码必要的地方，添加了注解。博客书写的目的是，方便后续的复习。分类器往往会发生错误，所以，往往需要分类器给出一个最优的类别猜测的结果，同时给出这个猜测的概率值。而朴素贝叶斯分类正好可以解决这个问题。贝叶斯分类的核心思想是：对于一个数据点（x，y），选择高概率对应的类别，也就是选择该概率正确的决策。具体过程，使用如下准...

原创 《机器学习实战》Code1-KNN

本博客是学习《机器学习实战》例子后，自己对书上的例子代码总结的个人理解。在代码必要的地方，添加了注解。博客书写的目的是，方便后续的复习。k-邻近算法：选择样本集中特征比较最邻近的k个点，将这K个点中出现次数最多的分类，作为新数据的分类。k-邻近算法对异常值不敏感（采用k个数据投票的方式），并且预先不需要训练算法（输入特征向量后，全局计算距离，没有之前没有训练好的分类器）。k-邻近算法是...

原创 第三章 多维随机向量的分布以及数字特征

原创 第二章 随机变量分布和数字特征

原创 第四章 大数定律和中心极限定理

原创 第一章 随机事件与概率

原创 第五章 数理统计中的基本概念

抽样分布样本按照一定的要求和方法，从总体中随机抽取出来所得到的，具有一定的概率分布。统计量Tn是样本的已知函数，它也具有概率分布。统计量Tn的概率分布称为抽样分布，对于任意的自然数n，确定统计一下Tn的精确分布及其性质，是数学统计中的小样本问题。而在n趋近于无穷大的时候，确定统计量Tn的极限分布及其性质是数理统计中的大样本问题。....

原创 第6章 参数估计

原创 《数学之美》读书笔记

看了吴军的《数学之美》，感触颇多。吴军先生能通过简单的故事和诙谐的语言，将晦涩难懂的数学原理解释清楚，让人再次感受到数学的博大精深。读了这本书之后，发现曾经只和成绩挂钩的数学原理还能这么玩，这么接地气。为此，摒弃应试的动机，下一步计划重学一遍概率论、线代、高数等数学，以提高自己。本文是个人读《数学之美》记录下阅读时的最直接的感受，希望后期能适时翻阅，思想上和知识层面上共同指导自己。第二版前言...

原创 《第13讲 建图》

本文是《视觉SLAM十四讲》第13讲的个人读书笔记，为防止后期记忆遗忘写的。我们之前的讨论， 基本集中于“稀疏路标地图”的部分，还没有探讨稠密地图。稀疏地图只建模感兴趣的部分，也就是前面说了很久的特征点（路标点）。而稠密地图是指，建模所有看到过的部分。对于同一个桌子，稀疏地图可能只建模了桌子 的四个角，而稠密地图则会建模整个桌面。虽然从定位(稀疏地图可以）角度看，只有四个角的地图也可以用于...

原创 《第12讲 回环检测》 读书笔记

本文是《视觉SLAM十四讲》第12讲的个人读书笔记，为防止后期记忆遗忘写的。12.1 回环检测概述12.1.1 回环检测的意义VO 仅考虑相邻时间上的关联，使得整个 SLAM 会出现累积误差，无法构建全局一致的轨迹和地图。比方说前端给出的只是局部的位姿间约束，可能 是 x1 − x2, x2 − x3 等等。由于 x1 的估计存在误差，而 x2 是根据 x1 决定的，x3 又是由 x2...

原创 《第11讲 后端2》 读书笔记

本文是《视觉SLAM十四讲》第11讲的个人读书笔记，为防止后期记忆遗忘写的。本节知识脉络BA的优缺点：BA 能精确地优化每个相机位姿与特征点 位置。不过在更大的场景中，大量特征点的存在会严重降低计算效率，导致计算量越来越 大以至于无法实时化。本章的目的：本讲介绍在更大场景下使用的后端优化方法：位姿图。11.1 位姿图（Pose Graph）11.1.1 Pose Graph 的...

原创 《第10讲 后端1》 读书笔记

本文是《视觉SLAM十四讲》第10讲的个人读书笔记，为防止后期记忆遗忘写的。本节知识脉络前面前端的内容，只能求出短时间或者说相邻两帧的转换关系，并建立局部意义的地图。然而当时间延长或者规模变大之后，那么将会出现累积误差。而后端就是要解决这个长时间、大规模建图的问题。对于问题的解决，后端分为批量和渐进两种解决方法。其中渐进是以卡尔曼滤波为代表，而批量是以非线性优化（BA、图优化等）为代表...

原创 《第8讲 视觉里程计 2 》 读书笔记

本文是《视觉SLAM十四讲》第8讲的个人读书笔记，为防止后期记忆遗忘写的。本节知识脉络前端对于通过图像来估计位姿变化值R和t有两种主流方法，分别是特征点法和直接法。特征点法有他的优缺点，缺点中比较明显的是耗时问题。而直接法不需要计算描述子，这是通过图片像素点来寻找并跟踪特征点，大大减少了时间的花费。直接法是由光流法演化而来，所以有必要介绍下光流法。直接法分为稀疏法、半稠密法（稠...

原创 《第7讲 视觉里程计1 》下 读书笔记

本文是《视觉SLAM十四讲》第7讲的个人读书笔记，为防止后期记忆遗忘写的。本讲关注基于特征点 方式的视觉里程计算法。我们将介绍什么是特征点，如何提取和匹配特征点，以及如何根 据配对的特征点估计相机运动。我们希望根据匹配的点对，估计相机的运动。然而，因为相机模型的不同，我们采用的方法也是不同的。1. 当相机为单目时，问题是根据两组 2D 点估计运动。该问题用对极几何来解决。2. 当相机...

原创 《第7讲 视觉里程计1 》上 7.1~7.6单目模型 读书笔记

本文是《视觉SLAM十四讲》第7讲的个人读书笔记，为防止后期记忆遗忘写的。本讲关注基于特征点 方式的视觉里程计算法。我们将介绍什么是特征点，如何提取和匹配特征点，以及如何根 据配对的特征点估计相机运动。7.1 特征点法前端也称为 视觉里程计（VO）。它根据相邻图像的信息，估计出粗略的相机运动，给后端提供较好的初始值。VO 的实现方法，按是否需要提取特征，分为特征点法的前端以及不提特征的...

原创 《第6讲 非线性优化 》读书笔记

本文是《视觉SLAM十四讲》第6讲的个人读书笔记，为防止后期记忆遗忘写的。本节知识脉络对状态估计问题，通过概率论中贝叶斯公式，求解后验概率等价于求解最大似然函数。求解最大似然函数等价于其最小化负对数的求解。通过公式推导，引出最小二乘。问题转换为：求解最大似然，需要求解目标函数最小二乘公式。 最小二乘的求解需要求导，为避免求导数的巨大计算代价，采用下降迭代近似来求解问题。对于 ∆x的确定，...

原创 《第5讲 相机与图像 》读书笔记

本文是《视觉SLAM十四讲》第5讲的个人读书笔记，为防止后期记忆遗忘写的。本讲讨论的是“机器人如何观测外部世界”， 也就是观测方程部分。而在以相机为主的视觉 SLAM 中，观测主要是指相机成像的过程。本节目标总结针孔相机的模型、内参与径向畸变参数。 总结世界坐标-->相机坐标-->物理成像面坐标-->归一化成像坐标---->畸变纠正坐标 的变换。 学习并总...

原创 《第4讲 李群和李代数 》读书笔记

本文是《视觉SLAM十四讲》第4讲的个人读书笔记，为防止后期记忆遗忘写的。本节目标总结李群与李代数的概念，知道为什么要引出它们。掌握 SO(3), SE(3) 与对应李代数的表示方式。 回忆 BCH 公式以及近似的意义。总结在李代数上的扰动模型。 使用 Sophus 对李代数进行运算。这一节的知识点串联思路在 SLAM 中,除了表示位姿之外,我们还要对它们进行估计和优化。因为在 ...

原创 《第3讲 三维空间刚体运动 》读书笔记

本文是《视觉SLAM十四讲》第3讲的个人读书笔记，为防止后期记忆遗忘写的。本节目标1. 总结旋转矩阵、变换矩阵、四元数和欧拉角各自特点，总结它们之间的相互转换关系。2.总结 线性代数Eigen 库的矩阵、几何模块的c++使用方法。3.1 旋转矩阵（欧氏变换、旋转矩阵、变换矩阵）首先我们考虑的对象是刚体,它不光有位置,还有自身的姿态。相机也可以看成三维空间的刚体,于是位置是...