Briwisdom的博客

AI模型中不同的数据类型对硬件算力和内存的需求是不同的，为了提高模型在硬件平台的吞吐量，减少数据通信带宽需求，往往倾向于将高位宽数据运算转向较低位宽的数据运算。本文通过重新回顾计算机中整数和浮点数的定义，梳理AI模型出现的不同数据类型，进一步理解为什么会出现这些不同的数据类型。

1.TongYan Ke Ji（2018.10.30）请说出使用过的分类器和实现原理，讲一下贝叶斯分类原理GMM（高斯混合模型）原理和应用图像特征提取的方法有哪些？小波变换和傅里叶变换彩色图像，灰度图像，二值图像和索引图像的区别边缘检测的方法，算子写一个深度优先搜索的代码（深度搜索DFS和广度搜搜BFS）深度学习的激活函数有哪些？区别是什么？卷积神经网络的池化可...

0. 前言MATLAB或者OpenCV里有很多封装好的函数，我们可以使用一行代码直接调用并得到处理结果。然而当问到具体是怎么实现的时候，却总是一脸懵逼，答不上来。前两天参加一个算法工程师的笔试题，其中就考到了这几点，感到非常汗颜！赶紧补习！1. 双线性插值在图像处理中，我们有时需要改变图像的尺寸，放大或者缩小。线性插值则是这类操作的关键算法。不管是放大还是缩小操作，其实都是一个像素映射...

1. 用x,y表示一个整数范围区间，现在输入一组这样的范围区间(用空格隔开)，请输出这些区间的合并。输入描述:一行整数，多个区间用空格隔开。区间的逗号是英文字符。输出描述:合并后的区间，用过空格隔开，行末无空格'''1.首先按照x元素排序，把第一个区间存入res2.从第二个开始遍历：如果当前区间与res[-1]无重叠，直接将当前区间append到res如果有...

1.正定矩阵和半正定矩阵若所有特征值均大于零，则称为正定。定义:A是n阶方阵，如果对任何非零向量x，都有>0,其中表示x的转置，就称A为正定矩阵。性质:正定矩阵的行列式恒为正； 实对称矩阵AA正定当且仅当AA与单位矩阵合同； 两个正定矩阵的和是正定矩阵； 正实数与正定矩阵的乘积是正定矩阵。根据正定矩阵的定义及性质，判别对称矩阵A的正定性有两种方法：求出A的所有特征...

1. Jensen不等式设 f 是定义域为实数的函数，如果对于所有的实数 x，，那么 f 是凸函数。当 x 是向量时，如果其hessian矩阵 H 是半正定的（），那么 f 是凸函数。如果或者，那么称 f 是严格凸函数。Jensen不等式表述如下：如果 f 是凸函数，X是随机变量，那么特别地，如果 f 是严格凸函数，那么，当且仅当，也就是说 x 是常量。这里我们将简写为。2...

特征描述符与图像梯度直方图特征描述符就是通过提取图像的有用信息，并且丢弃无关信息来简化图像的表示；梯度直方图（Histogram of Gradients, HOG）1. 将图像按照设定比例分成若干cell，比如1600*3200的图像，以16*16为比例，可以分成100*200的cell，每一个cell里是16*16*channel的像素。（对于彩色的图像，三种通道的梯度都会被评估计...

ID3，C4.5，CART是是决策树的核心算法。它们都由特征选择，树的生成，剪枝组成。但ID3和C4.5用于分类，CART可用于分类与回归。1.ID3算法ID3算法递归地构建决策树，从根节点开始，对所有特征计算信息增益，选择信息增益最大的特征作为节点的特征，由该特征的不同取值建立子节点；再对子节点递归地调用以上方法构建决策树；知道所有特征的信息增益均很小或者没有特征可以选择为止。最后得到一...

机器学习的常用方法，主要分为有监督学习(supervised learning)和无监督学习(unsupervised learning)。简单的归纳就是，是否有监督（supervised），就看输入数据是否有标签（label）。输入数据有标签，则为有监督学习；没标签则为无监督学习。有监督学习监督学习是指数据集的正确输出已知情况下的一类学习算法。因为输入和输出已知，意味着输入和输出之间有一...

最小二乘法最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。最小二乘法是用来做函数拟合或者求函数极值的方法。当做函数拟合时，比如给定一系列观测值Xi和f(Xi)，求函数f(x)=ax+b的参数a,b。总误差平方：对a,b求导，求解下式可得到总误差的最值。代入Xi, f(Xi)的值，解上述线性方程组，可以...

1、联邦学习的背景与定义联邦学习（Federated Learning，FL）也称为联盟学习，一个新兴的人工智能技术，最初由谷歌在2016年提出，用以解决个人数据在安卓手机端的隐私问题。在国内，微众银行的首席人工智能官、香港科技大学教授杨强针对金融风控领域，对联邦学习进行了相关技术的开发和应用。在当下的人工智能时代，不能说各个领域相关的应用算法已经发展成熟，但也至少在稳步推进，但技术的底层依然是数据，数据量的多少、数据质量的好坏、数据维度的丰富已经成为制约人工智能发展的一个重要因素。联邦学习的发展，其目

机器学习模型训练中对数据进行K折交叉训练是一个常见的策略，其中sklean库中的KFold，GroupKFold，StratifiedKFold就是实现对数据集K折划分的方法，这三个方法的区别总结如下。KFold：是对数据集顺序按顺序K折划分；GroupKFold：是按训练者自己的需求进行的自定义划分，比如定义需要某些类别在训练集上多点数据；StratifiedKFold：则是分层采样，确保训练集，验证集中各类别样本的比例与原始数据集中相同；这三种方法简单的代码示例：import nu

目录一、XGBoost参数解释1.通用参数2.Booster参数3.学习目标参数二、XGBoost调参示例三、LightGBM参数解释1.核心参数2.学习控制参数3.度量函数四、LightGBM调参示例五、XGBoost和LightGBM调参核心调参方向：处理过拟合（过拟合和准确率往往相反）调参范围六、RandomForest参数解释1....

在图像处理的时候，我们先根据　　srcX=dstX* (srcWidth/dstWidth),　　srcY = dstY * (srcHeight/dstHeight)来计算目标像素在源图像中的位置，这里计算的srcX和srcY一般都是浮点数，比如f（1.2, 3.4）这个像素点是虚拟存在的，先找到与它临近的四个实际存在的像素点　　（1，3） （2，3）　　（1，4） （2，4）写成f(i+u,j+v)的形式，则u=0.2,v=0.4, i=1, j=3在沿着X方...

目录转载说明一、AdaBoost简介二、AdaBoost算法过程三、AdaBoost实例讲解三、AdaBoost的优点和缺点转载说明本篇博客转载自：https://blog.youkuaiyun.com/guyuealian/article/details/70995333通过本篇博文的确让我对AdaBoost的求解流程更清楚了，但是个人觉得原博主在讲例子的时候，不应该先给出3...

1. Logistics回归与线性回归线性回归就是给定n个变量x，经过一些线性组合后得到一个预测值y，而Logistics回归实际则是一个二分类问题，将线性回归预测的值通过一个sigmod函数，编程了（0,1）之间的概率，然后规定大于0.5的分为1类，小于0.5的归为0类。sigmod函数表达式：，下图是sigmod图像。  ...

导读本文的结构安排如下目录。首先介绍了HMM的基本定义；然后引出HMM的3个基本问题中；在前两个环节中通过一个浅显易懂的案例帮助理解；其次是针对3个问题中用到算法的理论介绍；最后介绍了预测天气的HMM经典案例，并附有python代码。目录隐马尔可夫模型的定义隐马尔可夫模型的3个基本问题前向后向算法维特比算法概述鲍姆-韦尔奇算法案例和代码参考文献隐马尔可夫模型...

卷积神经网络从2012年开始逐步火热起来。我是在2017年开始接触深度学习技术，完成硕士课题研究，在2019年毕业后以算法工程师职位进入AI创业公司，如今工作3年了。俗话说，温故而知新，结合自己这几年的工作经验，再重新回顾一些那些年是一知半解的，经典的深度学习网络，从大牛的视野看这些网络的设计和迭代。希望对今后工作学习更有帮助。互联网的兴起带来的好处之一是，只要你想学习，总有很多免费网络资源。

卷积神经网络从2012年开始逐步火热起来。我是在2017年开始接触深度学习技术，完成硕士课题研究，在2019年毕业后以算法工程师职位进入AI创业公司，如今工作3年了。俗话说，温故而知新，结合自己这几年的工作经验，再重新回顾一些那些年是一知半解的，经典的深度学习网络，从大牛的视野看这些网络的设计和迭代。希望对今后工作学习更有帮助。互联网的兴起带来的好处之一是，只要你想学习，总有很多免费网络资源。而学术界的研究院，科学家们也在不遗余力的推广深度学习技术，让更多的人了解入门深度学习，做了很多免费的视频课，出了。.

卷积神经网络从2012年开始逐步火热起来。我是在2017年开始接触深度学习技术，完成硕士课题研究，在2019年毕业后以算法工程师职位进入AI创业公司，如今工作3年了。俗话说，温故而知新，结合自己这几年的工作经验，再重新回顾一些那些年是一知半解的，经典的深度学习网络，从大牛的视野看这些网络的设计和迭代。希望对今后工作学习更有帮助。互联网的兴起带来的好处之一是，只要你想学习，总有很多免费网络资源。而学术界的研究院，科学家们也在不遗余力的推广深度学习技术，让更多的人了解入门深度学习，做了很多免费的视频课，出了。.

.ckpt模型文件tensorflow框架下保存的模型，包含以下几个子文件：model.ckpt.meta ：保存Tensorflow计算图结构，可以理解为神经网络的网络结构 model.ckpt ：保存Tensorflow程序中每一个变量的取值，变量是模型中可训练的部分 checkpoint ：保存一个目录下所有模型文件列表.pb 模型文件pb是protocolbuffer的缩写。TensorFlow训练模型后存成的pb文件，是一种表示模型（神经网络）结构的二进制文件，不带有源代码，也.

一，背景知识芯片的分类常见的芯片种类：CPU，GPU，ASIC，FPGA，（小众：类脑芯片（intel），量子芯片(谷歌）按照应用场景分类服务器端（云端）：注重芯片的算力，扩展能力，以及对现有基础设置的兼容性等移动端（终端）：注重芯片的低功耗，低延时，低成本AI芯片的评价标准性能（算力）：比如芯片做浮点或定点运算时候每秒的运算次数，以及芯片的峰值性能，平均性能等。灵活性：芯片对不同场景的适应程度，是否可应用于各种不同的AI算法和应用同构性：当大量部署AI芯片时候，能否可利

模型量化的目的本文的模型量化是优化深度学习模型推理过程的内存容量和内存带宽问题的概念，通过将模型参数的浮点数类型转换称整型存储的一种模型压缩技术。以可以接受的精度损失换取更少的存储开销和带宽需求，更快的计算速度，更低的能耗与占用面积。比如int8量化，就是让原来32bit存储的数字映射到8bit存储。int8范围是[-128,127]， uint8范围是[0,255]。模型量化优点：减小模型尺寸，如8位整型量化可减少75%的模型大小 减少存储空间，在边缘侧存储空间不足时更具有意义 易于在

本文是大概花费1个月时间做的目标检测调研报告，其中有些论文总结是基于个人理解从网上摘录，论文的细节还需找到原始paper阅读。可作为一个目标检测领域研究情况的快速浏览，仅供参考。目录多尺度目标检测概况目标检测常用数据集目标检测经典论文基于深度学习检测方法的总结Anchor方面的改进Loss方面的改进NMS -后处理上的优化其它方法个人总结多尺度目...

上一篇转载的博文《神经网络中的对抗攻击与对抗样本》帮助我理解了神经网络学习的本质，以及对抗攻击的来龙去脉。接下来在这篇文章：《忽悠神经网络指南：教你如何把深度学习模型骗得七荤八素》中进一步理解了神经网络中白箱攻击，本博文拟在加深学习印象，并结合自己的一些理解对该文章将的一些内容做一个重梳理。因为本人也处于学习阶段，博文中因考虑不全面或有欠缺的地方欢迎交流指正。为什么要进行对抗攻击研究未...

0 前言昨天的面试官讲了利用自动驾驶激光雷达数据探测路上行人、车辆问题的局部空间关系的见解，提到了Vector向量多方位，多角度问题，我感觉和Capsule里的Vector有相似之处，但是面试官认为Hinton的Capsule有很多局限，在应用上目前只用在了mnist数据集上，并且建议我再好好读读Hinton的这篇论文。今年5月份时候我大概花了两三天看这个网络的讲解，后来仍然是一知半解就搁置了...

0 前言复杂度对模型的影响时间复杂度决定了模型的训练/预测时间。如果复杂度过高，会导致模型训练和预测耗费大量时间，既无法快速的验证想法和改善模型，也无法做到快速的预测。空间复杂度决定了模型的参数数量。由于维度灾难（curse of dimensionality）的限制，模型的参数越多，训练模型所需的数据量就越大，而现实生活中的数据集通常不会太大，这会导致模型的训练更容易过拟合。1. 时...

在机器学习、深度学习中使用的优化算法除了常见的梯度下降，还有 Adadelta，Adagrad，RMSProp 等几种优化器，都是什么呢，又该怎么选择呢？在 Sebastian Ruder 的这篇论文中给出了常用优化器的比较，今天来学习一下：https://arxiv.org/pdf/1609.04747.pdf本文将梳理：每个算法的梯度更新规则和缺点 为了应对这个不足而提出的下一个...

1. 优化器的选择关于深度学习各种优化器的介绍和对比在网上有很多图文并茂的讲解，比如我上一篇博文转载的文章：深度学习——优化器算法Optimizer详解（BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam）。有需要的可以移步去学习。2. 防止过拟合策略我们在进行深度学习模型训练时候，很容易出现过拟合现象：训练集准确率高，测试...

今年暑假在北京大学参加了一个月的人工智能DeeCamp训练营培训，期间实践课题是：基于文本的图像生成，用到了各种GAN网络对比试验结果。当时只是想着实验各种GAN看效果，对于每一个GAN都有什么改进一知半解。接下来还要指导一篇基于GAN的水下图像生成本科生毕设，现在整理一下网上的资源，慢慢学习。0. GAN简介GAN的主要灵感来源于博弈论中零和博弈的思想，应用到深度学习神经网络上来说，就是...

1. 论文理解摘要翻译Capsules是一组神经元，其输出代表相同实体的不同特性。Capsules网络中每一层都有很多的Capsule，我们描述了这样一种Capsules的版本，其中每个Capsules都具有一个逻辑单元来表示实体的存在，以及一个可以学习表示实体与观察者（姿态）之间关系的4*4的矩阵。一层中的Capsules通过将其自己的姿态矩阵乘以可训练的且能学习表达部分-整体关系的姿态...

文章来源：https://baijiahao.baidu.com/s?id=1596201339578975526&wfr=spider&for=pc前言在学习神经网络白盒、黑盒对抗攻击时候，搜到这篇文章，觉得作者把神经网络中的对抗攻击来龙去脉介绍的特别通俗易懂，转载一下好好学习。什么是对抗攻击初识神经网络会惊叹它的神奇，在不了解的情况下我相信很多人会好奇它为什么可...

激活函数的定义加拿大蒙特利尔大学的Bengio教授在 ICML 2016 的文章[1]中给出了激活函数的定义：激活函数是映射 h:R→R，且几乎处处可导。激活函数的性质非线性： 当激活函数是线性的时候，一个两层的神经网络就可以逼近基本上所有的函数了。但是，如果激活函数是恒等激活函数的时候（即），就不满足这个性质了，而且如果MLP使用的是恒等激活函数，那么其实整个网络跟单层神经网络是等价...

来源：https://zhidao.baidu.com/question/1436084401002936139.html一、人工智能人工智能(Artificial Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的...

前言接下来要用到时间序列网络做实验，LSTM应该是个不错的选择，今年6月份时候快速的过了一遍LSTM网络各个门控结构的定义，并跟着网络教程做了小demo实验。转眼又过去半年了，在这半年里接触、学习了很多的东西，深感自己之前学习东西都是一知半解，等于在一直快速搭框架，具体内容和细节把握的极差。有句俗语：温故而知新。现在趁着还没毕业，是时候填充我搭的框架了，相信我会一步步学的更加牢固！在序列挖...

网文收集综述型论文笔记 | 基于深度学习的细粒度物体分类综述（A Survey on Deep Learning-based Fine-grained Object Classification and Semantic Segmentation）https://blog.youkuaiyun.com/u014593748/article/details/79964507细粒度图像分类–CVPR201...

学习yolo网络，对使用kmeans预估anchor尺寸的具体操作很模糊，后来通过直接读代码整理了思路，真的很简单。以下对此做个简单的分享。思路:step1，将所有训练集图像中box的width和height都统计出来：all_box。step2，从all_box中随机选择定好的k个anchor尺寸：clusters。step3，计算all_box中所有box与k个clus...

0. 前言说到深度学习的目标检测，就要提到传统的目标检测方法。传统的目标检测流程：1）区域选择（穷举策略：采用滑动窗口，且设置不同的大小，不同的长宽比对图像进行遍历，时间复杂度高）2）特征提取（SIFT、HOG等；形态多样性、光照变化多样性、背景多样性使得特征鲁棒性差）3）分类器（主要有SVM、Adaboost等）基于深度学习的目标检测问题从2014年至今已经经历过RCNN...