liu3612162的博客

最近针对特斯拉AI day2022内容进行了初步的了解，三个小时的发布会涵盖了方方面面的内容，其中基于纯视觉和深度学习的BEV感知升级版Occupancy Network形成的3D感知系统着实让人惊艳，而想要了解Occupancy Network，必须先了解其前身BEV感知，而其中一大关键点是参考了Transformer的网络结构对不同时空的数据输入进行处理，本系列文章主要针对相关技术从源头开始解析，由于个人技术能力有限，不可能面面俱到，仅当作抛砖引玉了。

前言支持向量机（SVM）是机器学习中非常重要的一个算法，虽然在今天，它在很多应用层面被神经网络取代了，但其实现仍然有很多值得学习的地方，而且相比较于神经网络的黑盒子特性，其解释性要好很多，训练的过程也相对更快。从线性回归出发本系列开篇讲过了线性规划，原始的SVM也是线性回归问题，考虑一个二分类问题：x∈X，y∈{1,−1}x\in X，y\in \{1,-1\}x∈X，y∈{1,−1}，我们建立一个线性模型：f(x)=wTx+bf(x)=w^Tx+bf(x)=wTx+b判别函数为：y=sig

LSTM（long-short term memory）networks 是一种特殊的RNN网络，整体思维一致，具体区别和原理也可以参考：http://colah.github.io/posts/2015-08-Understanding-LSTMs/上文对于LSTM阐述非常清晰，这里就不多赘述了，主要记录下自己在学习过程中遇到的一些问题和不清晰的点，以及我自己的理解。RNN与常规网络的区别...

概述关于使用TensorRT对网络进行加速的基本工作在深度学习系列五：使用TensorRT对网络进行加速中描述很详细了，这里主要记录下在迁移到7.0时，顺便解决了之前ResizeNearestNeighbor这个层在uff模型中无法直接支持必须外挂plugin的问题。Keras模型转ONNX模型之前使用6.0时，采用的方案是Keras模型转uff模型，再创建engine，其实从官方文档可以看...

概述TensorRT是NVIDIA一个深度学习加速平台，用于对神经网络模型进行优化，从而加速其推理过程，现已被广泛应用于嵌入式芯片和智能汽车平台等，提高其GPU的推理速度，以实现更快的响应速度或者降低平台的性能消耗。TensorRT目前已经对Tensorflow、Pytorch、ONNX、Caffe等多个深度学习框架有了良好的支持，在最新的Tensorflow2.0中，TensorRT5.0已经...

概述神经网络训练中所使用的主要算法是梯度下降法，在前文中已经有过详细的分析，但在训练过程使用梯度下降的时候存在几个关键点：1、使用多少个样本训练后进行一次参数更新2、学习率的设置3、梯度更新参数的方式针对以上问题研究人员思考了很多的解决办法来对整个训练进行适当的优化，于是产生了以下的各类算法BGD与SGD主要针对第一点，其公式表达如下：g^←1n∑n▽θJ(θ) θ←θ−...

概述神经网络训练中的过拟合问题是指训练出来的网络对于训练数据集有很好的预测准确率，但对于测试数据集的预测准确率却远低于训练数据集，用一张关于分类问题的图能很明显看出这个问题：在此不深究其中原因了，有一种基本的理解是当网络复杂程度很高时，其描述能力是很强的，因此在针对某一部分数据集集中高强度训练后，能够高度拟合该数据集中的规律，可以认为将训练集中的数据噪声也完美拟合了，因此其在训练集上准确度很高...

概述上一章主要描述了线性回归与逻辑回归的概念与区别，在模型优化方面带过了，本篇着重记录下深度学习中常用来作参数优化的反向传播算法，并结合一个简单的例子阐明。首先需要明确的是，任何一个神经网络都可以看作是一个关于其输入的函数，这个函数接受一系列值作为其输入，并输出一个或者多个结果，如下：(y0,y1...ym)=f(x1,x2...xn)(y_0,y_1...y_m)=f(x_1,x_2.....

简单学习了下逻辑回归，记录下自己的理解概念：各类回归虽然在一些细节方面有所差异，但本质上是解决同一类问题，即输入一系列自变量，通过提前的训练寻找其中的规律，并计算得到因变量。而逻辑回归的因变量一般是二分类，即true or false关系，例如在判定某种癌症问题上，通过提取一类人群的特征如身高体重等（自变量），以及结果如是否患有该种类癌症（因变量），去寻找自变量和因变量的关系（参数θ），并...

1.安装驱动:参考：https://blog.youkuaiyun.com/sinat_40276791/article/details/80403784查看驱动推荐：$ ubuntu-drivers devices== /sys/devices/pci0000:00/0000:00:01.0/0000:01:00.0 ==modalias : pci:v000010DEd00001C81sv00...