Kidwish_mini的博客

COCO有提供api供使用者对自己推理的COCO验证集结果进行评分，步骤如下。

如调用模型的代码有更改，需要重新编译，否则跳过编译步骤直接替换模型文件即可。

MIT联合丰田公司在2020年6月份发布的，用于动态驾驶场景分割的MIT DriveSeg数据集，并提供完全开放的免费下载。：手动标注版本，在马萨诸塞州剑桥市繁忙的街道上白天旅行期间捕获的2分47秒的高分辨率视频，面向车前的逐帧像素级语义标记数据集：半自动标注版本，从MIT高级车辆技术（AVT）联盟数据中提取的67个视频片段，与手动版的区别在于：1）半自动标注(比手动版粗略) 2）帧数更多(20100帧vs5000帧) 3）分辨率略低(720Pvs1080P)

CPU：中央处理器GPU：图形处理器，又称显示核心、视觉处理器、显示芯片NPU：神经网络处理器，又称AI芯片虽然GPU比CPU更擅长并行计算，但GPU和CPU本质上都属于通用处理器；AI芯片则针对性强，其目的是高效率地执行AI算法，也称为AI加速器，并衍生出了许多称呼，如NPU(神经网络处理器)、TPU(谷歌的张量处理器)、DPU(AMD加速处理器)、BPU(地平线Brain Processing Unit)等；

预训练和微调都在PC端进行，根据需求选择合适的深度学习框架，如Caffe、PyTorch、TensorFlow等。就是指预先训练的一个模型或者指预先训练模型的过程；就是指将预训练过的模型作用于自己的数据集，并使参数适应自己数据集的过程。在 CNN 领域中，实际上，很少人自己从头训练一个 CNN 网络。主要原因是自己很小的概率会拥有足够大的数据集，基本是几百或者几千张，不像 ImageNet 有 120 万张图片这样的规模。拥有的数据集不够大，而又想使用很好的模型的话，很容易会造成过拟合。

Model Zoo里面包含了TI自研的算法和目前市面上比较成熟的算法，相关的模型列表及依赖的框架可见SDK内的手册地址

openpilot对于感知的实现原理类似于特斯拉，靠的是纯视觉的解决方案，但因为camera只有两颗（一颗用于拍摄实现的路况，另一颗用于监控驾驶员），所以openpilot支持也比较有限， 主要支持车道保持 、ACC巡航、自动辅助变道这三个功能。├── opendbc # 显示如何解释汽车数据的文件，并以人类可读的方式对理解车辆CAN总线流量所需的信息进行编码。├── assets # 用于用户界面的字体、图像和声音。

摄像头感知的基本原理即从输入图像中获取特征，并将这些特征用于感知任务，其模型训练步骤可结合现代深度学习算法结构归纳如下：输入层输入backbone进行特征提取(neck进行特征的融合与增强)head进行针对性地结果输出并计算损失loss根据loss反向传播计算修正模型并进行下一轮的前向传播计算：backbone+(neck)+head若loss达到设定阈值则结束学习以YOLOv5的结构为例，其中：backbone由许多卷积模块组成，卷积模块是各个算法的区别所在，如ResNet的残差模块，YOLOv5的C3模

现代的图像感知算法由三个组件组成：Backbone、Neck和Head。

CNN从实验室走向移动端通常会遇到效率问题（包括存储问题和速度问题），通常的操作是对训练好的模型进行模型压缩，另一个角度则是设计轻量化模型。轻量化模型设计主要思想在于设计更高效的「网络计算方式」（主要针对卷积方式），从而使网络参数减少的同时，不损失网络性能。

NASNet架构特点是由两个AutoML设计的Layer组成——Normal Layer、Reduction Layer，这样的效果是不再需要相关专家用human knowledge来确定超参数(Hyperparameter)，直接用RNN把超参计算出来，这样就实现了AI自动学习。在NASNet中，基本的网络结构还是需要手动设计的，NASNet学习的是完整网络中被堆叠、被重复使用的网络单元。

语义分割算法的思想即使用CNN为每一个像素分配一个标签，最后展现的结果即可识别目标的轮廓。

目标检测的任务可以进行拆分，先在原始图像上产生候选区域，再对每个候选区域进行图像分类，最终可以得到物体出现的位置与类别。根据是否依赖锚框又可以分为和的方法。

图像分类算法作为基础的卷积神经网络算法，研究开始的时间比较早，1998年即有LeNet提出，被认为是最早的卷积神经网络模型，但由于当时计算机算力和数据集的限制，没有太优的表现，直至2012年AlexNet的提出，深层的卷积神经网络正式变成研究的热点。图像分类算法的基础结构即上文的卷积神经网络结构：输入层 -> ((卷积层+激活函数)*n -> 池化层)*n -> (全连接层+激活函数) -> 输出层。

CNN用于图像分类、目标检测、语义分割等方向；RNN用于与时序相关的追踪等方向。

卷积神经网络（CNN）在普通神经网络的基础上将隐藏层分为了卷积层、池化层、全连接层的结构；通常为一个或多个卷积层后接一个池化层，如此重复多次后，最后接两至三个全连接层；

深度学习是机器学习的子集，它基于人工神经网络。学习过程之所以是深度性的，是因为人工神经网络的结构由多个输入、输出和隐藏层构成。每个层包含的单元可将输入数据转换为信息，供下一层用于特定的预测任务。得益于这种结构，机器可以通过自身的数据处理进行学习。

计算机视觉的子任务分为：图像分类（Image Classification）、目标检测（Object Detection）、语义分割（Semantic Segmentation）、实例分割（Instance Segmentation）；语义分割与实例分割在处理对象上并不完全相同，语义分割面向画面中的每个像素，实例分割面向画面中的每个对象实例，实例分割并不会标注背景类别。

神经网络的基本结构如图所示，由输入层、隐藏层、输出层构成；图中的x1~x5即，y即，中间对x1~x5的加权求和（注意此处还加入了偏置）可以看作的雏形，隐藏层中的w1~w5及b即，这就是一个最简单的神经网络——又称感知器；根据神经网络的不同，隐藏层可以多种多样，且数量不限。