TyearLin的专栏

张量的形状可以是任意维度的，例如一维、二维、三维等等。与 TensorFlow 的协议缓冲区模型格式相比，这种格式具有多种优势，例如可缩减大小（代码占用的空间较小）以及提高推断速度（可直接访问数据，无需执行额外的解析/解压缩步骤），这样一来，TensorFlow Lite 即可在计算和内存资源有限的设备上高效地运行。TfLiteTensor是TensorFlow Lite中特有的数据结构，它是对Tensor的封装，具有一些额外的属性和方法，用于支持TensorFlow Lite特定的功能和操作。

它 计算图里的每个node都是calculator,是计算图的逻辑计算的载体，一个calculator可以接受0或多个stream或side packet, 输出0或多个stream或side packet. Calculator需要继承相同的基类并实现所需要的接口，并且要在framework中进行注册，以便可以通过配置文件进行构建。这个基类为插件的实现提供了一个统一的框架和规范，使得开发者可以根据自己的需求和创意来创建自定义的插件，并将其集成到MediaPipe的多媒体处理程序中。

测试结果表明：速度比较：INTER_NEAREST（最近邻插值)>INTER_LINEAR(线性插值)>INTER_CUBIC(三次样条插值)>INTER_AREA (区域插值)对图像进行缩小时，为了避免出现波纹现象，推荐采用INTER_AREA区域插值方法。OpenCV推荐：如果要缩小图像，通常推荐使用#INTER_AREA插值效果最好，而要放大图像，通常使用INTER_CUBIC(速度较慢，但效果最好)，或者使用INTER_LINEAR(速度较快，效果还可以)。

然后，你可以使用 cv2.cuda.getCudaEnabledDeviceCount() 函数来检查是否有可用的 GPU。如果有，你可以使用 cv2.cuda.Device() 函数来创建一个 GPU 设备对象，并使用 cv2.cuda.setDevice() 函数来设置当前使用的 GPU 设备。注意，如果你需要在 CPU 上进行某些操作，你可以使用 GpuMat.download() 函数将 GPU 矩阵复制到 CPU 上，并使用 GpuMat.upload() 函数将 CPU 矩阵复制回 GPU。

OpenCV中的深度学习模块（DNN）

mediapipe环境

（4）使用了类似于FPN（特征金字塔网络）编解码特征提取器：因为这样可以在更大的场景下对上下文进行感知，这样大物体和小物体都能在不同尺度的特征下被感受到（Tips：YOLOV3也是使用了FPN的思想提高了小目标的检测能力，因为大特征图里面的一个元素的值的感受野比较小，适合检测小物体。在MediaPipe中，我们的手部追踪流水线是由被称为算子的模块化组件构成的有向图。提供给手部坐标模型的是精确裁剪的手掌图片，极大的降低数据增强（例如旋转，平移和缩放）操作，可以使模型的性能都用来提高坐标定位的精度。

mediappipe手势模型低端设备 RK3568推理 GPU 占用比较高 尝试3568平台NPU 进行推理一下进行 tflite模型转换 rknn模型手部坐标 模型 图准备rknn-tookit2 1.3.0以上环境进入 t@ubuntu:~/rknn/rknn-toolkit2/examples/tflite$ 目录参照 mobilenet_v1 demo 转换hands模型copy mobilenet_v1 demo 重命名 mediapipe_hand。

摄像头在日常生活中非常常见，一般用来完成拍照、摄像这些基本的功能。但自动驾驶以及人工智能的到来，使得人们有了从摄像头中，获取更为智慧的结果的需求，即通过摄像头的视野，分析感知环境的变化，做出判断，将结果反馈到终端或者云端的处理器当中，服务于更丰富的应用。自动驾驶作为最先尝鲜的应用领域之一，摄像头很早就进入了科研专家的考察范围。业内研究最早同时实力最强的，是Mobileye。

p4d和G5实例分别使用NVIDIA的A100和A10G GPU，两款GPU都基于Ampere架构，都支持FP64、FP32、FP16、 INT8、BF16和TF32精度类型，也都包含一种被NVIDIA称为“Tensor Core”的运算单元，用于混合精度计算。用于训练的AI加速器的目标是减少训练时间，而且应具备能配合训练算法的硬件特点。然而，在为开发者减少麻烦的情况下，使用TF32可实现比FP32更好的性能，但NVIDIA依然推荐使用FP16或BF16格式进行混合精度训练，以便获得最快的训练性能。

TOF相机内部每个像素经过上述过程都可以得到一个对应的距离，所有的像素点测量的距离就构成了一幅深度图，如下图所示。左边是原图，右边是对应的深度图。可以看到深度图其实是一张灰度图，它是一张三维的图：水平垂直坐标对应像素位置，该位置的灰度值对应的是该像素距离摄像头的距离。所以深度图中的每个像素可以表示空间中一个点的三维坐标，所以深度图中的每个像素也称为体像素（voxel）。

容易遗忘基础点整理

Mediapipe android手势

MediaPipe bazel