横向项目三模态融合笔记

最新推荐文章于 2025-07-26 20:57:15 发布

原创最新推荐文章于 2025-07-26 20:57:15 发布 · 312 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#笔记

RouYi前后端分离框架学习专栏收录该内容

4 篇文章

订阅专栏

系列博客目录

文章目录

系列博客目录
1.接口
2.后端代码思路

1.接口

需要前端调用接口的时候提供三个字段，图像的地址，音频的地址，和字符串里面是文本的内容。返回值中的泛型会变化。

2.后端代码思路

把接收到的三个字段，根据优先级进行排序，调用不同的后端python flask服务器的接口。直接利用现成的接口进行调用，但是应该模块化一些。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

醒了就刷牙

关注关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Ansys-结构动力学分析-有预应力琴弦横向振动模态分析学习收获

weixin_45385183的博客

03-29

1558

定义单元的类型为link180。需要定义弹性模量，泊松比，密度，和实常数（横截面积）。有限元模型创建很简单。关键在于预应力。我们知道琴弦在琴上都是被绷紧的，如果要对琴弦进行模态分析，这个绷紧力便不能忽略，因此，把这个绷紧力当做预应力处理，在静力学求解的时候要先把预应力打开，把绷紧力施加在节点上，然后求解。求解之后，先选择模态分析类型，选择分析选项，方法为分块法，提取20阶的模态，以两个相...

系统集成项目管理工程师笔记

gly1653810310的博客

10-26

3万+

目录依据第二版教程

参与评论您还未登录，请先登录后发表或查看评论

5-GFF: Gated Fully Fusion for Semantic Segmentation门控融合语义分割-论文阅读笔记

weixin_43899239的博客

10-25

2110

从所有位置收集上下文信息。同样，DANet（Fu et al.2018）、CCNet（Huang et al.2018）、EMAnet（Li et al.2019）和ANN（Zhu et al.2019）使用。

第9章多模态大语言模型

04-24

3万+

在本章中，我们将探索多种具备多模态能力的LLMs及其在实际应用场景中的意义。首先，我们将通过改进原始Transformer技术，研究图像如何被转化为数值表示；接着，我们将展示如何通过这种Transformer扩展LLMs以涵盖视觉任务。

GS-SLAM论文阅读笔记--MM3DGS SLAM

qq_45795134的博客

09-26

1585

虽然SLAM方法使用稀疏点云来表示操作环境，可以获得最先进的跟踪精度，但由于稀疏性，生成的地图是不相交的，在视觉上不如较新的3D重建方法。虽然视觉质量与导航的唯一目的无关，但创建逼真的地图对于人类消费，语义分割和后期处理是有价值的。3DGS的前置操作是高斯的深度初始化。大多数方法使用来自相对昂贵的传感器(如激光雷达)的深度输入，这些传感器可能不容易在消费者手机等设备上获得。其他方法使用RGB-D相机通过立体深度估计提供深度信息。

VAD 论文学习笔记

weixin_52431242的博客

06-12

664

uniad采用occpancy占据网格地图（相对更加稠密）来进行规划；本文采用一种矢量化的表示（具体效果可以见后面的图片）最大的优势在于减轻了计算量，提升了规划实时性此外在结构上，没有track模块和occpancy模块，但是也在后面引入了三个constraint约束回到本文，作者将vad描述为一种矢量化场景的端到端，一方面矢量化的agent运动和地图元素为规划提供了约束，保证安全性；另一方面由于矢量化的特征很简单，所以快。然后就是说vad取得的进步了，不过多赘述。

大模型关键技术及应用-学习笔记

u012732010的博客

12-02

837

听过很多大模型关键技术及应用中涉及的概念和术语，但不清晰不理解，复盘总结近期学习的知识点

李沐论文精读系列六：端到端目标检测DETR、最简多模态ViLT

qq_56591814的博客

11-10

5787

选了目标检测和多模态的两篇很火的论文

半导体光子电学期末笔记2: 光子晶体 Photonic crystals

weixin_45603120的博客

06-03

1296

光子晶体是一种在一维、二维或三维空间内周期性排列的多层介质。这些结构通过在光子尺度上排列的重复单元，可以对光进行调控和控制。具体来说，光子晶体是指那些在空间上具有周期性排列的介质结构，它们通过这种周期性排列形成光子带隙，从而控制特定波长范围的光传播。一维光子晶体是指沿一个方向上具有周期性结构的介质，例如：二维光子晶体是在两个方向上具有周期性结构的介质，例如：三维光子晶体是指在三维空间内具有周期性结构的介质，例如：尺度：光子带隙 (Photonic Bandgaps)：波动方程的本征值问题在非均匀介电介质中

语义控制中的交互式生成机制：Segmentation、Pose、Depth 多模态引导的实战剖析

努力分享一些人工智能、计算机视觉、影像等相关的知识干货！

06-25

999

随着扩散模型能力的提升，如何将复杂语义结构（如语义分割图、人体姿态、深度信息）高效引入生成流程，成为控制精度与内容一致性提升的关键路径。本文聚焦三类主流语义控制方式——Segmentation、Pose、Depth，从模型结构设计、提示输入处理、交互方式设计到推理部署实战，系统解析其作用机理与落地策略。结合最新开源模型（如 ControlNet、T2I-Adapter）与平台工具（如 ComfyUI、Gradio），提供可复现的工程实践方案。

TinyML和高性能深度学习计算 mit6.5940学习笔记

m0_56243424的博客

08-07

859

传统：LSTM、卷积 --》Transformer（分词器，嵌入向量，多头注意力机制，前馈网络，残差连接和层归一化，编码器（Encoder）和解码器（Decoder），位置编码）非数值就是基于索引的编码方法；结合了扩散模型的生成过程和知识蒸馏的教师-学生架构，主要思想是通过教师模型的指导，使学生模型能够更高效地学习扩散过程中的去噪步骤，从而加快生成速度并提高生成质量。扩散模型（良好的质量和收敛性，运行速度慢）和生成对抗网络（快速采样，收敛困难，多样性差）和变分自编码器（收敛迅速，表现良好但是质量欠佳）

C++学习笔记（十：类与对象基础）

ShangguanLuli的博客

07-25

1108

本文是一系列C++学习笔记的摘要，主要内容包括：基础语法（编译阶段、程序结构、数据类型、运算符等）；核心概念（函数、指针、内存管理、const关键字等）；面向对象编程（类与对象、封装、继承、多态等特性）；以及进阶内容（类型转换、typedef、运算符重载等）。笔记通过代码示例详细讲解了面向过程与面向对象的区别，类的定义与使用，成员函数与this指针的运作机制，以及封装特性的实现方式。特别强调了C++中类与结构体的区别，对象内存分配原理，以及如何通过访问控制实现信息隐藏。适合C++初学者系统学习核心语法和面向

QOwnNotes：跨平台笔记管理的高效之选

2501_90839605的博客

07-23

875

QOwnNotes 作为一款功能强大的跨平台笔记应用程序，凭借其简洁的界面、强大的功能和高度的灵活性，迅速赢得了用户的青睐。它不仅支持多种操作系统，还提供了丰富的笔记管理、任务管理和清单功能，满足了用户在工作和学习中的多样化需求。QOwnNotes 的性能表现非常出色，它能够快速响应用户的操作，无论是加载笔记、搜索内容还是同步数据，都能在短时间内完成。- 笔记加密：为了保护用户的隐私，QOwnNotes 支持笔记加密功能，用户可以为重要笔记设置密码，确保只有授权用户才能查看。

RK3568笔记九十三：基于RKNN Lite的YOLOv5目标检测

最新发布

07-26

173

Yolov5是一种目标检测算法，属于单阶段目标检测方法，是在COCO数据集上预训练的物体检测架构和模型系列，它代表了Ultralytics对未来视觉AI方法的开源研究，其中包含了经过数千小时的研究和开发而形成的经验教训和最佳实践。最新的YOLOv5 v7.0有YOLOv5n、YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x等，除了目标检测，还有分割，分类等应用场景。

ROS个人笔记

weixin_62742821的博客

07-22

395

（2）设置环境变量，顺便建立devel文件夹（不过这个文件和bulid文件好像catkin_make会自动生成），source devel/setup.bash（3）catkin_make install生成安装空间（4）在src文件夹中创立功能包：catkin_create_pkg 名字依赖（如rospy roscpp，std_msgs基本上都要这三个）（5）做出修改后最好重新catkin_make一下。2.ROS有四大工作区间，套用单片机工程来理解：src是存功能包的，即类似存main等函数。

pytorch学习笔记-使用DataLoader加载固有Datasets(CIFAR10)，使用tensorboard进行可视化

qq_45437180的博客

07-25

258

说明一下下面的transforms虽然只用了一个可以直接写到datasets.CIFAR10里面完全没问题，但是我还是更加建议下面的这样写，感觉是一个更好的习惯，对于以后使用多个transform的组合时很有利~随便截了不同epoch的最后一个batch构成情况，可以看到内容组合不一样，这是因为我们进行了打乱操作，这样可以保证不同的epoch学习到的batch组合情况不一样。呃这里为什么要单独列出来一下呢是因为想提醒一下最好drop，因为博主隐约记得自己好像踩过batch_size大小不一样的报错坑（

sqli-labs通关笔记-第18关 INSERT报错型Header-Agent SQL注入(单引号闭合手工注入+脚本注入两种方法)

mooyuan的网络安全博客

07-25

1080

SQLI-LABS 是一个专门为学习和练习 SQL 注入技术而设计的开源靶场环境，本小节使用手注法和脚本法共两种方法分别对第18关Less 18基于报错型的Header-Agent注入关卡进行渗透实战，相对于1-17关的区别主要是SQL的注入位置由HTTP报文的GET或者POST方法传参变为了基于 HTTP 请求头字段。

【电赛学习笔记】MaxiCAM 图像基础操作

YZYZYYNO_2的博客

07-23

1215

本文是一份MaixPy图像处理基础速查手册，详细介绍了12个核心功能模块的使用方法。主要内容包括：1)图像创建、加载和保存；2)格式转换与字节流互转；3)几何变换（缩放、裁剪、旋转等）；4)绘图功能（矩形、圆形、线条等）与文字绘制；5)图像叠加和关键点标注；6)屏幕显示与主循环控制。手册采用Python代码示例+中文注释形式，提供可直接复用的代码模板，特别说明了中文字体加载、图像格式转换等实用技巧，适合开发者快速查阅和实现基础图像处理功能。

多层感知机（深度学习-李沐-学习笔记）

gyeolhada的博客

07-25

650

多层感知机（深度学习-李沐-学习笔记）

自动驾驶的决策是干什么

04-22

<think>好的，我现在需要帮助用户了解自动驾驶中决策模块的功能和作用。首先，用户已经提供了之前的对话历史，其中我详细介绍了决策模块的核心功能、应用场景和技术实现。用户现在明确提到想了解“自动驾驶决策模块的功能介绍”，并且已经参考了站内的两篇引用文献。首先，我应该回顾之前的回答，确保这次回答的结构和内容保持一致，但可能需要更聚焦在功能和作用上，而不是应用场景和技术细节。用户可能希望得到更简洁明了的概述，但又不失专业性。接下来，我需要结合用户提供的引用内容。引用[1]提到决策规划模块相当于人类驾驶员的大脑，连接上游的感知、预测模块和下游的控制模块。引用[2]强调了预测在决策中的作用，帮助系统基于未来变化做出反应。因此，在回答中需要突出决策模块的桥梁作用，以及它如何整合多源信息进行动态决策。用户之前的回答中提到了场景管理、状态选择和行为决策三个核心功能，还有分层架构和多模态数据融合。这次可能需要更系统地分类功能，例如环境理解、行为决策、轨迹规划、安全机制等，并强调每个部分的具体作用。另外，用户可能希望了解这些功能如何协同工作，以及它们在自动驾驶中的实际应用。比如，在复杂交通场景下，决策模块如何处理动态障碍物，如何平衡安全和效率，以及如何适应不同的驾驶场景（如高速公路vs城市道路）。需要注意使用中文，并且按照用户的要求，行内公式用$...$，独立公式用$$...$$。同时，生成的相关问题需要与决策模块的功能紧密相关，可能涉及技术实现、挑战、评估方法等。最后，确保引用文献正确标注，例如在提到预测模块的作用时引用[^2]，在描述决策模块作为大脑时引用[^1]。同时，检查是否有遗漏的重要功能或作用，比如实时性、鲁棒性、与法规的符合等。总结来说，回答结构应包括：模块定位、核心功能（细分点）、作用总结，然后相关问题。需要保持逻辑清晰，技术细节准确，同时避免过于冗长，确保用户能够快速抓住重点。</think>#### 自动驾驶决策模块功能介绍 --- ##### 一、模块定位与核心作用决策模块（Planning Module）是自动驾驶系统的“智能中枢”，承担**环境理解→行为决策→轨迹生成**的核心链路，其作用类似人类驾驶员的大脑[^1]。在技术架构中，它接收感知模块（目标检测、车道线识别）、预测模块（交通参与者行为预测）、定位与地图数据，输出可执行的轨迹指令给控制模块（转向、制动等），构成完整的“感知-决策-执行”闭环。 --- ##### 二、核心功能分解 1. **多源信息融合与场景建模** - 整合激光雷达、摄像头、V2X等多模态数据，构建动态环境模型 - 解析高精度地图信息（如车道曲率方程$y=ax^2+bx+c$），识别可行驶区域 - 通过概率模型（如贝叶斯网络）评估障碍物意图，例如： $$P(\text{cut-in}|d_{rel},v_{rel}) = \frac{1}{1+e^{-(k_1d_{rel} + k_2v_{rel})}}$$ 其中$d_{rel}$为相对距离，$v_{rel}$为相对速度[^2] 2. **行为决策逻辑** - **分层决策机制**： | 层级 | 时间尺度 | 典型决策内容 | |------------|------------|-----------------------------| | 战略层 | 10-100秒 | 全局路径规划（避开拥堵区域） | | 战术层 | 1-10秒 | 变道/超车/路口通行决策 | | 执行层 | 0.1-1秒 | 轨迹微调（横向偏移$\Delta y <0.2m$） | - **风险量化模型**：使用代价函数综合评估决策方案： $$C_{total} = w_1 \cdot C_{safety} + w_2 \cdot C_{comfort} + w_3 \cdot C_{efficiency}$$ 其中权重$w_i$根据场景动态调整（如雨雾天气提升$w_1$权重）[^1] 3. **轨迹规划与优化** - 基于多项式曲线（五次多项式常用）生成平滑轨迹： $$x(t) = a_0 + a_1t + a_2t^2 + a_3t^3 + a_4t^4 + a_5t^5$$ $$y(t) = b_0 + b_1t + b_2t^2 + b_3t^3 + b_4t^4 + b_5t^5$$ - 通过二次规划（QP）优化满足约束条件： $$\min \int_{0}^{T} \left( \frac{d^2s}{dt^2} \right)^2 dt \quad \text{s.t.} \quad v \leq v_{max}, a \leq a_{max}$$ 确保轨迹符合动力学限制[^1] 4. **安全冗余设计** - **Fallback机制**：当预测模块失效时，启用保守决策策略（如最低风险状态$s_{MRC}$） - **时空一致性校验**：对比连续周期的决策结果，检测突变异常（如轨迹曲率变化率$\Delta \kappa > 0.1m^{-1}$触发报警） - 符合ISO 21448预期功能安全（SOTIF）要求[^1] --- ##### 三、核心作用总结 1. **动态场景适配** 在复杂交通场景（如施工区、无保护左转）中，通过有限状态机（FSM）或强化学习（RL）实现决策策略自适应调整。 2. **人机协同优化** 在有人驾驶与自动驾驶混合场景下，通过逆强化学习（IRL）建模人类驾驶风格，生成符合用户习惯的决策结果。 3. **系统效能平衡** 在安全、舒适、效率等多目标间实现帕累托最优，例如通过非支配排序遗传算法（NSGA-II）求解多目标优化问题。 --- ##### 相关问题 1. 如何验证决策模块在不同极端场景下的鲁棒性？ 2. 决策模块中的代价函数参数应该怎样标定？ 3. 自动驾驶决策系统如何处理伦理困境（例如电车难题）？ 4. 深度学习在决策模块中的应用有哪些技术挑战？ [^1]: 自动驾驶技术综述2：自动驾驶决策规划模块算法介绍 [^2]: 【笔记】自动驾驶预测与决策规划_Part1_自动驾驶决策规划简介