m0_74001625的博客

图像生成的应用场景：https://blog.youkuaiyun.com/weixin_42181686/article/details/152329682主流模型对比：https://blog.youkuaiyun.com/weixin_52582710/article/details/146297237https://blog.youkuaiyun.com/Liudef06/article/details/150264998https://blog.youkuaiyun.com/gitblog_00856/article/details/15209

主题：LLM相关、多模态相关、python编程、java编程。

FunASR：模块化语音处理框架，集成VAD、ASR、PUNC、SPK等组件。Paraformer：FunASR中的高效ASR模型，支持工业级长音频和实时场景。协作关系：VAD、PUNC、SPK模型围绕ASR核心，分别处理语音分段、标点恢复和说话人分离，共同实现“语音→结构化文本”的完整功能。

【代码】手写系列——transformer网络完成加法和字符转译任务。

【代码】手写系列——VIT网络。

的视觉编码层和策略网络结构，实现缝葡萄等更高精度的操作任务（需增加触觉传感器模拟）。• 采用CLIP模型处理视觉输入，将摄像头画面映射到512维特征空间。• 关节传感器数据（28自由度）与视觉特征拼接，形成680维状态向量。• 采用PPO算法保证训练稳定性（类似搜索中提到的GRPO优化）• 在策略网络中添加跨模态注意力层，实现不同杯具的泛化操作。该实例复现了搜索结果中机器人的核心能力，开发者可通过调整。• 动作频率达到100Hz，满足毫秒级响应需求。• 通过视频编码器提取人类动作的语义特征。

职位高频词汇：VLM调优经验、核心算法（Diffusion、RL、VIT）、pytorch、仿真环境（Isaac Gym、Mujoco、webots）

如需具体模型的部署配置文件或性能测试数据，可参考各项目的GitHub仓库（Gemma、Janus-Pro）。• 多模态支持：文本、高分辨率图像、短视频混合输入，动态图像切片技术可处理1小时视频仅需20秒。• 轻量化设计：1B参数模型支持CPU+GPU混合推理，显存占用可压缩至6GB。• 显存占用：4位量化后仅需4-5GB显存，剩余资源可用于图像预处理和缓存。• 多任务能力：同步支持图像生成（文生图）与理解（OCR+场景分析）：需平衡性能与资源消耗的场景（如视频分析）：侧重轻量化与图像生成能力（如创意设计）

通过CLIP模型对齐教师模型的视觉-文本特征空间，例如将图像特征与文本描述映射到同一隐空间。：采用分组注意力（Grouped Attention）替代传统多头机制，降低内存占用30%：完整实现从数据清洗到模型部署的全流程，支持单卡低成本训练，代码全透明，适合教学与实践。：支持视觉-语言联合蒸馏，结合MoE架构提升参数效率（激活参数减少77%）：25.8M（约0.02B参数），比GPT-3小7000倍。：动态稀疏激活（仅20%神经元参与推理）：模仿教师模型的输出分布（KL散度损失）

的视觉编码层和策略网络结构，实现缝葡萄等更高精度的操作任务（需增加触觉传感器模拟）。• 采用CLIP模型处理视觉输入，将摄像头画面映射到512维特征空间。• 关节传感器数据（28自由度）与视觉特征拼接，形成680维状态向量。• 采用PPO算法保证训练稳定性（类似搜索中提到的GRPO优化）• 在策略网络中添加跨模态注意力层，实现不同杯具的泛化操作。该实例复现了搜索结果中机器人的核心能力，开发者可通过调整。• 动作频率达到100Hz，满足毫秒级响应需求。• 通过视频编码器提取人类动作的语义特征。

基于cross-attention算法关联动作策略和图像，可以举一个可以运行的例子吗？基于cross-attention算法关联文本和图像，可以举一个可以运行的例子吗？

【代码】手写系列——基于CrossAttention结构的网络。

长视频通常持续数分钟甚至数小时，通常由多个事件组成，与短视频相比，包含更丰富的空间内容和时间变化。长视频理解不仅涉及空间和事件内的时间推理，还涉及事件间推理和来自不同视频事件的长期推理。与仅涉及静态视觉数据的图像理解任务不同，短视频理解还结合了来自多个视觉帧的时间信息。除了空间推理，事件内的时间推理和跨帧的时空推理在短视频理解中发挥着至关重要的作用。图像理解任务涉及单张图像用于各种视觉推理任务，如图像标注和以图像为中心的问题回答。通用图像理解模型：图像分类、目标检测、图像分割。

【代码】代码填空任务---自编码器模型。

从零实现Cross Attention：人工智能|深度学习——多模态条件机制 Cross Attention 原理及实现-优快云博客多模态条件机制 Cross Attention 原理及实现_cross attention代码-优快云博客交叉注意力机制CrossAttention-优快云博客微调CLIP模型：CLIP微调方法总结-优快云博客了解Q-Former机制和BLIP模型：【有啥问啥】多模态大模型应用中的Q-Former是什么？_qformer-优快云博客https://zhuanlan.z

--候选解2，潜在表示，也就是重构材料 Z_k 是采样得到的，并不是像常规 AutoEncoder 那样由 Encoder 直接计算得到，因此这部分也就相当于噪声，它的随机性在干扰重构的过程。此时，损失函数的第二项就起到了作用，它让潜在空间的后验分布逼近标准正态分布 N(0, I)，从而避免了随机性消失，也就是方差变成0的情况，相当于对训练过程的正则化。---候选解1，普通的 AutoEncoder，其 Encoder 生成的是有关样本的“信息”，也就是潜在表示，这样算出来的值是确定的。

参考：从头开始构建一个小规模的文生视频模型_文生视频模型开发流程-优快云博客

self-attention、multi-head-attention、cross-attention的理论分析与计算过程代码层面比较freeze、lora、p-tuning方法成功训练nanoGPT 应用nanoGPT训练中文语料 ChatGPTBook——基于GPT-2模型的文本摘要实战分析gpt2 神经网络常微分方程 (Neural ODEs) 的解析和实现diffusion model原理与实现过程stable diffusion架构分析逐步认识Diffusion模型-优快云博客MOE原理解释及从

什么是Diffusion模型？ - wrong.wang

多模态数字人算法方向：

安装教程_飞桨-源于产业实践的开源深度学习平台

不设置scheduler导致生成图像很慢。

参考：

商用：字节 即梦：快手 可灵：智谱 清影：讯飞 星火绘镜：其他 AI Sora：开源：

提示词写法教程：一文搞懂Stable Diffusion提示词，收藏这篇提示词合集就够了_stable diffusion 提示词-优快云博客提示词快速入门 - Stable Diffusion WebUI使用手冊 - Stable Diffusion文档中心风格速查表： https://sdcs.qpipi.com/提示词在线生成： https://prompt.qpipi.com/模型库：https://www.qpipi.com/文生图app：LiblibAI-哩布哩布AI - 中国领先的AI创作平

本文测试的扩展：sd-webui-prompt-all-in-one。其他可选的扩展：sd-prompt-translator。

下载到模型路径：/home/ubuntu/stable-diffusion-webui/extensions/sd-webui-controlnet/models。明显启用controlnet效果好很多。