weixin_42357472的博客

通义千问VLO多模态模型创新性地将图像生成、编辑与理解功能集成于单一模型，支持文本到图像生成、局部/全局图像编辑（包括风格转换、背景替换等）以及复杂场景理解。该模型能根据文本指令自动完成图像创作与修改，同时具备精准的视觉问答能力。用户可通过在线Demo体验其强大的多任务处理能力，实现了从图像创作到智能分析的端到端解决方案。

本文介绍了两个基于AI的网页生成工具：deepsite和Qwen Web Dev。deepsite利用Hugging Face的推理API，结合DeepSeek-V3-0324模型生成HTML内容，默认使用TailwindCSS实现样式，确保输出为单HTML文件，并通过CDN加载TailwindCSS。Qwen Web Dev则支持直接部署，提供了多个部署示例，展示了其灵活性和易用性。这两个工具都强调了AI在网页生成中的核心作用，分别通过不同的技术栈实现高效、美观的网页生成。

参考：技术模型。

labs.google也有音乐视频等ai工具。每次新的内容生成在新的会话里，不然会混淆冲突。支持图像编辑、动漫连续故事生成。

参考：https://github.com/NVlabs/Sana小模型高质量，支持中文，16g显存5秒内生成1080p图片在线demo：https://nv-sana.mit.edu/在线代码使用：https://colab.research.google.com/drive/1-4oeMykllGmvoymdeDQ4vy0_9ggQkhZ1?usp=sharinghttps://github.com/NVlabs/Sana/blob/main/asset/docs/model_zoo.mdFor

使用自然语言从您的资产组成新的视频。添加视频、图像和音频资源，让 Qwen 2.5-Coder 为您生成一个新的视频(使用 FFMPEG)

logo可以上传图片或图片url。prompt是写放到什么产品上。

人工智能交互式图像编辑：可以制定涂改增加删除。

Hunyuan3D 支持文生和图生3d。

在线colab测试，t4免费显卡可以测试。测试上传自己图片测试代码运行报错。

下载的svg图形。

运行的话还需要额外下载https://github.com/lyz1810/edge-tts支持语音。

https://huggingface.co/spaces/manu/ColPali-demo 检索pdf。原理还是对比学习，图像和文本，文档通过图像模型，文本通过大模型gemma。

whisper。

上面弄好后右上角点击next，创建的模型可以下载3d glb文件。支持上传照片和拍照，会自动识别变成卡通风格。其他选项是配置选项：穿着、样貌等。

元宇宙是一个虚拟的、扩展的现实空间，用户可以在其中进行社交、娱乐、工作、学习等各种活动。也可以拓展应用到数字孪生，‌‌数字孪生（Digital Twin）‌是一种通过数字模型对现实世界的物理实体或系统进行实时模拟和分析的技术。它通过收集物理实体的实时数据，将现实世界与数字世界连接起来，从而在虚拟空间中测试真实的场景。：数字人是指通过计算机技术创建的虚拟人物，这些人物可以具有逼真的外貌、行为和交互能力。数字人技术广泛应用于游戏、影视、虚拟现实（VR）和增强现实（AR）等领域，为用户提供沉浸式的体验。

界面和claude类似，右侧展示效果和代码。

另外notebooklm他本身也是个rag知识库对话，可以直接聊天框对话。

参考：https://github.com/leejet/stable-diffusion.cpp模型下载，大小4G左右推理，大概需要2G左右显存

大模型生成内容一键点击生成ppt编辑保存。

StoryDiffusionhttps://huggingface.co/spaces/YupengZhou/StoryDiffusion

仅通过上传图片，然后就可以文字描述修改图片。3）其他kolors、星绘app。

解决主要就是把报错的相关包的指定版本去掉即可。在上面cd Kolors下。

ControlNet强调对生成过程的直接控制，如通过线条、边缘、形状等信息；而IPAdapter侧重于风格迁移和内容的间接引导。IPAdapter 它专注于通过迁移图片风格来生成新的图像内容。IPAdapter的强项在于能够将一张图片的风格迁移到另一张图片上，实现风格融合，甚至可以进行多图风格的融合。它允许用户通过上传参考图片，结合特定的提示词，生成具有参考图片风格的新图像。

参考左侧风格图片，生成一直相似风格的猫。

文生音乐。

下面是画框，一个框要点击两下鼠标左键生成，及左上和右下坐标；下面box框内写上需要图片上显示的文字。参考：https://github.com/AIGText/Glyph-ByT5。

https://www.videotosoundeffects.com/ （免费在线使用）

NoteGPT 支持各种类型文档ppt、word、pdf等总结另外各种大模型工具一般都支持文档上传总结：例如kimi、通义等参考：https://blog.youkuaiyun.com/weixin_42357472/article/details/138205261。

间接实现：可以是图片先提取描述，再通过描述再去生成新图片。

https://nuxt-sam-webgpu.labz2.com/ （sam分割算法）https://getimg.ai/realtime（支持任务、卡通形象实时生成）

https://dreamina.jianying.com/ai-tool/home （抖音下面）暂时只能选择平台上的模版进行图像创造。

lora仓库（1000多个lora微调模型分享）：参考：tab=readme-ov-file （微调脚本基本也是上面官方diffusers的例子）训练时间有点久，200轮。

Noisee：通过声音生成对应视频，可以增加prompt指定生成内容相关视频。

【代码】diffusers accelerate多显卡文生图案例。