2023.8.19-2023.8.24 周报【人脸3D+虚拟服装方向基础调研-Cycle Diffusion\Diffusion-GAN\PV3D\EG3D\3D人脸调研汇总】

原创 已于 2023-08-24 16:28:08 修改 · 1.5k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

于 2023-08-19 17:19:19 首次发布

目录

学习内容

学习时间

学习产出

后续学习计划

学习目标

1.  这篇是做diffusion和gan结合的，可以参照一下看看能不能做cyclegan的形式，同时也可以调研一下有没有人follow这篇论文做了类似cyclegan的事情

Diffusion-GAN论文https://arxiv.org/abs/2206.02262

2.  https://arxiv.org/abs/2212.06384 这个是一篇比较新的视频人脸3d重构的论文，可以顺着这篇论文找一找有没有相关的做视频3d重构的论文和数据集

PV3D-A论文https://arxiv.org/abs/2212.06384

3.  继续大修图像处理那篇论文，新方向做好调研，详细列好后续学习计划

学习内容

《Diffusion-GAN: Training GANs with Diffusion》

《UNIFYING DIFFUSION MODELS’ LATENT SPACE, WITH APPLICATIONS TO CYCLEDIFFUSION AND GUIDANCE》

《PV3D-A 3D GENERATIVE MODEL FOR PORTRAIT》

《EG3D: Efficient Geometry-aware 3D Generative Adversarial Networks》

学习时间

2023.8.19--8.24

学习产出

Diffusion-GAN论文精读https://blog.youkuaiyun.com/qq_53826699/article/details/132176044

Cycle-Diffusion论文精读https://blog.youkuaiyun.com/qq_53826699/article/details/132381987?csdn_share_tail=%7B%22type%22%3A%22blog%22%2C%22rType%22%3A%22article%22%2C%22rId%22%3A%22132381987%22%2C%22source%22%3A%22qq_53826699%22%7D

PV3D 论文精读https://blog.youkuaiyun.com/qq_53826699/article/details/132391072?csdn_share_tail=%7B%22type%22%3A%22blog%22%2C%22rType%22%3A%22article%22%2C%22rId%22%3A%22132391072%22%2C%22source%22%3A%22qq_53826699%22%7D
EG3D论文精读https://blog.youkuaiyun.com/qq_53826699/article/details/132459041?csdn_share_tail=%7B%22type%22%3A%22blog%22%2C%22rType%22%3A%22article%22%2C%22rId%22%3A%22132459041%22%2C%22source%22%3A%22qq_53826699%22%7D


3D人脸重构最新论文汇总https://blog.youkuaiyun.com/qq_53826699/article/details/132474262?csdn_share_tail=%7B%22type%22%3A%22blog%22%2C%22rType%22%3A%22article%22%2C%22rId%22%3A%22132474262%22%2C%22source%22%3A%22qq_53826699%22%7D

论文调研篇icon-default.png?t=N6B9https://blog.youkuaiyun.com/qq_53826699/article/details/132458301?spm=1001.2014.3001.5501
后续学习计划

读论文补充基础知识；生成模型、MCMC、重要性采样、吉布斯采样、GAN、VAE、条件GAN、条件VAE、DDPM和条件DDPM、DDPM、DDIM、StableDiffusion；

【论文精读CVPR_2023】DiffSwap: High-Fidelity and Controllable Face Swapping via 3D-Aware Masked Diffusion
zik的博客
07-28 1336
【Paper】【Code】暂无>【Project】暂无。感觉效果一般，还有很大的改进空间。本文提出了一种基于扩散模型的高保真可控人脸交换框架DiffSwap。以往的工作依赖于精心设计的网络结构和损失函数来融合来自源人脸和目标人脸的信息，我们将人脸交换重新定义为一个有条件的修复任务，由一个强大的扩散模型执行，该模型由期望的人脸属性（如身份和landmarks).）指导。将扩散模型应用于人脸交换中的一个重要问题是，在训练过程中不能进行耗时的多步采样来获得生成的图像。
【AIDD】2023 ICLR targetdiff 3D Equivariant Diffusion for Target-Aware Molecule Generation & Affinity
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
03-31 397
论文标题：3D Equivariant Diffusion for Target-Aware Molecule Generation and Affinity Prediction基于三维等变扩散的靶点感知分子生成与亲和力预测论文信息：2023 ICLR马剑竹-清华大学智能产业研究院在靶向药物设计过程中包含3D结构显示出优于其他无靶模型的性能。然而，当前的针对靶标的3D模型要么依赖于原子体素化的网格信息，要么依赖于自回归采样过程。同时由于存在旋转不等变问题，这些方案容易违反几何约束，导致结构不真实。
[CVPR‘22] EG3D: Efficient Geometry-aware 3D Generative Adversarial Networks
qq_40731332的博客
02-14 6957
研究如何基于单视角2D图片，通过无监督方法，生成高质量、多视角一致的3D形状；现有3D GAN存在问题：1）计算开销大；2）不具有3D一致性（3D-consistent）；本文提出：1）：提速、减小计算开销；2）：可以借助sota 2D GAN，例如：StyleGAN2。在FFHQ和AFHQ Cats的3D-aware synthesis任务上达到sota。
【亲测免费】 循环扩散模型（CycleDiffusion）：基于PyTorch的零样本图像转换实现
gitblog_00964的博客
10-11 1282
--- ## 项目介绍 **循环扩散模型(CycleDiffusion)** 是陈亨利·吴（Henry Wu）与费尔南多·德拉托雷（Fernando De la Torre）在卡内基梅隆大学共同研究的成果，该工作探讨了如何形式化并推断出扩散模型中“随机种子”的概念，进而提出了一个简单而有效的方法——CycleDiffusion。这篇论文被修改版接受至ICCV 2023，并提出了一种利用扩散模型...
循环扩散模型：新一代的图像生成与艺术创作工具
gitblog_00006的博客
04-26 1146
是一个基于深度学习的开源项目，专注于实现高质量的图像生成和风格迁移。借助于先进的Diffusion Models（扩散模型），Cycle-Diffusion能够将简单的输入，如噪声，转化为令人惊叹的艺术作品或现实主义照片。 ## 项目简介 Cycle-Diffusion借鉴了循环神经网络（CycleGAN）的思想，并结合近期流行的扩散模型。它的核心目标是训练一个模型，该模型能够在不同的数据分布...
Cycle-Diffusion 项目常见问题解决方案
gitblog_00581的博客
12-12 698
Cycle-Diffusion 是一个开源项目，旨在通过扩散模型实现零样本图像到图像的翻译。该项目的主要编程语言是 Python，并且基于 PyTorch 框架进行开发。Cycle-Diffusion 的核心思想是通过固定扩散模型的随机种子，从而实现图像在不同分布之间的平滑转换。项目的主要贡献在于提出了一种简单而有效的方法，能够在不需要配对数据的情况下，利用文本到图像的扩散模型进行图像翻译。 #...
CycleGAN-Turbo：CycleGAN结合扩散模型，一步图像到图像转换方法
Debroon
03-23 6142
结合了CycleGAN的非成对图像翻译概念和Diffusion模型的强大生成能力，创造了CycleGAN-Turbo和Pix2Pix-Turbo这两个新模型。在本文中，作者团队解决了条件扩散模型存在的两个问题：推理速度慢和对成对数据的依赖。他们通过引入单步扩散模型来适应新任务和领域的方法，成功地整合了传统的CycleGAN和pix2pix模型的优点到扩散模型框架中。这不仅提升了推理速度，还允许在无需成对数据的情况下进行训练。
2023年8月互联网行业：美图公司深度报告，科技与艺术交汇，AI助美图腾飞-20230829-弘则研究-55页.pdf
09-07
本报告聚焦2023年8月的互联网行业，重点关注美图公司如何在科技与艺术的交汇点上利用人工智能（AI）技术实现业务的腾飞。美图公司作为图像和视频编辑软件领域的领军企业，通过AI技术的深度应用，不仅提升了用户体验...
2023年AI工具从入门到精通教程合集-AI绘画技术应用到各类场景（17课）.zip
08-24
2023年AI工具从入门到精通教程合集——AI绘画技术应用到各类场景，共17课。 1、Al绘画介绍与发展.pdf 2、AI-绘画的工具准备：Midjourneyiiffi7.pdf 3、三:AI-绘画的工具准备：Midjourney使用.pdf 4、四、AI-绘画的...
3D物体生成技术路线(二)--基于优化/2D prior方法(dreamfield--dreamfusion--SJC--Latent-NeRF--magic3D..)
supersyzz的博客
10-22 1224
基于优化的3D生成方法
GAN论文研读(四)-----Cycle GAN 与 Star GAN
回归虚无，才得见万物
02-02 7934
1. Cycle GAN与图像风格转换 　　WGAN后，GAN生成图像不稳定的问题已基本解决，剩余的缺点以难以盖过它的优点。在这种情况下，Jun-Yan Zhu等人将GAN的应用推广到图像风格转换领域，并基于此给出了许多有趣的应用。图像风格转换一般需要一对图像作为训练样本，但是成对的训练样本在现实生活中往往是难以得到的，鉴于此，作者在Cycle GAN中取消了成对样本的限制，直接使用具有不同风格
EG3D~
whaosoft143ai的博客
09-14 439
AFA 模块结构如下。我们以 EG3D 为例进行分析，实验显示不同 condition 下采样的 latent 会产生不同质量的3D几何，在完整的 latent space 中，不是每一个采样的 w 都能产生完整的几何，只有在 canonical latent space 中采样得到的 latent 可以生成高质量的完整几何（Fig. 3 中间一行），其生成的相应 3D 表示 tri-plane上的特征也体现出 canonical 性质，因此定义为 canonical feature space。
EG3D: Efficient Geometry-aware 3D Generative Adversarial Networks [2022 CVPR]
qq_53826699的博客
08-23 1207
长期以来，仅使用单视角二维照片集无监督生成高质量多视角一致图像和三维形状一直是一项挑战。现有的三维 GAN 要么计算密集，要么做出的近似值与三维不一致；前者限制了生成图像的质量和分辨率，后者则对多视角一致性和形状质量产生不利影响。通过解耦特征生成和神经渲染，我们的框架能够利用最先进的二维 CNN 生成器（如 StyleGAN2），并继承其效率和表现力。在这项工作中，我们在不过度依赖这些近似值的情况下，提高了三维 GAN 的计算效率和图像质量。为此，我们引入了一种。，结合其他设计选择，不仅能实时。
EG3D: Efficient Geometry-aware 3D Generative Adversarial Networks 学习笔记
PLUS_WAVE的博客
11-25 1496
1. **混合显式-隐式网络架构**：提出了一种 Tri-plane 的3D表征方法，结合显式体素网格与隐式解码器的优点 - 速度快，内存效率高； - 支持高分辨率生成，保持3D表征的灵活性和表达能力。 - 与纯显式或隐式方法相比，既解决了查询速度慢的问题，又能更好地扩展到高分辨率。1. **使用超分辨率模块 Super Resolution** ：解决高分辨率训练和渲染的计算限制。 2. **双鉴别器 dual-discrimination**：在生成器的渲染结
探索EG3D：一款高效、直观的三维图形渲染库
gitblog_00006的博客
04-25 788
探索EG3D：一款高效、直观的三维图形渲染库 去发现同类优质开源项目:https://gitcode.com/ 简介 是由NVIDIA实验室开源的一款现代三维图形渲染库，它为开发者提供了一个强大且灵活的平台，用于构建高性能的3D应用。如果你是游戏开发人员、数据可视化专家或是对实时渲染有需求的工程师，那么EG3D将是你不容错过的选择。 技术分析 基于 Vulkan 的渲染引擎 EG3D 深度利用了V...
NVlabs/eg3d项目训练指南：从数据准备到模型调优全解析
gitblog_00359的博客
06-11 481
NVlabs/eg3d项目训练指南：从数据准备到模型调优全解析 前言 NVlabs/eg3d作为当前最先进的3D感知生成对抗网络框架，在3D内容生成领域展现出卓越的性能。本文将深入解析该项目的完整训练流程，帮助开发者掌握从数据准备到模型训练的关键技术要点。 数据准备阶段 数据集格式规范 训练3D感知生成模型需要特殊的数据组织形式，核心在于图像与相机参数的精确对应： 目录结构：数据集应包含图像文件...
EG3D项目3D可视化工具使用指南
gitblog_00670的博客
06-11 343
EG3D项目3D可视化工具使用指南 可视化工具概述 EG3D项目提供了一个基于StyleGAN3技术的3D可视化工具，它能够直观地展示生成模型的3D场景渲染效果。这个工具不仅可以帮助研究人员理解模型行为，还能让普通用户体验3D生成模型的强大能力。 工具界面与基本操作 可视化工具界面主要分为三个区域： 左侧控制面板 - 包含各种参数调节滑块和按钮 中间预览区域 - 显示当前渲染效果 右侧图层查看器...
基于diffusion models的无监督Image-to-Image转化
沉迷单车的追风少年
04-08 8202
前言：上一篇文章介绍了Palette，对标的是pix2pix GANs，能够实现配对的image域转化。这篇博客介绍一种DDPM，对标cycleGANs，能够实现无配对image之间的域转化，可以轻松完成白天-夜晚转化、苹果-橘子转化、野马-斑马转化、照片去雾、老照片上色、图像修复、超分辨率重建等任务，并且在理论上第一次(2021年4月)提出类似于cycle diffusion models的结构。
Diffusion Models专栏文章汇总：入门与实战
热门推荐
沉迷单车的追风少年
02-21 4万+
《DiffusionModels与深度学习》专栏文章导航
cmake --build . --target help The following are some of the valid targets for this Makefile: ... all (the default if no target is provided) ... clean ... depend ... edit_cache ... install ... install/local ... install/strip ... list_install_components ... rebuild_cache ... test ... Continuous ... ContinuousBuild ... ContinuousConfigure ... ContinuousCoverage ... ContinuousMemCheck ... ContinuousStart ... ContinuousSubmit ... ContinuousTest ... ContinuousUpdate ... Experimental ... ExperimentalBuild ... ExperimentalConfigure ... ExperimentalCoverage ... ExperimentalMemCheck ... ExperimentalStart ... ExperimentalSubmit ... ExperimentalTest ... ExperimentalUpdate ... Nightly ... NightlyBuild ... NightlyConfigure ... NightlyCoverage ... NightlyMemCheck ... NightlyMemoryCheck ... NightlyStart ... NightlySubmit ... NightlyTest ... NightlyUpdate ... build_info ... common ... ggml ... ggml-base ... ggml-cpu ... llama ... llama-batched ... llama-batched-bench ... llama-bench ... llama-cli ... llama-convert-llama2c-to-ggml ... llama-cvector-generator ... llama-diffusion-cli ... llama-embedding ... llama-eval-callback ... llama-export-lora ... llama-finetune ... llama-gemma3-cli ... llama-gen-docs ... llama-gguf ... llama-gguf-hash ... llama-gguf-split ... llama-imatrix ... llama-llava-cli ... llama-logits ... llama-lookahead ... llama-lookup ... llama-lookup-create ... llama-lookup-merge ... llama-lookup-stats ... llama-minicpmv-cli ... llama-mtmd-cli ... llama-parallel ... llama-passkey ... llama-perplexity ... llama-q8dot ... llama-quantize ... llama-qwen2vl-cli ... llama-retrieval ... llama-run ... llama-save-load-state ... llama-server ... llama-simple ... llama-simple-chat ... llama-speculative ... llama-speculative-simple ... llama-tokenize ... llama-tts ... llama-vdot ... mtmd ... sha1 ... sha256 ... test-alloc ... test-arg-parser ... test-autorelease ... test-backend-ops ... test-barrier ... test-c ... test-chat ... test-chat-parser ... test-chat-template ... test-gbnf-validator ... test-gguf ... test-grammar-integration ... test-grammar-parser ... test-json-partial ... test-json-schema-to-grammar ... test-llama-grammar ... test-log ... test-model-load-cancel ... test-mtmd-c-api ... test-opt ... test-quantize-fns ... test-quantize-perf ... test-quantize-stats ... test-regex-partial ... test-rope ... test-sampling ... test-thread-safety ... test-tokenizer-0 ... test-tokenizer-1-bpe ... test-tokenizer-1-spm ... xxhash
最新发布
10-04
你运行了： ```bash cmake --build . --target help ``` 输出列出了所有可用的构建目标（targets），其中包括： - `llama-cli` - `llama-server` - `llama-quantize` - `llama-perplexity` - `test-chat` - 等等 但 **没有 `main` 和 `server`**。 --- ## ✅ 正确答案：在当前版本的 `llama.cpp` 中 > 🔴 `main` 已被重命名为 `llama-cli` > 🔴 `server` 已被重命名为 `llama-server` 所以你看到的是最新命名规范的结果！ --- ## 📌 如何构建命令行推理程序？ 使用： ```bash cmake --build . --target llama-cli -j ``` ✅ 生成可执行文件： ``` build/examples/llama-cli ``` 📌 功能：加载模型并进行文本推理（即旧版 `main` 的功能） --- ## 📌 如何构建 HTTP 服务端？ 使用： ```bash cmake --build . --target llama-server -j ``` ✅ 生成可执行文件： ``` build/examples/llama-server ``` 📌 功能：提供类似 OpenAI API 的 HTTP 接口，支持 `/completion`, `/embedding` 等。 > ⚠️ 注意：需要启用 `-DLLAMA_CURL=ON` 才能完整支持网络功能。 --- ## ✅ 完整推荐构建流程 ```bash cd llama.cpp/build rm -rf * # 配置项目（建议开启 curl 支持 server） cmake .. \ -DCMAKE_BUILD_TYPE=Release \ -DLLAMA_CURL=ON \ -DLLAMA_METAL=ON # macOS M系列芯片加速 -DLLAMA_CUDA=ON # NVIDIA GPU 加速（可选） -DLLAMA_BLAS=ON # 启用 BLAS 数学库优化 # 查看所有目标（可选） cmake --build . --target help # 构建核心工具 cmake --build . --target llama-cli llama-server llama-quantize -j ``` --- ## 🧩 为什么改名？背景说明 从 2023 年底开始，`llama.cpp` 社区对代码结构进行了重构： | 旧名称 | 新名称 | 原因 | |-------|--------|------| | `main` | `llama-cli` | 更明确表示是“命令行接口” | | `server` | `llama-server` | 统一命名风格，避免歧义 | | `quantize` | `llama-quantize` | 模块化命名，便于扩展 | 👉 所有 example 程序现在都加上了 `llama-` 前缀，提升一致性。 --- ## ✅ 验证是否成功构建 ```bash ./examples/llama-cli --help ./examples/llama-server --port 8080 ``` 你应该能看到帮助信息或启动日志。 示例运行： ```bash # 运行一个本地推理 ./examples/llama-cli \ -m ./models/llama3-8b-instruct.Q4_K_M.gguf \ -p "Hello, how are you?" \ -n 128 # 启动服务器 ./examples/llama-server \ -m ./models/llama3-8b-instruct.Q4_K_M.gguf \ --port 8080 ``` 然后你可以通过 curl 测试： ```bash curl http://localhost:8080/completion \ -d '{"prompt": "Hello, who are you?", "temperature": 0.7}' ``` --- ## 💡 小技巧：创建别名方便使用 ```bash ln -s examples/llama-cli main ln -s examples/llama-server server ln -s examples/llama-quantize quantize ./main --help ./server --port 8080 ``` 这样就可以继续用旧习惯命名。 --- ## ❌ 常见错误总结 | 错误操作 | 结果 | 正确做法 | |--------|------|---------| | `cmake --build . --target main` | 报错：no such target | 改为 `llama-cli` | | `cmake --build . --target server` | 报错：no such target | 改为 `llama-server` | | 忽略 `-DLLAMA_CURL=ON` | server 缺少 HTTPS 下载支持 | 构建时开启 | | 使用过时教程中的 `BUILD_MAIN=ON` | 变量未被使用 | 不再需要 | ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值