张伟的专栏

在这种情况下，AnyDoor 仍然获得了比 Graphit 更高的速率，并且获得了与 Paint-by-Example 有竞争力的结果，这验证了本文方法的有效性。虽然生成保真度有了显著提高，但生成的结果与给定的目标过于相似，缺乏多样性。为此，作者设计了一个表示对象的高频图，它可以保持精细的细节，同时允许灵活的局部变体，如手势、照明、方向等。因此，作者选择了 DINO-V2 作为 ID 提取器的底座，使用单个线性层将 ID 提取器的 token 对齐到预训练的文本到图像的 UNet 中。

正常来说，你想做一个3维人物的动作，是需要绑骨骼、刷权重的，一堆恶心活。现在你直接拉个骨骼K个帧，渲一张人物的 T-pose静态图，AI一下，啪，完事了。阿里研究院上周四出的一个AI动画项目，一张人物静态图+一个骨骼动画，就能生成一段人物的动画。上周五的一个相当惊喜的项目，类似奇妙元、Heygen、D-ID，让“照片说话”的东西。不管是学术界的，还是产品界的，都像在人们的眼光聚焦在AI视频上时，来推出自己的东西。

通过以上演示，我们可以看到，图生图能够参考原图，再依据我们的指令生成新图。Stable Diffusion基础：精准控制之ControlNet。

根据图片的参数，我们发现主模型用的是 Chilloutmix-Ni-pruned-fp32-fix ，当然还有 Lora 模型 hanfu2.0，如果本地没有安装的朋友，请先下载安装。为了让大家更直观的了解图生图功能，明白图生图功能到底是干嘛的，能做什么事情？各位朋友，可以根据我的步骤一边进行实操，一边进行理论知识的学习，这样能提高学习效率。上述参数设置OK后，直接点击“生成”按钮，将生成后的图片发送到重绘即可。安装完成后，记得重启控制台和webui ，让模型生效。我们这里将衣服换为唐装，唐服。

1、论文链接：https://arxiv.org/pdf/2211.12194.pdf。2、项目主页：https://sadtalker.github.io/

老版本合成内容角色设置要么全部设置角色，要么全部不设置，在合成内容中同时存在指定角色内容和未指定角色内容时，只能合成指定角色内容，当前版本合成音频时，指定角色内容使用左下方角色列表中指定角色进行合成，未指定角色内容全部使用左侧中间角色数据进行合成，因为这部分内容不需要指定角色，也以叫全局旁白；为大家减少麻烦，软件已启用自动更新，当软件检测到新版本后会自动下载新版本，下载完成后重新运行即可，**重点：更新时会自动打本页面，请务必仔细阅读更新内容，方便掌握最新功能。1、下载的压缩包记得先解压缩，再使用！

所以核显机型就不要考虑了，另外Ai绘画运行中相当于之前的挖矿，GPU会100%运行，对于笔记本来说散热规模有限，不建议长时间跑图。推荐考虑GN7，显卡性能相当于RTX3060~RTX3060Ti ，16G显存，出图效率还行，很适合一天24小时跑图使用。新用户比较优惠，12月份我用的时候120/月，一天相当于4元，实际上在自己电脑上跑12小时，电费都不止4元了。编辑于 2023-04-21 09:59・IP 属地广东。选择 windows操作系统 2019。显存：越大，所设置图片的分辨率越高。

参考链接：[1]https://deepfloyd.ai/deepfloyd-if[2]https://stability.ai/blog/deepfloyd-if-text-to-image-model[3]https://stability.ai/blog/stablevicuna-open-source-rlhf-chatbot[4]https://stable-diffusion-art.com/how-stable-diffusion-work/

项目成员包括：徐源佑（在读博士），程阳铭（在读硕士），李刘磊（科研助理）， 杨宗鑫 （博士后）， 王文冠 （百人计划研究员）， 杨易 （教授）。SAM-Track在单卡上即可支持各种时空场景中的目标分割和跟踪，包括街景、AR、细胞、动画、航拍等，可同时追踪超过200个物体，为用户提供了强大的视频编辑能力。SAM-Track在单卡上即可支持各种时空场景中的目标分割和跟踪，包括街景、AR、细胞、动画、航拍等，可同时追踪超过200个物体，为用户提供了强大的视频编辑能力。2. 通过点击添加多个物体进行分割/跟踪。

但在图片储存上midjourney使用频道的方式，在进行图片分类、储存方面更加完善，可以将不同的图片分配到不同的频道内进行储存，目前invokeAI还没有将图片分类储存的功能。在进行大量的出图时，midjourney采用的是上下滚动的翻阅设计，而invokeAI采用的是将图片集中放在右侧栏中的设计，invokeAI在直接选取之前的图像上更加方便。invokeAI中拥有大部分的基本AI绘画生成功能，例如文生图，图生图、种子值、放大图像等等，下面拿了invokeAI的一些特别的功能进行了测评。

【者按：随着AIGC的兴起，各位小伙伴们对文生图工具DALL-E 2、Stable Diffusion和Midjourney一定并不陌生。本期IDP Inspiration，小白将和大家一同走进这三者背后的技术原理，一探究竟。以下是译文，Enjoy!| 岳扬在过去的几年里，人工智能（AI）取得了极大的进展，而AI的新产品中有AI图像生成器。这是一种能够将输入的语句转换为图像的工具。文本转图像的AI工具有许多，但最突出的就属DALL-E 2、Stable Diffusion和Midjourney了。

这个模型应该是基于Midjourney练的，效果感觉有点偏3D，画人物和一些大场景都很赞！对描述词的要求感觉不是很高，有些简单的描述词也能出好图。今天给大家推荐一个效果很好的新模型，MidjourneyV4，是一个大佬练出来的，并开源分享的一个模型。），他们家最近新推出的【模型市场】里面有很多人分享的开源模型。如果没有条件本地部署的可以试试我之前推荐的爱作画网站（效果是不是还可以，画场景也很棒，有游戏里面的感觉。原作者：prompthero。喜欢的朋友可以自己去试试哦~

https://mp.youkuaiyun.com/mp_blog/creation/editor?not_checkout=1

总的来说,在"鸿鹄"空间定位仪3.0版本中,我使用Python3自带的多线程模块multiprocessing，创建一个队列，线程A从通过rtsp / http 协议从视频流中读取出每一帧，并放入队列中，线程B从队列中将图片取出，处理后进行显示。所谓串行，其实是相对于单条线程来执行多个任务来说的，我们就拿下载文件来举个例子：当我们下载多个文件时，在串行中它是按照一定的顺序去进行下载的，也就是说，必须等下载完第一个文件之后才能开始下载第二个文件，它们在时间上是不可能发生重叠的。

然后，看看我们的 pixelsPerMetric 变量已经初始化，如果没有，我们把 分贝 由我们提供 - 宽度 ，从而使我们每英寸我们的（近似）的像素。我们需要确定pixels per metric比率（单位尺寸像素数），即在给定的度量（如英寸、毫米、米等）下，像素的数量。首先，利用机器视觉来测定零件尺寸，我们能够直接得到的是图片的像素，要想获得尺寸大小，我们必须找到像素和实际尺寸间的关系。实际上，相当于引用对象的作用，例如已知地图上的引用材质，我们可以使用此引用对象将其转换为地图上其他对象的大小。

原文链接：https://blog.youkuaiyun.com/qq_25661221/article/details/106408323。原文：https://blog.youkuaiyun.com/qq_25661221/article/details/106408323。复制这行话₤9X9D1rKnatV₤打開氵匋宝【3D视觉双目摄像头模组宽动态人脸识别USB摄像头模块UVC近红外逆光】添加numpy和opencv模块(python3.版本一般已经将numpy模块纳入默认安装模块中)最大分辨率 1920*1080。

webui要比较新版的，大概2月份以后，本人使用2.05,似乎2.01更好点，推荐 秋葉aaaki 的启动器来更新，如果出现出图的时候卡了半天的情况，可能是在下载什么东西，下好了就行了。如果没弄清楚，就是说打开webui，把这个网址复制到 扩展栏的install from URL 的第一行，点install即可。注意，如果出现模型无法读取，Model栏为空白，一般是webui版本跟不上，它读不出来，请更新webui。如果出现出图的时候卡了半天的情况，可能是版本对不上，在下载什么东西，下好了就行了。

标定的目的是为了消除畸变以及得到内外参数矩阵，内参数矩阵可以理解为焦距相关，它是一个从平面到像素的转换，焦距不变它就不变，所以确定以后就可以重复使用，而外参数矩阵反映的是摄像机坐标系与世界坐标系的转换，至于畸变参数，一般也包含在内参数矩阵中。以下是笔者提供的拍摄标定图像的Python代码，通过按回车键保存图像。在计算机视觉中，可以通过双目摄像头实现，常用的有BM 算法和SGBM 算法等，双目测距跟激光不同，双目测距不需要激光光源，是人眼安全的，只需要摄像头，成本非常底，也用于应用到大多数的项目中。

原文：目录收起1. 准备工作：制作 MetaHuman 角色1.1 创建 MetaHuman 角色1.2 Quixel Bridge 下载 MetaHuman1.3 导出 MetaHuman 到 UE42. UE 渲染 MetaHuman 的多视点图片2.1 如何在 UE 中手动渲染视频？2.2 Python 自动化渲染2.3 全部代码3. 渲染结果。

说说我个人的理解吧，做这个客户端看使用场景，如果是单摄像头实时显示，那至少我这台电脑是能够保证流处理的速度，几乎不延迟和卡顿，如果是多摄像头显示，这个客户端是放在定制终端上使用，建议还是使用带GPU的终端好点，图片处理速度更快，毕竟是GPU,如果是要求随处安装的客户端，我不知道该怎么弄才能解决CPU开销大的问题。由于我是搞Java出生的，很想用java写客户端，但是java写的窗口程序，实在是太。最开始我是没有加这些条件的，但是程序会在运行时突然挂掉，原因是因为。1.窗口设计6个label。

Runway 的研究团队目前还在开发一种名为 Soundify 的音效系统，该系统利用 AI 技术先识别视频内容，然后为之生成准确高质量的音频，且自动对齐音频与视频的进度，以解决传统视频制作过程中寻找合适音频困难、精准对齐音频与视频耗时的问题。它有非常完善的在线视频处理技术，更重要的是公司团队一直在积极地将生成性 AI 技术应用到视频内容制作中，致力于降低视频创作的门槛，帮助人们轻松制作出内容强大且富有创意的视频内容。既然 AI 技术在图片处理的应用上如此成熟，那如果用到视频的剪辑制作上会有什么效果呢？

所谓飞行时间法3D成像，是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行（往返）时间来得到目标物距离。结合激光器的高度，激光扫描角度，就可以准确地计算出每一个地面光斑的三维坐标X，Y，Z，如图所示。点云里的每一个点包含了丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等。解相位，也称为相位提取，主要包括相移法，傅里叶变换解相，卷积法解相。这些方法所提取的是相对相位，即相位主值，都是折叠相位，是被折叠在[-pi，pi]之间的，需要相位展开才能得到真实的相位。

首先需要重载一个IPlugin的基类，生成自己的Plugin的实现，告诉GPU或TensorRT需要做什么操作，要构建的Plugin是什么样子，其实就是类似于开发一个应用软件的插件，需要在上面实现什么功能。但是由于现在深度学习技术发展日新月异，各种不同结构的自定义层（比如：STN）层出不穷，所以tensorRT是不可能全部支持当前存在的所有层的。基本上比较经典的层比如，卷积，反卷积，全连接，RNN，softmax等，在tensorRT中都是有对应的实现方式的，tensorRT是可以直接解析的。

在这一步骤的主要目的是，根据onnx所描述的模型结构和权重数值和当前的软硬件环境生成对应的执行计划，并且序列化为xxx.engine文件持久化保存，这一步时间比较长，所以需要序列化执行文件，这样在推理阶段直接加载此文件构造出Engine。（说实话，英伟达在AI领域的布局已经基本完成了，从硬件到软件的生态几乎已经彻底完善了，按照当前的趋势，盲猜英伟达将会在不远的未来抛弃CPU和运行内存，因为数据从内存拷贝到显存貌似这部分时间开销挺大的）这一步主要是为了将深度学习模型的结构和参数导出来。

在了解点云数据如何快速生成三维模型前，我们先来了解什么是点云数据，点云数据是怎么生成的。点云数据是指在一个三维坐标系统中的一组向量的集合，每一个点都包含有三维坐标，有些可能含有颜色信息或反射强度信息。颜色信息通常是通过相机获取彩色影像，然后将对应位置的像素的颜色信息赋予点云中对应的点。强度信息的获取是激光扫描仪接收装置采集到的回波强度，此强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量，激光波长有关。点云数据一般由3D扫描设备产生，例如三维激光扫描仪、扫描全站仪、激光雷达，立体摄像头，越渡时

本项目针对当前行为监测中的精度不足、效率较低等问题，结合了openpose的姿态识别技术通过不同肢体之间的协调关系来搭建分类算法，并通过不同的分类算法比较，选择出最优模型搭建多目标的分类方法，最终可以实现多个目标的姿态显示、目标检测和分类的实时显示。在此次的模型中通过调用轻量级的openpose模型进行人体姿态识别，其主要的方法是通过openpose获取人体各个骨骼关键点位置，然后通过欧氏距离进行匹配两个骨骼来具体检测到每一个人，对于常见检测中骨骼关键点的缺失可以通过上一帧的骨骼信息进行填充。

目前，人工智能算法可以部署在云端和终端。在终端上运行检测算法有很多优点，比如只传输有价值的信息，而不是原始的大容量视频，可以有效降低后端部署服务器的传输带宽和计算存储量，使系统的整体架构更具可移植性。在模型推理阶段，可以适当降低了模型参数的精度，加快模型推理的速度，对模型推理结果影响不大。TensorRT是NVIDIA公司推出的GIE（GPU Inference Engine）C++库，其主要目的是要提高深度神经网络在其公司硬件产品上的推理速度，主要方式是通过更低精度的运算、神经网络计算结构的调整优化等。

最后是神经辐射缓存（NRC）的直接可视化，其中网络预测每个像素路径的首个非镜面反射顶点的出射辐射，并根据实时路径跟踪器生成的光线进行在线训练。在这些编码中，最成功的是那些可训练、特定于任务的数据结构，它们承担了很大一部分学习任务。大型的、自然的 360 度场景（左）以及具有许多遮蔽和镜面反射表面的复杂场景（右）都得到了很好的支持。结果显示，多分辨率哈希编码实现了几个数量级的综合加速，能够在几秒钟内训练高质量的神经图形基元，并在数十毫秒内以 1920x1080 的分辨率进行渲染：如果你眨眼可能会错过它！

我们注意到，随着NeRF训练速度的提升，框架的运行速度成为了限制NeRF速度进一步提升的瓶颈，近期有的工作（如Plenoxel）通过大量修改Pytorch源码才实现快速训练，而Instant-NGP则更是直接使用Cuda来达到速度的极致追求。准确复现了论文的速度和点数（见表1），其他深度学习框架复现的Instant-NGP在速度和点数上都距离原论文有一定差距，Jittor是全球唯一成功复现了Instant-NGP的框架。该工作通过Hash编码和定制化的优化，使得NeRF能在5秒训练出一个效果优质的结果。

我们最为推荐的开源标注工具是Heartex开发的 Label Studio，该工具分为付费和开源版本，即便是免费的开源版本，也足以支持广泛的标注类型，包括图像分类、目标检测、语义分割等，除了图像外，也可以用在音频、文本和 HTML场景的标注，并具有名为 Labeling Config 的独特配置，您可以在其中根据所需定制UI，Label Studio整合了多种算法辅助的自动化功能，包括可以基于现有AI模型对数据进行预标注。它允许标注多边形和图像分割mask，也可以通过在标注元素添加子标签进行图像分类。

基于图像的AI需要使用标注图像进行训练。这些标注也被称为“ground truth”、“labeled”或“annotated”数据。不同的数据科学模型有多种类型的“标注”。它们各不相同，包括"关键点"，"插值" ，"姿态估计"等等。

双目三维重建：双目摄像头实现双目测距（Python）_AI吃大瓜的博客-优快云博客_双目摄像头测距

使用findContours函数，提取二值图中所有的轮廓，并采用cv2.RETR_TREE，建立轮廓等级树。最后，第一个轮廓的最小外边框的参数就可以用boundingRect获取到了。step3:将质心送入卡尔曼滤波器，获取到预测的下一次橘子的质心位置。（二）获取到图像中的包围橘子对应的白色图形的最小矩形框的信息。（二）获取到图像中的包围橘子对应的白色图形的最小矩形框的信息。三、将质心送入卡尔曼滤波器，获取下一次的质心位置。三、将质心送入卡尔曼滤波器，获取下一次的质心位置。二、获取橘子检测框的质心。

卡尔曼滤波(Kalman Filter)是一个优化自回归数据的处理算法，是现代控制理论的一种经典算法，能够在系统存在许多不确定的情况下，通过之前的信息，来估计系统的状态。广泛应用在关于时间序列的分析领域中。先给出卡尔曼滤波的通用表达式。卡尔曼滤波的预测式的通用表达式为：卡尔曼滤波预测的一般通用表达式其中， xt 表示系统在 t 时刻系统状态的均值向量， Ak 表示k时刻的状态转移矩阵， Pk 表示k时刻的协方差矩阵， Qk,Bku→k 表示系统在k时刻的噪声矩阵。带 ~ 表示预测的估计矢量。

print("世界坐标xyz 是：", threeD[y][x][0] / 1000.0, threeD[y][x][1] / 1000.0, threeD[y][x][2] / 1000.0, "m")print("世界坐标xyz 是：", threeD[y][x][0] / 1000.0, threeD[y][x][1] / 1000.0, threeD[y][x][2] / 1000.0, "m")print('\n像素坐标 x = %d, y = %d' % (x, y))

如果想要对与较远的目标能够得到较为可靠的深度，一方面需要提高相机的基线距离，但是基线距离越大，左右视图的重叠区域就会变小，内容差异变大，从而提高立体匹配的难度，另一方面可以选择更大焦距的相机，然而焦距越大，相机的视域则越小，导致离相机较近的物体的距离难以估计。双目标定的目标是获得左右两个相机的内参、外参和畸变系数，其中内参包括左右相机的fx，fy，cx，cy，外参包括左相机相对于右相机的旋转矩阵和平移向量，畸变系数包括径向畸变系数（k1， k2，k3）和切向畸变系数（p1，p2）以及其他一些畸变类型。

ContextCapture 官方学习视频_哔哩哔哩_bilibili

公司的使命是为人们的工作带来极大的自由，使他们可以专注于自己的业务目标，让RealityCapture完成其余的工作。强大的团队由在计算机领域拥有丰富经验的研究人员和专业人员组成图形，并行计算，计算机视觉，机器学习，模式识别，当然包括摄影测量。它是先进的摄影测量软件，为您的工作带来极大的自由，并使您能够专注于业务目标。-正交投影，DSM和DTM计算，AI分类工具，并导出到公认的标准中，例如tiff，geotiff，-一套用于分析路线质量和准确性，地理配准，网格重建，3D的工具。-体积，面积和距离测量，

3d 建模软件

seamless clone 功能比较