RA AI衍生者训练营的博客

概述：RAGFlow 是一个开源 RAG 引擎，专注于深度文档理解和简化的工作流程设计，适合企业快速构建基于检索增强生成的问答系统。功能和特性支持文档检索、问答和知识图谱提取。提供用户友好的图形界面。支持复杂格式数据的处理和与 LLM 的集成。架构：基于 Python，采用模块化设计。易用性：界面直观，配置简单，适合初学者和快速部署。性能：在中等规模数据上表现良好，但处理超大规模数据时可能需要优化。可扩展性：支持一定程度的定制，但扩展性相对有限。社区支持。

Pathway 是一个高性能、低延迟的 Python ETL（Extract, Transform, Load）框架，专为流处理、实时分析、大型语言模型（LLM）管道以及检索增强生成（RAG）设计。它提供了一个简单易用的 Python API，开发者可以无缝集成常用的 Python 机器学习库，例如 LangChain 或其他嵌入模型。Pathway 的代码设计兼顾开发和生产环境，能够高效处理批处理和流式数据。官网地址：https://pathway.com/

BEARCUBS的基准测试，旨在评估具备计算机使用能力的网络代理在实时网络环境中的信息搜索和多模态交互能力。文档详细阐述了BEARCUBS的设计理念、构建过程、实验结果及当前代理的局限性，强调其通过实时性和多模态性区别于现有基准的创新性。通过人类与代理的性能对比，文档指出现有代理在可靠来源选择和多模态能力上的不足，并提出了改进建议。BEARCUBS通过定期更新保持挑战性，为未来网络代理研究提供了重要参考。

名称中的 IP 指的是 Image Prompt 图像提示，它和 T2I-Adapter 一样是一款小型模型，但是主要用来提升文生图模型的图像提示能力。IP-Adapter 自 9 月 8 日发布后收到广泛好评，因为它在使用图生图作为参考时，对画面内容的还原十分惊艳，效果类似 Midjourney 的 V 按钮。IP Adapter比reference的效果要好，而且会快很多，适配于各种stable diffusion模型，还能和controlnet一起用。叠加之后， 这个人脸的角度也相似了吧。

当然带来的效果质量，只能说中等。当然配上强化要求的关键字，可以针对不同的图片和区域，强化某些部位的颜色展示。就需要你的才华的发挥了。实际上我们针对颜色的处理可以使用语义分割，或者边缘检测后单独处理，reColor相对方便的内置算法，帮我们自动的一体化处理。ControlNet中的 Tile/Blur 中有个上色的与预处理器。重要心得， 模型的不同对于色系影响不是非常大。这里我给的是一张老建筑的照片。你可以给一张黑白色的人物照片，可能效果更明显。比如下图，我用几个高质量的。需要注意，此时的模型要选择。

开源状态：是否为开源，影响灵活性和社区贡献。成本：是否涉及使用费用，特别关注云服务的定价模型。扩展性：数据库处理向量数量的能力，分为高（数十亿向量）和非常高（数十亿以上）。性能：包括查询时间和索引时间，基于行业基准测试如 ANN Benchmarks 和 VectorDBBench。支持数据类型：除了向量和元数据，是否支持其他类型如 JSON、数组等。ML 集成：是否支持与机器学习框架（如 PyTorch、TensorFlow）和嵌入模型（如 Hugging Face、OpenAI）的集成。易用性。

上一节中我们介绍了ControlNet中使用OpenPose插件的能力本节我们介绍如何用ControlNet来制作艺术性的二维码。大家学习过我们的初级课程的化，应该还记得有标准二维码制作的课程。具体见：4-23 QRTookit 二维码生成。本文在这个基础之上使用一些不同的方式，比如LoRA模型的套用，卡通大模型的混合等实现更加艺术呈现的艺术二维码。把传统古板的不那么好看的传统二维码，变成有各种色彩和有趣画面的艺术二维码总是一种更有趣，更好的选择。

当然带来的效果质量，只能说中等。当然配上强化要求的关键字，可以针对不同的图片和区域，强化某些部位的颜色展示。就需要你的才华的发挥了。实际上我们针对颜色的处理可以使用语义分割，或者边缘检测后单独处理，reColor相对方便的内置算法，帮我们自动的一体化处理。ControlNet中的 Tile/Blur 中有个上色的与预处理器。重要心得， 模型的不同对于色系影响不是非常大。这里我给的是一张老建筑的照片。你可以给一张黑白色的人物照片，可能效果更明显。比如下图，我用几个高质量的。需要注意，此时的模型要选择。

所谓绘图和造字，核心原理也是将文字或者绘图以一个参照图的形式，中间使用ControlNet对应的分割，影响逻辑，和对应的算法。影响到最终生成的图的目的。ControlNet中打开Canny边缘检测，选择我们手写的那张图作为边缘检测的参考。这种特殊的使用，实际上针对实际的业务需求有更明确的效力。上一节我们介绍了如何在ControlNet下制作三维重建。这一节我们主要介绍ControlNet中的绘图与造字。RA/SD 衍生者AI训练营。我们手写一个字，像这样。

最常用的需求就是我们通过某些设备将某些古建筑扫描成点云数据，或者我们去登月后获得的数据都是2D平台的。此时我们需要通过三维重建的方式，以一种3D的方式呈现这些内容的能力。提供了一张风景图，然后选择对应的大模型后，用图生图，通过2个ControlNet 单元控制，实现开通三维重建。而RA/SD以其强大的图片处理能力，也能将2D平面的图形，做初类似2.5D的类三维视角的图片。就是将2D的内容，或者3D的场景但是2D数据的内容，还原到3D的需求。2个Unit的控制，一个用深度图，一个用法线图。

通常我们可以比较粗鲁的在关键词中，输入Unreal Engine等著名三维引擎的名字，让RA/SD生成更加自动添加光线的内容。如果想对生成的图片进行打光，可以在 img2img 模式下，把光源图片上传到图生图区域，ControlNet 中放置需要打光的原图，ControlNet 模型选择 Depth。但是在AIGC图片的生成环节相对控制较少，但是为了要生成品质好的作品，光源的控制，光线的控制和处理，始终是一个重要的内容点。光源的控制，我们以前在三维场景的设计或者三维引擎的使用中，会经常使用。

Reference参考图的方式，真的就是像名字说的一样。比如参考人物的姿势形态，这个就非常有用。毕竟OpenPose控制的太细节了，如果有现成的图，可以直接参考使用。结果用ControlNet 设置的reference预处理器模式，同时给的参考图是一个这么严肃的人垂直走路的样子， 哈哈。所以最终出来的小狗，在草地上这种样子的行走。可以理解为垫图，AI 会根据上传的图片进行物体和风格的参考进行重新绘制，也可以通过关键词描述改变物体动作或形态。本节 主要介绍ControlNet中的reference参考图。

反面关键词：lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry。主要的设计思路和方式是通过另外一个图片的影响，使用某种算法参与混合的效果，最终生成我们要的复杂需求图片。

和没有使用 ControlNet控制的直接重绘对比下图。尤其我们使用Depth深度图，感觉立体效果和融合效果，差很多。我们之前的基础课程中，也有用图生图的能力，见该课程 3-5 局部重绘操作实现人物换脸。设置2道ControlNet控制， Unit0 控制 重绘， Unit1 ，控制使用深度。总体来看，通过使用ControlNet多Unit的控制，使得重绘的效果更好了些。模型文件：control_v11p_sd15_inpaint.pth。使用 Inpaint 控制稳定的扩散。具体的大家自行判断吧。

与官方的 Instruct Pix2Pix 不同，该模型是用 50% 指令提示和 50% 描述提示进行训练的。例如，“一个可爱的男孩”是描述提示，而“让男孩可爱”是指令提示。有点和Reference类似，不同的是一个通过图片，一个是通过文字，或者说指令。但最终形成的都是RA/SD处理过程中参考对象的内容或者数据。实际上通俗的理解，我们可以认为，编写一个指令，去影响这个最终图片。可以看到，大火的结构样子还是和这个建筑物有点关系的。另外，“将其变成 X”之类的指令似乎比“将 Y 变成 X”效果更好。

春水满四泽，夏云多奇峰。 秋月扬明辉，冬岭秀寒松。