深度学习机器

Lancedb是一个用于人工智能的开源矢量数据库，旨在存储、管理、查询和检索大规模多模式数据的嵌入。Lancedb的核心是用Rust编写的，并构建在Lance之上，专为高性能 ML 工作负载和快速随机访问而设计。

虽然原始论文涉及到的知识包括随机分布，马尔科夫链等，而且推导过程极其复杂，但本文不会深入去推导相关的公式，而是把重心放在思考这个过程以及对其中发现的一些问题进行探讨。，因为一开始图片质量很高，加很小的噪声就发生很大的变化，而越后面的图片含有噪声越多，失真越严重，必须加更大的噪声才能引起较大变化。如果玩过文生图的话就能发现，选择了一定的采样步数后，前几步图片变化非常大，从模糊的噪声逐渐出现轮廓，后面几步基本不变，只是一些细节发生了变化。，然后我们用来进行训练一个模型，拟合训练数据的分布之后，就可以预测出。

前段时间，一款AI视频应用及其创始人刷爆了科技圈，顺便还带火了自家公司的股票。这是一家名为pikaai的初创公司，他们的主打产品是一款文本生成视频应用Pika 1.0。对于AI生成图片大多数人已经不陌生了，甚至已经用的非常熟练，其中不乏常见的Stable Diffusion以及Midjourney等各种模型和产品。反观文生视频模型及其衍生产品却进展迟缓，尽管几家当红的公司宣传自己的产品非常厉害，但实际上都面临或多或少的问题。

Outpainting（图像外部填充）是一种图像处理技术，与Inpainting（图像内部填充）相反，可以根据现有图像的内容、风格和上下文，合成与原始图像相协调的新内容，从而扩展图像的视觉范围。通俗地说，Outpainting也属于图像编辑，只是把Mask区域改成往外扩展而已。

在图生图中，使用Stablediffusion的pipeline来构建Webui应用，如果直接把参数传给pipeline是无效的。__call__参数中虽然有单独的weight和height这两个参数，但最终图像尺寸实际上是由传入图片的尺寸决定的，因此需要定义函数来做原始图片的尺寸变换，达到用参数来控制输出图像尺寸的目的，这可以通过resize调整图片尺寸大小来实现。上传一张初始图片图片宽度和高度按照比例调整，缩放到1.2倍，高度和高度同步变成1232。

Huggingface的实现了端到端的文生图功能，用户输入文字，即可得到最后的图片。但是在某些场景下，如果需要获取中间过程的图片，用于优化长时间等待过程的用户体验，就只能通过修改源码进行实现了。

本文实验了动态加载Lora中出现的一些现象，并分析了底层的原理