kittyzc的博客

LEANN是一款嵌入式轻量级向量数据库，专为本地RAG应用设计。它支持多种嵌入模型和LLM后端，包括sentence-transformers、OpenAI、Ollama等，能高效索引和搜索数百万文档，相比传统向量数据库节省97%存储空间。基础功能包括索引构建、语义搜索和基于文档的对话，支持代码感知分块和交互式查询。LEANN无需GPU集群，可在个人电脑上运行，提供类似SQLite的轻量级体验。

【代码】深度学习系列86：funasr。

本文介绍了三个SQLite扩展插件：sqlite-ai、sqlite-vec和sqlite-rag。sqlite-ai支持通过SQL操作大语言模型，提供模型加载、上下文创建和对话响应功能。sqlite-vec实现向量检索功能，支持文本嵌入存储和相似度查询。两者都可通过pip安装，并提供了完整的Python使用示例，包括模型加载、文本嵌入处理和相似度搜索等操作流程。这些插件将AI能力直接集成到SQLite数据库中，为开发者提供了便捷的AI功能调用方式。

Kokoro TTS 以其轻量级设计和高效性能脱颖而出。作为一个仅有82M参数的文本转语音（TTS）模型，Kokoro 在 TTS Spaces Arena 中击败了许多参数规模更大的竞争对手，成为语音合成领域的一颗新星。

本文介绍了基于LLaMa架构的语音合成模型及其中文使用方法。该模型采用WavTokenizer音频标记化技术，v2/v3版本分别使用CTC对齐和Whisper实现文本-音频精确映射，支持20多种语言。针对中文使用，需修改whisper-timestamped库配置并调整音频处理代码。使用流程包括：创建接口、生成/加载说话人配置文件、执行语音合成并保存输出。示例代码演示了从文本到语音的完整生成过程，支持自定义说话人音色。该方案为中文语音合成提供了高效解决方案。

JoyAgent-JDGenie是一款支持自定义扩展的多智能体框架。本文介绍了手动安装部署的步骤：1）前端UI通过start.sh启动；2）工具服务需配置.env文件并修改搜索接口代码；3）后端服务通过修改application.yml并执行build/start脚本；4）MCP服务需配置服务器地址并启动客户端。用户可通过实现BaseTool接口创建自定义智能体，如天气查询Agent，并注册到框架中使用。该框架支持灵活扩展，二次开发者可根据需求添加新功能模块。

MCP是一种开放协议，用于构建AI智能代理和工作流，采用客户端-服务器架构。本文演示了MCP的基本使用方法：1）服务端通过@mcp.tool装饰器注册服务（如query_hour时间查询工具），并运行FastMCP服务器；2）客户端通过ClientSession连接服务器，利用LLM处理用户查询并调用相应工具。示例展示了完整的交互流程，包括工具发现、参数解析和结果处理，最终返回给用户。MCP协议实现了AI模型与本地/远程资源的安全交互，为构建复杂应用提供了标准化框架。

github地址在https://github.com/microsoft/PIKE-RAG。

star数14.1k。使用pip安装pandasai_local和pandasai。

")k: int。

tts为text-to-speech，asr为Automatic Speech Recognition，即speech-to-text。

使用queue，producer不断向queue中添加audio，然后consumer不断从queue中消费audio。下面的样例使用melo来生成语音，需要先下载melo.tts。

vanna是一个可以将自然语言转为sql的工具。执行下面的代码运行图形界面。

一个人说一句话，其 waveform 可以很不一样，但是 spectrogram 基本上会相似，甚至有人可以通过 spectrogram 来判断说话的内容。语谱图的横坐标是时间，纵坐标是频率，坐标点值为语音数据能量。由于是采用二维平面表达三维信息，所以能量值的大小是通过颜色来表示的，颜色深，表示该点的语音能量越强。DFT（Discrete Fourier Transform）是将连续音频信号转换为离散频域表示的一项重要操作。DFT是一种数学变换，用于将时域信号（如音频波形）转换为频域表示。

项目地址https://github.com/RapidAI/RapidStructure?

坑非常多，清华源阿里源都不行。

原图为：https://www.95598.cn/omg-static/99107281818076039603801539578309.jpg。

ts文件夹下，从launcher.py进入，执行jar文件。入口为model_server.py的start()函数。

为了让模型最终能够部署到某一环境上，开发者们可以使用任意一种深度学习框架来定义网络结构，并通过训练确定网络中的参数。之后，模型的结构和参数会被转换成一种只描述网络结构的中间表示，一些针对网络结构的优化会在中间表示上进行。最后，用面向硬件的高性能编程框架(如 CUDA，OpenCL）编写，能高效执行深度学习网络中算子的推理引擎会把中间表示转换成特定的文件格式，并在对应硬件平台上高效运行模型。return out。

tresponse = requests . post ( url , headers = headers , json = data , verify = False )if response . status _ code ==200:return response . json ()[" choices “][0][” message “][’ content ‘]else :return “我没有听清”async def read ( text ):tts = edge _ tts .

官网为：https://idm-vton.github.io/

从inference.py函数进入，主要流程包括：1） 使用cv2获取视频中所有帧的列表，如下：2）定义Croper。核心代码为69行：full_frames_RGB, crop, quad = croper.crop(full_frames_RGB)。其中crop是头肩位置，quad是人脸位置，得到的新的full_frames_RGB为人脸区域的截图。5）进行图像增强，使用的是GPEN-BFR-512模型，图片变高清了：6）接下来加载wav语音文件，并拆成块7）进行lipSync，如下图。

总体步骤差不多，但是相比于openHeygen要简化很多第一步，加载视频/图片和音频/tts。同样是用melspectrogram将wav文件拆分成mel_chunks。第二步，调用face_detect模型，给出人脸检测结果（可以改造成从文件中读取），包装成4个数组batch：img_batch(人脸)，mel_batch(语音)，frame_batch(原图)，coords_batch(坐标)第三步，加载模型，进行计算。这个模型目前看下来就是简单的resnet，没有transfomer。

使用sherpa的参考代码如下，模型下载地址见https://hf-mirror.com/csukuangfj/vits-zh-aishell3。

agent的核心是其代理协同工作的能力。每个代理都有其特定的能力和角色，你需要定义代理之间的互动行为，即当一个代理从另一个代理收到消息时该如何回复。agent目前大多使用openai标准接口调用LLM服务，说明如下。标准接口示例如下，其中role包括：system（设定了 AI 的行为和角色，和背景），user（我们输入的问题或请求），assistant（自动生成）

git地址为：https://github.com/ggerganov/whisper.cpp。

包含理解和分类两大类问题，对应的就是BERT和GPT两大类模型；而交叉领域则对应T5。

使用google加的tesseract，效果不错。首先安装tesseract，在mac直接brew install即可。

把梯度放在cpu上保存和计算。

MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型，主体语言模型 MiniCPM-2B 仅有 24亿（2.4B）的非词嵌入参数量。

这应该是最快的使用方式了。安装，接着安装ffmpeg，随后就可以使用了。

总体有两个方向：模型优化 / 框架优化。

打开浏览器访问 http://localhost:8080/ ，建立一个新项目。此时不要着急save，需要先点击后面的Labeling Setup连接第一步的目标检测服务。看到如下 Connected 就说明后端推理服务添加成功。在mmdetection文件夹中，执行。另开一个terminal，执行。

固定大部分参数，仅训练少量的参数来驱动大模型。下图是delta-tuning和fine-tuning的区别。左边的fine-tuning中，每个任务都全量微调，得到一个新的模型，如果有100个任务，那么最终会给出100个数十G的大模型；但是在delta-tuning中，PLM参数大部分是固定的，每个任务只需要训练和记录有修改部分的参数（delta-object）即可。delta-tuning分为以下三大类：增加额外参数（A）、选取一部分参数更新（S）、引入重参数化（R）。

1）FP：False Positive，即真实情况中没有，但跟踪算法误检出有目标存在。2）FN：False Negative，即真实情况中有，但跟踪算法漏检了。3）IDS：ID Switch，目标ID切换的次数。4）MOTA: Multiple Object Tracking Accuracy，多目标跟踪准确度。5）IDF1: ID F1得分，正确身份标签赋予的检测框与平均ground truth和计算的检测数量的比值。6）MT：Mostly Tracked，大多数目标被跟踪的轨迹数量。

Optimum是huggingface transformers库的一个扩展包，用来提升模型在指定硬件上的训练和推理性能。Optimum支持多种硬件，不同硬件下的安卓方式如下：如果是国内安装的话，记得加上-i https://pypi.tuna.tsinghua.edu.cn/simple。hugging face目前是被墙的状态，在使用示例代码时，需要将模型离线下载下来使用。

Apple的Metal Performance Shaders（MPS）作为PyTorch的后端来加速GPU训练。MPS后端扩展了PyTorch框架，提供了在Mac上设置和运行操作的脚本和功能。MPS通过针对每个Metal GPU系列的独特特性进行微调的内核来优化计算性能。新设备将机器学习计算图和原语映射到MPS提供的MPS Graph框架和优化内核上。使用m1 pro 16-core gpu进行测试。...

一般地，deepfake可划分为如下四类：重现（reenactment），替换(replace)，编辑(editing)和合成(synthesis)。针对人脸的4种类别展示如下：重现和替换的区别是：重现相当于安吉拉宝贝上阵，但是脸部表情按照替身去演绎；替换则相当于替身直接上阵，然后换成安吉拉宝贝的脸。核心技术：第一种是使用自动编码器然后操纵中间的latent向量来达到目的；第二种是使用GAN进行迁移。各项任务需要一些额外的模块。我们以First Order Motion Model for Ima

首先训练数据使用了2个first-order：最后一步加入了振铃和过冲现象：将CNN用到超分领域的第一篇文章：论文中卷积核和通道数的实验设置为：SRGAN将GAN引入超分领域，用于解决如下问题：1）高频细节(high-frequency details) 的丢失，整体图像过于平滑/模糊；2）与人的视觉感知不一致，超分图像的精确性与人的期望不匹配（人可能更关注前景，而对背景清晰度要求不高）。提出如下改进：模型结构如下，Generator网络是SRResNet，论文使用了16个residual

gan的一个问题是很难生成大尺寸的图片，直到2018年，NVIDIA首次用ProGAN解决了这一挑战。它首先用极低分辨率的图像（如4×4）训练生成器和鉴别器，然后每次增加一个更高分辨率的层。最初的输入向量shape为[512,4,4]，最后输出为[3,1024,1024]，一共是18层：18 = 1（初始进入的conv层）+8 * 2（每一个块包含的两个卷积层，将vector从[4,4]变到[1024,1024]）+1（to_rgb层，将通道变成3）styleGAN是proGAN的升级版：1）使用8