m0_57057282的博客

1.​​​​​​​​目标：对文本进行准确分类衡量：分类准确率​​目标：将无标签文本分组为有意义类别衡量：聚类质量指标（如轮廓系数）​​目标：判断文本对的标签关系（如是否相似/相关）衡量：分类准确率、F1值​​目标：量化句子对的语义相似程度衡量：模型生成的向量余弦相似度与人工标注的相关性​​目标：根据查询从语料库中匹配相关文档衡量：以nDCG@10为核心指标（兼顾排序质量与相关性）​​目标。

自定义 RL 环境类（继承gym.Env状态（State）：当前 query + 候选 chunk 向量动作（Action）：选择哪些 chunk 用作 context奖励（Reward）：基于生成答案的准确性、相关性评分。

1）打开cherry studio,设置—模型服务—ModelScope魔搭—获取密钥，填入密钥即可完成魔搭社区的模型服务配置。然后一键运行：uvx mcpo --config mcpo.json --port 8002。2）配置小红书server和文生图server,设置—MCP服务器—编辑MCP配置。输入验证码,(记住验证码一定要再黑窗口输入,不要直接在页面登录)就会自动登录。再来一遍验证，如果显示“使用cookies登录成功”就登陆成功啦。1）原生代码调用小红书的mcp服务实现自动发布。

mcpo出现的意义非常好，节省了我们配置的时间，从此，我们就可以像访问接口一样使用mcp服务了。找一个mcp服务使用就行，我这里选的是爬虫。然后写个py脚本测试一下。4.此时在浏览器打开。就可以看到接口文档了。

1）模型下载，从魔塔社区直接下载就可，注意模型放的位置，不然存储空间会满导致中途停止下载。这里的多卡环境我是租的autodl的两个3090，实现单机多卡的环境。1.部署Qwen-72B-Chat-Int4。2）conda环境autodl会自己有。3）本地运行（改一下你本地的路径就行）4）vllm多显卡启动命令。

这里我的配置内容如下config.yaml(因为我是调用的符合openai格式的大模型，所以我没改，如果要是别的大模型的话，需要自己再做兼容)这个画像你可以通过读取数据库中对应的用户id加入到任何一个你自己的社交平台，岂不是美滋滋。这里的助手回应没有处理，就是重复，你也可以换成大模型，这个不重要，重要的是看画像。在图中框出来的地方做兼容，openrouter.py是我新加的。1.下载项目的源代码，我们要先启动后端，用docker启动。后端启动成功，然后我们测试一下，访问，3.写个小demo利用起来。

4.动态内容抓取(模拟点击“Load More”按钮加载更多内容，再提取 Markdown 文本)6.链接智能提取(过滤外部和社交媒体链接；提取页面中的站内链接并打印前 5 条（链接地址+文字）。8.使用 hook 自定义浏览器行为(方便克制反爬虫)9. 多页爬取保持 session（分页抓取）5.内容过滤与 Markdown 精炼。10.提取结构化数据（非 LLM）11.使用大模型抽取结构化信息。

----------上面只是一个最简单的clinet实例，并没有连接server端，只是一个demo，下面才是一个完整的demo实现clinet端和server端-----------------------------------------------------------------------------3）clinet端代码连接使用server端提供的mcp服务（这里的大模型用的是github上的key调用的gpt-4o，也是免费的，key自己获取）1)下面的代码实现了论文搜索的功能。

你以为这就完了吗，不，上面的内容没有一点挑战性，有挑战的是我们本地部署源代码，来替代调用爬虫官网获取的api的作用（你是否还在为大模型的key而感到忧伤和囊中羞涩，openrouter.ai，目前可免费白嫖多个大模型，代码如下。最后得到outputs目录（要注意免费api的速率限制）然后是爬虫代码（下面这段代码就是实现的官网的功能。还有一个用上面免费的大模型来进行对网页的分析。然后得到结果，将结果保存到txt中。8）加入ai功能实现官网的能力。会出现hello world。5）启动服务，第一个服务。

需要了解的前提：1将文本转换为token id作输入用到的库!2训练所需的环境验证gpu是否可用3数据集这个下载的训练集很大，10g左右，我们用不了这么多，处理一下先放到文件夹里面打印一下数据集内容切分数据集，只要其中的一部分，训练集留60万条，测试集留10万条记得将data文件夹中截断之前的数据集删掉将数据集转换为h5格式查看一下h5的内容4介绍transformer流程输入的 tokens 会被转换为 embeddings，并与位置（position）信息相结合。模型包含 64 个。

3）阿里云这个环境下载openai的数据集会报错，需要在本机提前下载下来，然后压缩，将压缩后的main弄到py文件同级目录下。进行参数高效微调（PEFT，Parameter Efficient Fine-Tuning。1.用colab的云服务器进行训练，但是这个会断，不稳定（优点是环境安装很简单，不会报错）补充一下，在阿里云环境中，可以将conda环境加入jupyter，这样就可以一块块运行了。，以优化 GPU 内存占用，并加速推理。，包括标准化问题和答案，使其适用于。2）下载代码中用到的库。

10. 从pdf提取的文本中找到与问题最相似的前两个文本（通过向量找）8.计算两个向量（用户问题和检索到的文本块）的相似度。12.结合上步给出的答案以及真正的答案进行打分。与每个 chunk 的向量计算余弦相似度。4.将上个步骤提取的文本按固定长度分段。6.从指定pdf文件中提取文本内容。返回最相关的文本块（用于回答生成）11.定义提示词实现对问题的回答。相似度排序 → 选前 k 个。5.初始化openai实例。生成 query 向量。7.将文本转换为向量。用户输入 query。

需要注意的是：这里claude操纵的是自己的云服务器，不能访问本地url。

就是相当于你不用编写选择器了，直接通过文本完成测试，这其中如果想要彻底自动化测试一个项目，需要保证大模型生成的文本ok，而且大模型能够通过文本找到对应的元素。const firstResultTitle = await auto('获取第一个搜索结果的标题文本', { page, test });await auto('在搜索框中输入"Playwright测试"', { page, test });await auto('点击搜索按钮', { page, test });// 获取第一个搜索结果的标题。

执行流程和流程执行组件的封装。多个Chain可以组合成更复杂的Chain，用来完成复杂任务。

项目clone后，修改配置，项目根目录config.toml 填写对应的大模型的key就行。前端项目，ui文件夹下的.env文件填写。大模型的key可以用groq的，免费（前后端项目各npm i 安装依赖。

【代码】调用gpt接口实现访问图片。

【代码】longchain调用glm-4。

3）读取pdf和docx。

步骤很详细，一步一步的走就行，难的是个人服务器部署，响应token。这里我用的是flask框架，代码如下。

将下面的代码放到一个新建的py文件，并且运行!chainlit run ui.py --host 0.0.0.0 --port 5000（在ngork后运行）在colab可以用；同时执行多个命令，但是要注意；4）运行ngork（先运行这个，在运行上面的命令）1）colab准备环境，我这里用的是l4。touch a.py。2）安装对应的python库。

使用whisper语音转文字的demo。完整ai语音助手的demo。

3)query展示了检索的细节，可以选择几条相似的数据。

然后写代码，记得在.env写入对应的key值。streamlit run app.py打开。下面是streamlit版本。用的是126邮箱，开启服务。

RAGAs为RAG系统的评估提供了一种灵活且高效的方法，尤其是在缺乏人工标注数据的情况下。通过利用大语言模型的能力，RAGAs能够在多个维度上评估检索和生成的质量，从而帮助开发者优化和改进他们的RAG应用。

export LIVEKIT_URL=http://192.168.1.138:7880/（是启动的livekit的服务ip+端口号）export DEEPGRAM_API_KEY=(去官网创建就行)export OPENAI_API_KEY=（同上）启动成功后访问页面192.168.1.138:7800。2）根据下面的教程启动前端（next）和后端服务。1）根据上面的教程启动livekit服务。

3） VoiceTranscriber 该工具会将语音文件的内容批量转换为带时间戳的文本并以字幕文件的形式保存。1）AudioProcessor 该工具会将媒体文件批量转换为音频文件然后自动切除音频的静音部分。2）VoiceIdentifier 该工具会在不同说话人的音频中批量筛选出属于同一说话人的音频。4）VoiceConverter 该工具会将文字转为语音并生成音频文件。

but，你发现，这只是第一步，真正的难点在于完成.env中各个key的配置。首先我们来到这个据说50行代码就可以创建个人语音助手的github地址。一个提供大模型api-key的平台，类似于altogether。，主要用于构建高质量的音视频通话、实时数据传输和互动应用。这里需要申请，需要我用openai的key代替使用。后端python main.py dev。除了方便以外的大优势就是它提供了丰富的。一个最快的文本转语音模型Sonic。是一个开源的实时通信平台，基于。，支持多种平台，包括。

3..env.example改为.env。

请把对于问题'{query}'的答案从里面提取出来，如果里面没有相关信息的化就说“找不到”template = '''在>>> 和

配置文件中fp16设为false bfp16设为true。4.用Axolotl 和生成的数据集微调qwen。2.autogen studio 安装和启动。3.AutoGen+Marker生成数据集。从huggingface下载模型并部署。qlora-fsdp.yaml配置。如果数据集内容太少，需要将。导入模型刚才运行的模型。

这里我是将chat.py代码放到component文件夹下了，所以untils，而不是component.utils。在训练中，我们只保存adapter的权重，不保存合并后的模型权重。qwen-7b-sft-qlora.json内如如下。adapter与base model进行权重合并。environment.yml内容如下。train_qlora.py内容如下。6.docker打包conda环境。创建dockerfile。1.conda环境准备。6.合并后的模型推理。

稍后我会更新如何用本地大模型来完成这个过程。运行docker，获得向量数据库。运行下面的代码将pdf向量化。运行代码，获得你先要的提示词。

sd-webui-controlnet不显示，报错ImportError: cannot import name 'load_file_from_url' from 'modules.modelloader'1）首先会遇到安装pip install -i https://pypi.tuna.tsinghua.edu.cn/simple basicsr==1.4.2卡住的问题。3.安装依赖（-i https://pypi.tuna.tsinghua.edu.cn/simple 清华源安装）

库中用于特定任务（例如微调）的训练类。代码配置了训练参数、数据集和模型，并为训练过程定义了一些关键设置。3）应用LoRA技术来减少模型训练和推理时的内存使用，同时保持模型性能。进行模型推理，生成一个给定指令的响应。9）推送模型到hugging-face。4）加载一个数据集，并规范格式。实例，用于训练一个语言模型。使用unslothai微调。10)加在本地模型进行推理。

这里我们进一步尝试将embedding模型也换为本地的，同时熟悉一下流程和学一些新的东西1.环境还是用之前的，这里我们先下载LLM然后你会在下载nomic模型的时候崩溃，因为无法搜索，无法下载解决办法如下按照上面的教程依旧无法下载模型，但是可以搜索了，没什么用直接hugging face下载，然后导入llm models文件夹注意有格式要求将模型放在这个文件夹里才能被识别，然后加在模型然后修改配置。

好久没有体验新技术了，今天来玩一下GraphRAG顾名思义，一种检索增强的方法，利用图谱来实现RAG。

直接拿下需要有key。

论文提出了一种称为混合智能体(Mixture-of-Agents,MoA)的方法,利用多个大语言模型(LLM)的集体智慧来提高自然语言理解和生成任务的性能。MoA采用了分层结构,每一层包含多个LLM智能体。每个智能体都将前一层所有智能体的输出作为辅助信息来生成自己的回答。通过迭代地综合和优化回答,MoA可以充分利用不同LLM的独特优势。实验发现,即使其他模型提供的辅助回答质量较低,LLM也倾向于生成更好的回答,体现出LLM具有内在的协作性。MoA正是利用了这种协作性。

5）使用pyautogen完成用glm进行高考作文编写，并用gpt3-5评审的流程。8） chatTTS调用autogen的代码。3）用vllm以openai接口的形式运行。6)本地部署chatTTS（文字转语音）7）测试chatTTS。2）去魔塔社区下载模型。