mingupup的博客

AI模型路由，模型的能力有大小之分，有些简单任务，能力小一点的模型也能很好地完成，而有些比较难的或者希望模型做得更好的，则可以选择能力强的模型。可以降低AI模型的使用成本，毕竟能力强的模型会更贵一点，省着用挺好的。当你的提问中包含一个ServiceId的时候，就会选择那个服务ID对应的模型进行回复，如果不包含就选择第一个服务ID对应的模型进行回复。实际上这样使用，很容易让AI迷惑，因为我们总是要带上一个ServiceId，如果让AI根据用户的提问，自己决定用哪个模型是更好的。

我觉得将日常生活中一些简单重复的任务交给AI Agent，是学习构建AI Agent应用一个很不错的开始。本次分享我以日常生活中一个总结论文的简单任务出发进行说明，希望对大家了解AI Agent有所帮助。任务可以是多种多样的，真的帮助自己提升了效率，那就是一个很不错的开始了！！我的这个简单任务是这样的，有一篇文献，如下所示：我想要对该文献进行总结，然后将md格式笔记保存。

上一篇文章TesseractOCR-GUI：基于WPF/C#构建TesseractOCR简单易用的用户界面中我们构建了一个方便使用TesseractOCR的用户界面，今天构建一个类似的界面，使用Semantic Kernel接入视觉模型，测试一下用视觉模型做OCR任务的效果。在之前的文章使用Tesseract进行图片文字识别的总结中说了使用VLM做这个任务的缺点，经过测试之后，发现确实存在。

我上传这个文档之后，提问文档中的内容，如下所示：那么我们自己该如何实现这个功能呢？我们之前接触过RAG，那可以用来应对文档内容超出模型上下文的情况，但是很多时候，我们只是上传一份简单的文档，文档内容并不多，而且也不需要进行存储，那么这时候，就可以直接读文件内容，不用RAG。以下是自己实现的效果：也实现了同样的效果。

之前使用PaddleOCR的时候，我已经在电脑上安装了一个虚拟环境，因为需求比较简单，就是将图片进行文字识别之后返回文本就行了，因此今天玩个不一样的，不用.NET绑定，直接调用Python脚本就好了。这样可以用于拍照向AI提问的场景，我自己也有这方面的需求，因此动手实践了一下。现在就需要与大语言模型结合起来了，就是将识别出来的文字，丢给大语言模型。那么再拆解一下任务，我们需要在命令行中传入一个参数，该如何实现呢？获取到了Python脚本输出的值。现在图片文字识别的部分已经搞定了。

SimpleAIAgent是基于C# Semantic Kernel 与 WPF构建的一款AI Agent探索应用。主要用于使用国产大语言模型或开源大语言模型构建AI Agent应用的探索学习，希望能够帮助到感兴趣的朋友。接下来我想分享一下我的AI Agent应用实践。

最近AI搜索很火爆，有Perplexity、秘塔AI、MindSearch、Perplexica、memfree、khoj等等。在使用大语言模型的过程中，或许你也遇到了这种局限，就是无法获取网上最新的信息，导致回答的内容不是基于最新的信息，为了解决这个问题，可以通过LLM+搜索引擎的方式实现。以我之前开源的一个简单项目为例，如果直接问一般的大语言模型是不知道的，如下所示：对比可以联网的回答：PerplexitykhojKimi那么我们如何自己实现类似的效果呢？

SimpleTranslationAIAgent是一款基于C#与LLM通过简单对话即可实现文件到文件的翻译任务的简单应用，基于WPF与Semantic Kernel构建。该软件是MIT协议完全开源免费的，但是调用LLM的API可能需要费用，但是没关系，赛博菩萨硅基流动有免费的模型可调了。这个Translation AI Agent只是一个简单的AI Agent示例应用，可能很多人都不需要它。

当应用比较简单时，可能免费的模型就可以了，但是当应用比较复杂时，可能需要更强的模型才行了。开源出来主要是为了感兴趣的同学可以在看源码之后，也可以使用C#+LLM构建出更有意思更能提高自己工作效率的自己专属的AI Agent应用！该软件是MIT协议完全开源免费的，但是调用LLM的API可能需要费用，但是没关系，赛博菩萨硅基流动与智谱AI等都有免费的模型可调了。如果一个模型返回出错，可以重试，重试不行就可以换个模型试试了，越强的模型，成功的几率越高。

函数调用允许您将模型如gpt-4o与外部工具和系统连接起来。这对于许多事情都很有用，比如为AI助手赋能，或者在你的应用程序与模型之间建立深度集成。如果您了解或者使用过Semantic Kernel可能会发现除了OpenAI支持Function Calling的模型之外，自动函数调用好像并不好用，国产大模型几乎都不能使用，由于想解决这个问题，在GitHub上找到了一个大佬的方法。

Ollama是一个开源项目，专注于开发和部署大语言模型，特别是像LLaMA这样的模型，用于生成高质量的文本和进行复杂的自然语言处理任务。Ollama的目标是让大语言模型的运行和使用变得更加容易和普及，而无需复杂的基础设施或深度的机器学习知识。GitHub地址：https://github.com/ollama/ollamaSimpleRAG是基于WPF与Semantic Kernel实现的一个简单的RAG应用，可用于学习与理解如何使用Semantic Kernel构建一个简单的RAG应用。

基于优秀的开源基础模型，提供高性价比的 GenAI 服务。不同于多数大模型云服务平台只提供自家大模型 API，上架了包括 Qwen、DeepSeek、GLM、Yi、Mistral、LLaMA 3、SDXL、InstantID 在内的多种开源大语言模型及图片生成模型，用户可自由切换适合不同应用场景的模型。更重要的是，SiliconCloud 提供开箱即用的大模型推理加速服务，为您的 GenAI 应用带来更高效的用户体验。对开发者来说，通过 SiliconCloud 即可一键接入顶级开源大模型。

北京智谱华章科技有限公司（简称“智谱AI”）致力于打造新一代认知智能大模型，专注于做大模型的中国创新。公司合作研发了中英双语千亿级超大规模预训练模型GLM-130B，并基于此推出对话模型ChatGLM，开源单卡版模型ChatGLM-6B。同时，团队还打造了AIGC模型及产品矩阵，包括AI提效助手智谱清言（chatglm.cn）、高效率代码模型CodeGeeX、多模态理解模型CogVLM和文生图模型CogView等。

OpenAIHttpClientHandler可以在此处查看：https://github.com/Ming-jiayou/AvaloniaChat/blob/main/src/AvaloniaChat/Model/OpenAIHttpClientHandler.cs。创建Kernel的两种方式可以在此处查看：https://github.com/Ming-jiayou/AvaloniaChat/blob/main/src/AvaloniaChat/ViewModels/MainViewModel.cs。

SimpleRAG是基于WPF与Semantic Kernel实现的一个简单的RAG应用，可用于学习与理解如何使用Semantic Kernel构建RAG应用。GitHub地址：https://github.com/Ming-jiayou/SimpleRAG如果对您有所帮助，点个star✨，就是最大的支持😊。

在看英文文献的过程中，比较喜欢对照着翻译看，因此希望一边是英文一边是中文，虽然某些软件已经自带了翻译功能，但还是喜欢大语言模型的翻译，但每次都要将英文复制粘贴过去还要自己手动添加prompt，还无法对照着看，因此自己基于Avalonia与Semantic Kernel开发了这款解决自己这个需求的软件，开源出来每个人都可以免费使用，希望能帮助到有同样需求的人。GitHub地址：https://github.com/Ming-jiayou/AvaloniaChat。即可从源码成功构建并运行。

AvaloniaChat是一个基于大语言模型用于翻译的简单应用。在看英文文献的过程中，比较喜欢对照着翻译看，因此希望一边是英文一边是中文，虽然某些软件已经自带了翻译功能，但还是喜欢大语言模型的翻译，但每次都要将英文复制粘贴过去还要自己手动添加prompt，还无法对照着看，因此自己基于Avalonia与Semantic Kernel开发了这款解决自己这个需求的软件，开源出来每个人都可以免费使用，希望能帮助到有同样需求的人。

一个使用大型语言模型进行翻译的简单应用。如果对你有所帮助，点个Star✨，就是最大的支持😊。

基于优秀的开源基础模型，提供高性价比的 GenAI 服务。不同于多数大模型云服务平台只提供自家大模型 API，上架了包括 Qwen、DeepSeek、GLM、Yi、Mistral、LLaMA 3、SDXL、InstantID 在内的多种开源大语言模型及图片生成模型，用户可自由切换适合不同应用场景的模型。更重要的是，SiliconCloud 提供开箱即用的大模型推理加速服务，为您的 GenAI 应用带来更高效的用户体验。对开发者来说，通过 SiliconCloud 即可一键接入顶级开源大模型。

本文通过Codeblaze.SemanticKernel这个项目，学习如何实现ITextEmbeddingGenerationService接口，接入本地嵌入模型。项目地址：https://github.com/BLaZeKiLL/Codeblaze.SemanticKernel。

上一篇文章介绍了使用SemanticKernel/C#的RAG简易实践，在上篇文章中我使用的是兼容OpenAI格式的在线API，但实际上会有很多本地离线的场景。今天跟大家介绍一下在SemanticKernel/C#中如何使用Ollama中的对话模型与嵌入模型用于本地离线场景。本次实践的主要收获是如何在SemanticKernel中使用Ollama中的对话模型与嵌入模型用于本地离线场景。在实践RAG的过程中，发现影响效果的最主要在两个地方。

这只是个简单的例子，所以文本先取的很短，实际上可以换成是你的一些私有文档，然后让大语言模型根据你的私有文档进行回答，现在你如果问大语言模型，“小X创建的公司叫什么？“等等一些根据私有文档才能回答的问题，大语言模型是不知道的，但是通过RAG就可以让大语言模型回答诸如此类的需要根据私有文档才能回答的问题。首先需要有一个嵌入模型，这里使用的是OpenAI的text-embedding-ada-002模型，也尝试过使用硅基流动平台提供的嵌入模型，生成向量是没有问题的，但是在搜索的时候会报错，还没有解决。

文生图，全称“文字生成图像”（Text-to-Image），是一种AI技术，能够根据给定的文本描述生成相应的图像。它借鉴了 Google Imagen 的设计理念，使用 CLIP ViT-L/14 文本编码器处理文本提示，具有相对较小的模型大小，使得它在普通 GPU 上即可运行。选择物理机调试时要打开开发者模式，打开USB调试，最重要的是要允许通过USB安装，我之前没有设置这个，就会遇到一个被用户取消的错误提示。观察一下桌面端的依赖项，桌面端引用了核心项目，使用的包是Avalonia.Desktop。

我们的连接器（OpenAI、Mistral、Gemini）支持函数调用功能，但并非特定 AI 提供商的每个模型都支持它。对于电灯开关插件示例，我们建议使用支持开箱即用函数调用的 AI 模型，以便快速上手。在SemanticKernel的讨论区，我也发现世界各地的人也都有这种需求，不想只用OpenAI，也要使用其他的模型，在SemanticKernel中实现本地函数调用。但我在实践的过程中，发现直接这样子，只有OpenAI的模型与Moonshot AI可以用，而其他模型的本地函数调用都无效。

大语言模型的应用之一是与大语言模型进行聊天也就是一个ChatBot，这个应用已经很广泛了。接下来的一个应用就是AI Agent。AI Agent是人工智能代理（Artificial Intelligence Agent）的概念，它是一种能够感知环境、进行决策和执行动作的智能实体，通常基于机器学习和人工智能技术，具备自主性和自适应性，在特定任务或领域中能够自主地进行学习和改进。一个更完整的Agent，一定是与环境充分交互的，它包括两部分——一是Agent的部分，二是环境的部分。