Baker的博客

首先介绍下ollama是什么？Ollama是一个开源的大型语言模型服务工具，旨在为用户提供本地化的运行环境，满足个性化的需求。具体来说，Ollama是一个功能强大的开源框架，可以简化在Docker容器中部署和管理大型语言模型(LLM)的过程，使得用户能够快速地在本地计算机上运行大型语言模型，如Llama 2...

Dify.AI是一个基于云的AI平台，集成了机器学习、自然语言处理、计算机视觉等技术，提供了一系列开箱即用的解决方案。主要有四个功能：聊天助手，文本生成，AI Agent，工作流。聊天助手和文本生成其实是普通的大模型都自带的功能，这里就不做过多赘述，我们主要来看后面的Agent和工作流两种。上一节我在本地搭建好了Dify，...

总的来说，文心智能体平台是一个比较成熟的快速搭建智能体的应用平台，提供了丰富的插件和功能来搭建功能柜强大的智能体，这我搭建的是一个个性化的购物推荐助手，明叫购慧伴，他可以帮助你对商品的选择进行诊断，并根据你的需求判断出最适合你的商品，这样解决选购商品犹豫不决和选择出不适合自己的商品，在用户输入问题后，智能体会根据用户的提问进行自然语言处理，根据处理的结果了解用户意图，并做针对性回答，回答的同时也会用语音播报出。在打开的智能体平台中填入智能体名称和设定，设定的内容是描述此智能体的角色和功能，

选择卡片后，要设置中间部分的变量绑定，也就是将工作流的输出数据，绑定到卡片的每个元素上。点击发布，此时再次发送奥运赛事，就会按照卡片的形式回答了，不过此时下面会继续用文字回答，需要在工作流的结束节点修改为使用设定的内容直接回答，并在下面输入框输入空格，就不会回答下面文字，只回答卡片了。左侧是系统自带模板，中间是当前编辑的卡片，使用模板的时候只要点击左侧要使用的模板，就会把模板加载到中间部分，右侧是当前编辑模板的属性，可以通过修改右侧属性改变中间的卡片预览，也可以点击中间卡片某个属性删除。

通过使用扣子提供的大量灵活可组合的节点，比如大语言模型 LLM、自定义代码、判断逻辑等，用户可以快速搭建工作流，无论是否有编程基础，都可以通过拖拉拽的方式实现。进入工作流，默认只有一个开始和结束节点，左侧是工作流菜单节点，中间可以添加任何左侧的节点，这里做一个获取热点新闻的例子，点击插件后的+，添加插件，进入插件列表页面。不过完成了工作流还需要引入到Bot中才能使用，所以打开Bot的编辑页面，点击工作流后的+，点击添加工作流。工作流的作用远不止于此，菜单栏的节点可以实现非常丰富的功能，可以去尝试下。

上一章节中，已经使用coze搭建了一个问答机器人，这节可以将此机器人发布到公众号来充当我们的微信公众号客服

​‌Coze由‌字节跳动推出的一个‌Ai聊天机器人和应用程序编辑开发平台，专为开发下一代AI聊天机器人而设计。

加载完成后就可以得到一个静止的卡通女孩模型，因为没有加载动作文件，所以任务是不会动的，接下来就要使用js修改骨骼模型位置让她动起来，首先我们需要把加载的人物模型骨骼打印出来看下，刚才加载的方法中已经添加了打印骨骼的方法，可以看到一共140个骨骼，每个骨骼的name标示了这个骨骼属于哪部分，这样就更方便我们等会操作指定的骨骼了。首先我们还是需要搭建出场景，这部分可以按照之前的章节提供的方法搭建，然后在场景中添加pmd模型，我们还拿之前的初音人物模型演示。threejs控制嘴巴和头发动。

添加语音后，会显示语音时长，可以试听以及剪辑等操作，确认无误后，点击Start按钮开始转换，如果语音不长的话很快就完成了，我的电脑没有英伟达显卡，三十个字左右的语音只需要2~3秒就完成了。可以部署好SenseVoice和CosyVoice，再对接下大模型就可以实现语音输入和语音回复了。部署完成后打开ip+7860，进入首页，可以看到上面一段介绍，下面的左侧是放入的语音消息，右侧是支持的语音类型。同时，SenseVoice也是支持API调用的，可以在页面的下方看到通过API使用的字，点击可以看到开发手册。

这里一共有5个地方需要操作，第一个输入合成文本就是你想要音色模拟你说的内容，下面选择推理模式为3s极速复刻，第三个是需要上传一段音频文件，如果没有音频文件也可以选择右侧的录音，实时录一段就可以了，下面输入prompt文本是指录音的内容转成文本放进去，方便程序比对声音读的音色，全部完成后下面选择生成音频就可以等待生成了，生成时间根据GPU性能决定。页面可以看到提供四种模式，第一个是训练音色，第二个是3s极速复刻，第三个是跨语种复刻，第四个是自然语言复刻，这里我们选择第二种，并找一段声音上传上去，

在生成视频前需要先做一点配置操作，点击基础配置展开，这里选用阿里的通义千问大模型，要到阿里的DashScope 模型服务灵积平台申请好KEY，然后填入到API Key中，这个项目的视频并非用大模型生成的，而是从视频网站获取剪辑的，所以这里要对接到视频网站Pexels，我这个版本还不支持抖音，tiktok。完成基础配置后，在下面的配置中选择视频的主题，下面可以自己输入文案也可以由软件根据它的理解自动生成，右侧可以填写生成视频的长度以及生成视频的个数，也可以设置背景音乐，字幕等各种参数，

此前我在window上部署过一次，部署成功了，但是过程稍微复杂些，官网提供的部署方法更适合liunx系统，对window不友好，但如果有liunx系统可以参考尝试下。选择不同的音色或者音色值转化后的人语音是不一样的，需要注意的是如果文本中存在数字要勾选数字转文本，否则语音会读不准数字的发音。然后，你只需要双击app的那个文件就可以运行了，因为这个包里已经包含了必要的组件，双击运行后会出现如下的日志，最终打印出来一个启动地址，在浏览器输入地址后就可以打开主页面了。可以根据接口文档，传入参数值，尝试下。

创建后就会有一个可拖拽的工作流页面，因为还没设置，默认只有一个开始，我们创建一个条件语句，就是根据不同的情况去执行不同的任务，我们可以创建一个变量，然后根据这个变量的值去判断执行哪个任务，所以在开始节点中添加一个变量，叫city，然后在开始后的+添加一个IF条件分支，在IF条件分支中需要判断刚才的变量，也就是city，我们配置如果输入city包含苏州，就执行一中任务，如果没有就执行另一种任务，在条件分支的后面可以看到两个+，就是连接的不同任务。因为天气预报调用的是接口，所以返回的是一大串的JSON数据。

我个人觉得差不多是这一次，简单的说就是告诉Agent规则，他可以通过你发的一句话，自己根据规则去做该做的事，如果你配置了很多个专业AI Agent，你就可以让一群Agent相互配合做很多事，这就是网上说的有了大模型，你就有了一群知识丰富的大学生，你只要告诉他们怎么做事就好了，下面我们来演示怎么把Agent对接到钉钉群机器人。然后就进入到配置界面，上面是输入提示词，然后是变量，变量的作用是生成开场白，上下文是添加知识库，这里可以先做个最简单的机器人，对接到钉钉，在工具的卡片中点击添加。

此时已经可以连接到大模型，并访问数据库了，但是大模型并不知道数据结构，所以要对vanna进行简单的训练，官方的训练分为三种，DDL，Document，SQL，DDL就是建表语句，告诉大模型表结构，Document存放的是数据库中的一些专业术语，比如你要查询成年人的数量，那就要在document中记录，成年人是指大于18岁的人。然后需要连接本地的ollama中的llama3，输入模型名称llama3:8b，并设置访问地址，然后替换连接的数据库，我的数据库在局域网，因此填写局域网的数据库IP，和账号密码。

这节一起用vanna来实现自然语言转SQL，之前的大模型一直停留在问答阶段，答案基本都是大模型提供的，至多是加点本地知识库，tet，pdf等文档，丰富大模型的内容，但是想要大模型与一些管理系统对接还是无能为力，这节就一起尝试下用vanna对接数据库，将自然语言转成标准的SQL对数据库进行查询。使用vanna之前需要打开vanna的官网申请一个key，如果之前没有注册过的话，还需要先注册一个vanna的账号，注册成功后，在。安装成功后，按照官网的步骤对接vanna,这里使用的是vanna的数据库，

这节一起来实现Dify的离线部署，官方的github仓库也提供了docker的部署方式，我们也使用docker的方式部署，因此需要在window上安装docker环境，安装好后，我们先从github将源码下载下来，然后解压到一个文件夹下，这里是我下载后解压的项目目录。所以有端口冲突可以在此修改，当所有组件pull不并started后就可以了，打开浏览器，输入IP+port,如果刚才映射的端口被修改，要记得这里的port是修改映射后的新端口，修改后，打开命令提示符，进入项目的docker目录下，输入命令。

第一步可以将应用的名字和描述改成自己想要的，名字在问答界面会显示在标题位置，然后可以对提示词进行修改，对提示词的修改吗，我们可以理解为给我们的问题加上备注，可以根据需求加上所需要的各种提示词。在弹出的页面中有两种嵌入方式，一种是全屏嵌入一种是浮窗嵌入，我们选择浮窗的方式，将下面的代码嵌入到网页中，只需要短短几行的代码就可以把我们刚才配置好的应用嵌入到网页中了。然后我们可以修改这个应用开场白，也就是打开对话框时默认的内容，在这里，可以把MaxKB改成你们问答系统客服的名字，是他更贴近正常的使用场景。

点击创建知识库后，设置知识库的名字，描述，然后上传知识库的文件，这里只是两种知识库，第一种是上传文件，大模型会解析文件中的文字，将文字分解后放到数据库，在需要的时候从数据库查询问题的答案，匹配上了就会引用知识库中的信息，第二种是通过url地址获取，同样会把数据存到数据库，这里演示第一种，我们做一个测试的文本文档上传，拖拽文件上传后点击创建并导入，回到应用界面，点击应用的设置，在应用信息中有关联知识库选项，点击其中的添加，把刚才的知识库加入进来，然后点击保存，就把知识库和这个应用关联起来了。

上面章节已经实现了ollama李现部署llama3，并实现了一些简单的问答，但是问答的界面是在命令提示符中，交互很不友好，也不方便局域网其他用户访问，所以这节用docker部署MaxKB实现网页访问llama3，首先电脑上需要安装docker，window系统需要开启虚拟化后才能安装docker，这个可以找相关教程安装下，有了docker后就可以开始部署MaxKB了。点击创建后就创建好了应用，此时应用列表会出现和刚才模型差不多的卡片，点击卡片后，显示这个模型对话框的详细内容，点击演示，就可以进入对话了。

ollama只是一个大模型的服务工具，并非大模型本体，所以只是安装ollama也并不能使用大模型，所以接下来要通过ollama下载大模型，需要注意的是，llama3分为多个版本，如果你的电脑性能一般还是安装llama3:8B的版本，除非是很好的电脑，内存64以上，GPU 3090的那种才考虑安装llama3:70B,下面是根据电脑配置推荐的安装版本。下面开始下载和安装，下载的话可以到ollama的官网去下载，有window，macOS，liunx三个版本，如下图就是下载完成，可以直接在这里提问了，