AIOT魔法师

这篇教程主要是用来介绍两个框架的交互与对接的，不是部署Ktransformer也部署部署Dify，要部署Dify、Ktransformer可以直接参考官方教程即可。其实都可以只要确保–web True开启web就可以，这是Ktransformer自带的web接口，基于此可以对接dify。应该会提示在哪个地址上可以访问。Ktransformer用来部署LLM，比如Deepseek，而LLm的应用框架平台Dify主要用来快速搭建基于LLM应用。一共是两个框架一个是Ktransformer，一个是dify。

【代码】dify接口访问程序。

【代码】Ktransformer启动web后的访问api接口的客户端代码。

【代码】2024-06-01 10:30:49 | ERROR | stderr | KeyError: ‘qwen2‘

下载Ollama二进制文件，直接使用.sh安装网络太卡了，即便是开了代理也卡，故在此使用二进制安装。使用vi往里面输入，在此我用的是Baichuan2 13B Chat，为了保险起见采用绝对路径。由于我系统盘只有20G加载模型时候报错了，因此我做了一个映射（空间够忽略这条）启动Ollama（本终端会一直被占用）新建一个连接终端，跑模型。安装配置Ollama。