bleuesprit的专栏

确保在cmd下可使用nvidia-smi命令,命令输出正常代表显卡驱动已经安装成功并且记住自己的cuda版本,我这里是12.7,后面很多地方都要用到这个版本号nvidia可以根据产品找到对应的驱动:需要使用studio版本的驱动.不要用game的驱动。

我在本地构建知识库的时候发现嵌入一个1mb的文件居然要3个小时,嵌入期间cpu,gpu占用率都很少,本人并且在更换了ollama参数更换了模型之后都没有任何改善,在手动调用ollama的api接口发现,接口性能是有很大提升的,故现在怀疑的是dify本身运行较慢,但是网络上关于dify实现的文章很少,所以只能自己读代码了.这个文章描述了一些增删改查的过程本文会在这篇文章的之后描述dify具体怎么调度嵌入任务,和怎么执行嵌入过程的.

一般的在本机部署python项目的时候都需要先构建一个python虚拟环境,不然项目多了python的版本非常不好控制,我这次使用的是conda的虚拟环境.conda可以创建出很多个python环境,然后在部署项目的时候选择一个环境激活就可以,这样就可以做到环境隔离.这样我们当前cmd窗口就使用的是dify的环境…到此为止,dify所有使用docker启动的项目已经部署完毕,如pg,redis,沙箱,plugin管理,http缓存,下面需要进入web,api,worker的代码部署环节。

本地通过ollama调用的时候可能会遇到toolcalling调用失败的情况返回这种代表模型不支持工具调用.这种情况可能有以下几个原因。