1. AnythingLLM 简介
AnythingLLM 是 Mintplex Labs 开发的一款可以与任何内容聊天的私人ChatGPT,是高效、可定制、开源的企业级文档聊天机器人解决方案。它能够将任何文档、资源或内容片段转化为大语言模型(LLM)在聊天中可以利用的相关上下文。
AnythingLLM 支持多种文档类型(PDF、TXT、DOCX等),具有对话和查询两种聊天模式。
支持多种 LLM、嵌入模型和向量数据库:
LLM:包括任何开源的 llama.cpp 兼容模型、OpenAI、Azure OpenAI、Anthropic ClaudeV2、LM Studio 和 LocalAi。
嵌入模型:AnythingLLM 原生嵌入器、OpenAI、Azure OpenAI、LM Studio 和 LocalAI。
向量数据库:LanceDB(默认)、Pinecone、Chroma、Weaviate 和 QDrant。
AnythingLLM将文档的容器化作为其基础。在这种情况下,不同的工作区可以共享相同的记录,但不能相互交互,从而允许用户为不同的用例维护不同的工作区。AnythingLLM包括两种聊天模式:对话模式,其中保留以前的问题;查询模式,指针对用户指定的文档进行简单的问答聊天。此外,对于公开可访问的文档,每个聊天响应还包括一个引用,链接到原始内容。
一、 AnythingLLM 安装(ubuntu22.04系统)
AnythingLLM安装有很多方式,一是到官方网站(Download AnythingLLM for Desktop)下载桌面版,然后双击即可。
curl -fsSL https://s3.us-west-1.amazonaws.com/public.useanything.com/latest/installer.sh | sh
安装完成!!!
报错
报错curl: (35) OpenSSL SSL_connect: 连接被对方重设 in connection to s3.us-west-1.amazonaws.com:443
解决方法1:
关闭终端 重新打开
2、(前面一直忙没更新,这两天会更新上来)
二、启动及应用
1、在终端输入
/home/sxj/AnythingLLMDesktop/start
弹出页面
2、选择模型
选择Ollama
我已经部署过DeepSeek的8B模型这里不谈论,没有的自己下载
ollama run deepseek-r1:8b
3、建立工作区名称
4、运行(里面内容就和windows是一样的了)