人工智能 | 搭建企业内部的大语言模型系统

大纲

• 开源大语言模型

• 大语言模型管理

• 私有大语言模型服务部署方案

开源大语言模型

担心安全与隐私？可私有部署的开源大模型

• 商业大模型，不支持私有部署

  • ChatGPT

  • Claude

  • Google Gemini

  • 百度问心一言

• 开源大模型，支持私有部署

  • Mistral

  • Meta Llama

  • ChatGLM

  • 阿里通义千问

• 常用开源大模型列表

• 

• 开源大模型分支

• 

开源大模型分支

 

大语言模型管理

大语言模型管理工具

• HuggingFace 全面的大语言模型管理平台

• Ollama 在本地管理大语言模型，下载速度超快

• llama.cpp 在本地和云端的各种硬件上以最少的设置和最先进的性能实现 LLM 推理

• GPT4All 一个免费使用、本地运行、具有隐私意识的聊天机器人。无需 GPU 或互联网

Ollama 速度最快的大语言模型管理工具

 

Ollama 的命令

 

ollama pull llama2
ollama list
ollama run llama2 "Summarize this file: $(cat README.md)"

ollama serve