人工智能 | 搭建企业内部的大语言模型系统

大纲

  • 开源大语言模型

  • 大语言模型管理

  • 私有大语言模型服务部署方案

开源大语言模型

担心安全与隐私?可私有部署的开源大模型
  • 商业大模型,不支持私有部署

    • ChatGPT

    • Claude

    • Google Gemini

    • 百度问心一言

  • 开源大模型,支持私有部署

    • Mistral

    • Meta Llama

    • ChatGLM

    • 阿里通义千问

  • 常用开源大模型列表
  • 开源大模型分支

开源大模型分支

 

大语言模型管理

大语言模型管理工具
  • HuggingFace 全面的大语言模型管理平台

  • Ollama 在本地管理大语言模型,下载速度超快

  • llama.cpp 在本地和云端的各种硬件上以最少的设置和最先进的性能实现 LLM 推理

  • GPT4All 一个免费使用、本地运行、具有隐私意识的聊天机器人。无需 GPU 或互联网

Ollama 速度最快的大语言模型管理工具

 

Ollama 的命令

 


ollama pull llama2
ollama list
ollama run llama2 "Summarize this file: $(cat README.md)"

ollama serve
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值