手撸私有AI大模型——ollama本地部署私有大模型

原创 已于 2024-05-17 13:21:40 修改 · 5k 阅读 · 53 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#llama #langchain #AI编程 #chatgpt

于 2024-05-17 10:31:24 首次发布

作者：vscene        时间：2024年5月17日        版权声明：如需转载请注明出处

目录

1.下载ollama

2. 安装OllamaSetup.exe

3. 下载大模型

4. 运行大模型

5. 重启并更新 ollama

6. ollama  常用命令

1.下载ollama

访问ollama的官网https://ollama.com/，点击【Download】

http://ollama.com/

选择操作系统类别，这里我选择的是Windows，OllamaSetup.exe (198MB)

2. 安装OllamaSetup.exe

双击运行OllamaSetup.exe

默认安装路径为：

C:\Users\Administrator\AppData\Local\Programs\Ollama

Administrator 为当前windows 登录用户名

3. 下载大模型

复制模型名称，通过命令行下载，命令为ollama run [模型名称]

配置模型下载到本机的路径。如果c盘空间不足（模型至少占用4GB），可以下载到其他盘上，这里设置为下载到D盘。

默认下载路径：C:\Users\Administrator\.ollama\models，通过配置环境变量 OLLAMA_MODELS修改下载路径

最低0.47元/天 解锁文章
从零搭建出属于自己的大模型
qq_45179513的博客
11-01 1万+
你好！ 这是一个从零开始搭建本地大模型的教程（从建文件夹开始，真正的从零开始），如果你也对大模型感兴趣，那就让我带领你搭建出一个属于自己的“小助理”吧！具体步骤如下：创建文件夹存放源码和模型 ，在E盘中创建一个LLM文件夹用来存储源码和模型； 下载源码和模型 1）如果在Anaconda Powershell Prompt中下载时，可以使用下列语句 模型下载： git clone https://huggingface.co/THUDM/chatglm2-6b-32k git clone https://h
大模型系列——Ollama+MaxKB 部署本地知识库
2401_84052244的博客
07-10 162
本文介绍了使用Ollama+MaxKB快速部署本地知识库问答系统的方案。通过Docker安装MaxKB后，配置本地Ollama模型（如Qwen2），建立知识库并创建应用，30分钟内即可上线。该系统支持多种文件格式上传，可嵌入第三方业务系统。虽然低配电脑响应较慢，但该方案实现简单，采用RAG流程，适合快速实践大模型应用。文章详细说明了安装步骤、模型配置要点及功能演示，指出企业级应用需更高性能服务器支持。
零基础，零成本，部署一个属于你的大模型
蛮三刀酱
04-22 9413
因此，本文是为AI初学者们（包括我自己）编写的保姆级大型模型部署和使用指南。现在正值阿里云免费试用计划，我们可以不花一分钱就可以体验部署自己的大型模型的乐趣。
OLLAMA高效下载指南：三种实用方法详解
最新发布
GoldenleafTiger89的博客
11-13 512
实际使用中发现，对于最新版本的OLLAMA，第三方工具下载是最可靠的选择。而如果只需要特定版本，GitHub加速服务也能满足需求。官网下载则更适合作为备选方案。在技术开发中，获取工具的效率直接影响项目进度。对于OLLAMA这样的AI工具，选择合适下载方式可以节省大量时间。上，可以找到更多AI模型部署和应用的实践案例，平台提供的一键部署功能让项目上线变得非常简单。对于开发者来说，快速获取工具只是第一步。适合网络环境稳定且不着急使用的开发者。这个方法适合中小型文件版本。GitHub加速下载。
【Llama3:8b】手把手教你如何在本地部署 自己的 AI 大模型
2301_81940605的博客
05-17 1万+
【Llama3:8b】手把手教你如何在本地部署 自己的 AI 大模型
手撸私有AI大模型——开发环境搭建miniconda
vscene的博客
05-17 1859
手撸私有AI大模型——快速搭建AI开发环境。首先需要部署一个conda，这里采用的是miniconda的安装。
【手把手教你】搭建私有大模型+私有知识库
2301_76168381的博客
12-09 4457
就是把目前最流行的开源大模型部署到自己的电脑上，无需联网、也不用买会员，隐私可不会泄露，直接可以和AI聊天。就是你可以把你喜欢的资料统统喂给大模型，然后让AI查询你指定的材料，再来回复你的问题。若是在公司搭建这套组合，可以把公司的介绍、产品数据、销售数据等等都发给私有大模型，回复用户的信息就更有针对性。大模型搭建已经分享过了，就不在此赘述，直接进入主题，知识库搭建。AnthingLLM可以直接在其界面上对话，导入各种形式的资料。也可以把本地AI大模型和知识库做成接口API，在企业的其他应用里面去调用。
玩转大语言模型——本地部署deepseek R1和本地数据库的小白教程(Ollama+AnythingLLM)
艾醒的博客
02-05 3893
最近deepseek模型可谓是非常火爆，尤其是deepseek R1的逻辑能力，并且deepseek R1还开放了多种参数大小的蒸馏模型，使得本地部署成为了可能。在本系列中上一篇介绍了在本地部署deepseek R1的用法，本篇将介绍如何部署本地大模型的数据库。
【实战篇】【零代码也能玩转AI！手把手教你用Ollama本地部署DeepSeek（保姆级教程） 】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
03-19 1337
创建专属文件夹编写Modelfile配置文件在文件夹内新建「Modelfile」文件（用记事本即可），写入：FROM deepseek-ai/deepseek-R1:latestPARAMETER temperature 0.7 # 控制回答创意度（0=保守，1=天马行空）PARAMETER num_ctx 4096 # 支持4K上下文记忆执行部署命令。
本地大模型部署：Ollama 部署与 Python 接口调用全攻略
yitian881112的专栏
08-26 1502
本文介绍了本地部署大语言模型工具Ollama的完整实践指南。Ollama支持一键运行LLaMA、Mistral等开源模型，具有本地运行、数据安全、Python集成等优势。文章详细讲解了Ollama的安装、模型下载和本地启动流程，并提供了Python调用Ollama API的代码示例，包括基本文本生成和类ChatGPT对话接口。同时分析了Ollama在企业内网助手、代码生成等场景的应用价值，并与云端模型进行了对比。虽然存在硬件依赖等局限，但通过量化模型、GPU加速等方法可优化性能。Ollama为开发者提供了低
DB-GPT大模型私有化部署搭建
是我的温柔啊
12-12 4486
随着大模型的发布迭代，大模型变得越来越智能，在使用大模型的过程当中，遇到极大的数据安全与隐私挑战。在利用大模型能力的过程中我们的私密数据跟环境需要掌握自己的手里，完全可控，避免任何的数据隐私泄露以及安全风险。基于此，我们发起了DB-GPT项目，为所有以数据库为基础的场景，构建一套完整的私有大模型解决方案。此方案因为支持本地部署，所以不仅仅可以应用于独立私有环境，而且还可以根据业务模块独立部署隔离，让大模型的能力绝对私有、安全、可控。我们的愿景是让围绕数据库构建大模型应用更简单，更方便。
Ollama 是一个本地部署大型语言模型（LLM）的开源工具，它支持多种主流的大模型，并持续更新对新模型的支持。用户可以通过 Ollama Model Library 查看所有当前支持的模型
爱的叹息的专栏
05-08 2627
Ollama 是一个本地部署大型语言模型（LLM）的开源工具，它支持多种主流的大模型，并持续更新对新模型的支持。用户可以通过 Ollama Model Library 查看所有当前支持的模型
是否使用gpu的判断方法
S_unn_y_的博客
08-10 994
print("GPU名称：", torch.cuda.get_device_name(1)) # 根据索引号得到GPU名称。# print("是否可用：", torch.cuda.is_available()) # 查看GPU是否可用。# print("GPU数量：", torch.cuda.device_count()) # 查看GPU数量。# print("GPU索引号：", torch.cuda.current_device()) # 查看GPU索引号。
ollama 本地部署大模型
热门推荐
03-17 5万+
根据 ChatGPT 的使用经验，多数人都已知晓系统提示词的重要性。好的系统提示词能有效地将大模型定制成自己需要的状态。在 Ollama 中，有多种方法可以自定义系统提示词。首先，不少 Ollama 前端已提供系统提示词的配置入口，推荐直接利用其功能。此外，这些前端在底层往往是通过API"content": "以海盗的口吻简单作答。},"content": "天空为什么是蓝色的？],}'其中role为system的消息即为系统提示词。
Ollama+ComfyUI实现AI绘画——项目实践指南
渗透测试
10-21 3078
首先，您需要准备Ollama，这是一个强大的AI绘画工具。您可以访问官方网站进行下载。根据您的操作系统，请选择相应的版本。安装完成后，默认情况下，Ollama存储在C盘。如果您希望更改模型存储位置，包括模型文件存放的路径，需要设置一个环境变量。创建自己的工作流可能会有些繁琐，因此我们推荐使用网络上其他大牛分享的工作流。设置环境变量OLLAMA_MODELS指向您希望的路径，例如：R:/Ollama_Models。完成以上步骤后，您就成功安装并配置了Ollama！至此，您已成功安装和配置了ComfyUI！
借助ollama实现AI绘画提示词自由，操作简单只需一个节点！
python1234_的博客
06-14 4145
只需要将ollama部署到本地，借助comfyui ollama节点即可给你的Ai绘画提示词插上想象的翅膀。具体看详细步骤！第一步打开ollama官网：https://ollama.com/，并选择models显存太小选择的是llama3\8b参数的instruct-q6_k的这个模型。运行方式也很简单，只要你网络没问题，直接在终端里，运行ollama run llama3:8b-instruct-q6_K这个命令，这样你可以在终端里llama3交流了！
【5分钟搞定】ollama下载deepseek-r1大模型本地部署
lixiaoqidecsdn的博客
01-29 1万+
1.登录ollama，选择models，选择deepseek-r1模型，选择1.5b(核显电脑)3.控制台输入ollama run deepseek-r1:1.5b自动下载。2.选择1.5b，复制命令，打开CMD控制台；
使用ollama导出gguf模型
weixin_37841024的博客
04-25 3227
导出的qwen_7b.gguf模型文件，在命令执行的目录。（格式为gguf），导出代码为。为例，先查看模型信息，从模型文件信息里得知。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值