本地快速私有化部署和运行大语言模型

智谱AI发布国产最强大模型GLM4,理解评测与数学能力仅次于Gemini Ultra和GPT-4,编程能力超过Gemini-pro,还有对标GPTs商店的GLMs 这是在智谱AI开发者大会上推出的新一代基座大语言模型,GLM4相比较此前最大的特点是三个变化:性能全面提升、上下文长度更长、支持更强的多模态能力。GLM4(GLM4)详细信息 | 名称、简介、使用方法,开源情况,商用授权信息 | 数据学习 (DataLearner) 阅读详情

图片

``

ollama 是一个快速部署和运行大语言模型的开源工具,https://ollama.com/。通过它可以在终端与大语言模型交互,而且安装非常的简单,支持非常多的模型,并且可以随意切换模型, 支持模型地址:https://ollama.com/library
如果你想使用LLM模型但是又不想暴露你的私人数据到公网,不放试一试这个方法。

以下是在 WSL 中安装它的过程

执行安装命令

curl -fsSL https://ollama.com/install.sh | sh

图片

这样就安装好了。

使用

使用 命令 ollama -h 看看有哪些参数

在这里插入图片描述

在命令帮助信息中可以看到可以使用 serve 启动它,

接着我们来启动它:

(base) hayden@hayden ~$ ollama serve                                                                  127 ↵
Couldn't find '/home/hayden/.ollama/id_ed25519'. Generating new private key.

然后打开另一个窗口, 接着 从 https://ollama.com/library 中选一个模型 拉到本地跑,以 llama2 为例

(base) hayden@hayden ~$ ollama run llama2
pulling manifest
pulling 8934d96d3f08... 100% ▕██████████████████████████████████████████████▏ 3.8 
GBpulling 8c17c2ebb0ea... 100% ▕██████████████████████████████████████████████▏ 7.0 
KBpulling 7c23fb36d801... 100% ▕██████████████████████████████████████████████▏ 4.8 
KBpulling 2e0493f67d0c... 100% ▕██████████████████████████████████████████████▏   59 
Bpulling fa304d675061... 100% ▕██████████████████████████████████████████████▏   91 
Bpulling 42ba7f8a01dd... 100% ▕██████████████████████████████████████████████▏  557 Bverifying sha256 digest
writing manifest
removing any unused layers
success
>>> Send a message (/? for help)

这样 llama2 模型就跑起来了,现在就可以在本地与 llama2 交互了。

这里我问了一句 what is you name 模型对问题做出了回答。我们也可以在写代码的时候让它帮助我们写一段代码。

>>> what is you name
I'm just an AI, I don't have a personal name. My purpose is to assist and provide helpful responses to
users like you, so please feel free to call me by any name you like!

>>> Send a message (/? for help)

接着可以用 list 命令看看本地安装了哪些模型

在这里插入图片描述

我这里显示只安装了一个 llama2 模型,模型的大小是3.8GB。
需要注意 github 上面有介绍运行不同大小参数的模型对内存的要求不一样:
Note: You should have at least 8 GB of RAM available to run the 7B models, 16 GB to run the 13B models, and 32 GB to run the 33B models.

在选择模型的时候需要考虑一下你本地运行的机器的内存是否满足运行这个模型的要求,运行 7B 的模型需要至少 8 GB的内存, 运行 13B 的模型至少需要 16 GB的内存,运行 33B 的模型至少需要 32 GB 的内存。

图片

最后如果不想继续使用某个模型,可以使用 rm 删掉以节省磁盘空间

(base) hayden@hayden ~$ ollama rm llama2

​

如何学习AI大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

用ollama本地部署Lamma3.1 ollama create 自定义模型名字 -f Modelfile。让lamma3.1写一个贪吃蛇小游戏,一次run成功。例如:ollama run llama3.1。例如:ollama run llama3.1。 阅读详情

相关推荐

Windows 中 利用 ollama 来搭建 deepseek R1

近年来,大模型凭借其强大的语言理解和生成能力,在自然语言处理、计算机视觉等领域取得了突破性进展。从GPT系列到国内的,文心一言、[Qwen]、,大模型已成为推动人工智能发展的核心力量。ollama作为新兴的大模型搭建工具,以其开源、高效、易于部署的特点,在人工智能开发者社区中崭露头角,为大模型的搭建和应用提供了新的解决方案。在当今数字化浪潮中,人工智能的发展可谓日新月异,而大模型作为其核心驱动力,正重塑着各个行业的格局。

一个专注于机器学习基础与实战的技术博客,内容涵盖算法推导、模型实现、数学原理与代码实践。用通俗的语言解析复杂概念,记录学习过程中的思考与总结,适合机器学习爱好者和从业者参考。 2554

使用 Ollama 本地运行各种 LLM

今天看看另外一个产品Ollama。Ollama 的安装非常简单,只需从官网(https://ollama.com/download)下载后解压缩,并在 Terminal 中运行脚本即可完成环境设置。我尝试运行 Llama3,虽然在运行时占用了大量电脑资源,使得其他应用运行变慢,但整体体验尚可。Ollama 支持多种大型语言模型(https://ollama.com/library)。

python123456_的博客 1736

5分钟搞定!用Ollama+One-API+OpenWebUI搭建私有化大语言模型(保姆级教程)

本文提供了一份详细的保姆级教程,指导用户如何快速搭建私有化大语言模型。通过整合Ollama、One-API和OpenWebUI三大开源工具,利用Docker容器化技术,实现从模型本地部署、统一API网关管理到友好Web界面的完整私有化智能对话系统搭建,整个过程旨在简化部署流程,保障数据隐私与使用自主权。

lstm7chronicler的博客 211

AI大模型探索之路-基础篇5:GLM-4解锁国产大模型的全能智慧与创新应用

随着人工智能技术的飞速发展,大型预训练语言模型已成为推动行业进步的重要力量。它们在理解自然语言、生成文本、执行复杂任务等方面展现出惊人的能力。在此背景下,国产大模型GLM-4的问世,不仅展现了中国在AI领域的实力,也为国内外研究者和开发者提供了新的研究与应用平台。

寻道AI,探索AI无限可能! 8685

【大模型工程局】告别云端束缚:Ollama + Open Web UI,轻松搭建你的本地大模型“驾驶舱”

在人工智能浪潮席卷全球的今天,大语言模型(LLM)正以前所未有的速度改变着我们的工作与生活。然而,依赖云端服务往往伴随着对数据隐私的担忧、潜在的高昂成本以及网络连接的限制。有没有一种方法,能让我们在自己的设备上,安全、私密、高效地驾驭这些强大的AI模型呢? 答案是肯定的!今天,我们将一起探索如何将 **Ollama** 与 **Open Web UI** 这对“黄金搭档”结合起来,让你轻松在本地运行LLM,并拥有一个直观、友好的图形化交互界面。准备好搭建属于你自己的本地AI“驾驶舱”了吗?

高校图书馆高级系统架构师/研究馆员,推动高校AI从概念演示到可评审、可交付、可运维:路线图与立项评审、PoC交付、评测回归与上线运维(Baseline/Eval/Ops)。 1539

sqoop抽取mysql的数据到hive表里面,字段内容被自动截取,导致字段不全的问题解决

今天央视重新转播NBA,写篇博客纪念一下这个重要的日子,湖人的表现就呵呵了!!!! 强行转到博客的主题来 mysql的字段属性:该字段能存下的值比如:“山东” `province` varchar(3) NOT NULL COMMENT '省份' 用sqoop sqoop import --connect "jdbc:mysql://xxxxxx:3306/xxxxxx?tinyInt1isBit=false&zeroDateTimeBehavior=convertToNull..

放肆桀骜 967

基于Ollama私有化部署LLM方案

LLM私有部署方案、基于Ollama私有化部署LLM方案、基于Apifox调用Ollama API实现ChatBot对话功能、基于ChatBox与ollama快速搭建ChatBot

2301_76243776的博客 1490

Android手机免root玩转Kali NetHunter:Termux保姆级安装指南(附Kex VNC配置)

本文提供了一份详细的Android手机免root安装Kali NetHunter的保姆级指南。通过使用Termux终端模拟器,用户无需解锁Bootloader或获取root权限,即可在普通安卓设备上部署完整的Kali Linux渗透测试环境。教程涵盖了从环境准备、NetHunter核心安装到配置Kex VNC实现图形桌面访问的全过程,并附带了电脑投屏与常见问题解决方案,旨在打造一个便携的移动安全学习与测试平台。

weixin_29208327的博客 305

大模型部署:在Windows电脑上快速运行AI大模型-Llama3

近期 Meta 发布了最新的 Llama3 模型,并开源了开源代码。Meta Llama 3 现已推出 8B 和 70B 预训练和指令调整版本,可支持广泛的应用程序。

AAI666666的博客 1513

FreeRTOS-Plus-CLI使用笔记

FreeRTOS-Plus-CLI使用笔记 一、简介 详细介绍可参考FreeRTOS-Plus-CLI官网地址入口 FreeRTOS+CLI(Command Line Interface, 命令行接口)提供了一种简单、小型、可扩展且RAM高效的方法,使FreeRTOS应用程序能够处理命令行输入。添加一条指令的步骤如下: 提供一个实现命令功能的函数 将命令映射到该功能函数 注册命令 运行命令解释器 命令行调试接口对于排查分析出现的问题提供了很好的接口,可以通过查看传感器信息判断传感器是否正常,可以查看内置

ApexYuan 6964

深入解析LVDS电平标准在LCD屏接口设计中的关键作用

本文深入解析了LVDS电平标准在LCD屏接口设计中的核心作用。文章不仅阐释了LVDS低电压差分信号的工作原理、关键电气参数及抗噪优势,还详细对比了VESA与JEIDA两种主流数据格式,并提供了从PCB布局布线到信号调试的实战避坑指南,是确保高速、稳定显示的关键技术参考。

weixin_28419039的博客 339

本地大模型部署全攻略:零成本、离线可用、多平台支持

本文详细介绍了使用开源工具Ollama在本地电脑上部署大语言模型的完整过程,包括安装配置、模型下载和MaxKB图形界面设置。支持Windows/Mac/Linux多平台,无需服务器且可离线使用,部署后可通过浏览器交互或嵌入网站作为智能客服。所有软件免费开源,适合希望低成本、私有化部署大模型的用户。

aolan123的博客 1728

高通拨号流程介绍

本文介绍了高通平台(如SDX55)中APSS(A7处理器)与ModEM(Q6处理器)间的通信机制。

四儿家的小祖宗的博客 1068

MacBookPro本地搭建大模型:Ollama初使用

Ollama是一个简化本地部署和管理大型语言模型的开源工具。它支持一键安装和运行主流开源模型(如Llama、Mistral、Gemma等),提供类似Docker的命令管理和OpenAI兼容的REST API。核心优势包括极简部署、丰富模型库、完全离线运行和跨平台支持,能在普通PC上运行量化模型。通过简单命令即可下载、运行模型,并支持API调用。Ollama降低了本地AI应用的门槛,是体验和开发隐私安全AI解决方案的理想工具。

熬过万丈孤独,藏下星辰大海 1338

Python爬虫实战:全面解析裁判文书网法律文书抓取与分析

本文详细介绍了如何使用Python爬虫技术,分别通过Requests+BeautifulSoup、Selenium和Scrapy等方式,爬取裁判文书网的法律文书信息,并进行了验证码处理、数据存储和可视化分析。网页结构分析与数据提取;爬虫框架的使用;验证码处理策略;数据分析与可视化。爬取更多法律文书网站的数据;爬取文书的全文内容;构建法律文书搜索引擎;使用自然语言处理技术对法律文书进行深入分析。

2201_76125261的博客 1332

innovus:NRDB-2276 special net route layer与NanoRouteMode route layer冲突问题解决方法

NanoRouteMode中设置绕线层次2-6,但是被动到的special net有8-11的preferred route layer,这个层次可能是create_route_type+set_ccopt_property -net_type 定义的。二者绕线层次范围有冲突,导致在调整过这条net后再绕线就会提示失败。然后再下route_design 等route命令去绕别的net。我正在「拾陆楼」和朋友们讨论有趣的话题,你⼀起来吧?

m0_61544122的博客 1106

PHPStan 错误标识符 assert.trait 全解析:为什么 trait 不能出现在 @phpstan-assert 断言中

`assert.trait` 是 PHPStan 在分析 `@phpstan-assert` 系列 PHPDoc 标签时报告的错误标识符,它提示开发者:**断言标签引用了一个 trait,而 trait 不是合法的断言类型**。本文以 [website/errors/assert.trait.md](https://link.gitcode.com/i/7f159c2bc03abee2f0d713

gitblog_00491的博客 443

【干货分享】高通 SA8295P PCB 设计规范指南

高通SA8295P芯片是第四代骁龙汽车数字座舱平台的核心组件,采用5nm工艺,集成高性能CPU/GPU和30TOPS算力的NPU。文章详细介绍了该芯片各接口的layout设计规范,包括USB3.1/2.0、eDP/DP、MIPI CSI/DSI、PCIe Gen3等接口的阻抗、损耗、延时等关键指标要求,为新能源汽车电子设计提供重要参考。

一只豌豆象的博客 271
上一篇: 单GPU训练一天,Transformer在100位数字加法上就达能到99%准确率
下一篇: 私有化部署ChatGPT:潜力与挑战
AI大模型_学习君
博客等级 码龄3年 6138粉丝 551原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值