搭建本地大模型之LM Studio(附教程)

【大模型】Ollama+open-webuiAnything LLM部署本地大模型构建RAG个人知识库教程(Mac) 如果需要,可以使用AnythingLLM的开发者API进行自定义集成,以满足特定的业务需求。 阅读详情
AI摘要

本文介绍了本地运行大模型的工具LM Studio,包括其功能、系统要求、安装方法、设置及模型下载等内容。还提供了系统学习大模型LLM的资源,如经典书籍、报告合集、视频教程等,同时给出了LLM大模型的学习路线,涵盖基础理解、API开发、应用架构实践和私有化部署等阶段。

之前分享了 Ollama 这次分享一下 另一款本地运行大模型的工具LM Studio

什么是 LM Studio?

LM Studio 是一款用于在您的电脑上开发和实验LLMs的桌面应用程序。

关键功能

  • 桌面应用程序,用于运行本地 LLMs
  • 一个熟悉的聊天界面
  • 搜索和下载功能(通过 Hugging Face 🤗)
  • 一个可以监听类似 OpenAI 端点的本地服务器
  • 本地模型和配置管理系统

系统要求

LM Studio 通常支持 Apple Silicon Macs、x64/ARM64 Windows PC 和 x64 Linux PC。

macOS
  • 芯片:苹果硅(M1/M2/M3/M4)。
  • macOS 13.4 或更高版本是必需的。
    • 对于 MLX 模型,需要 macOS 14.0 或更高版本。
  • 16GB+内存推荐。
  • 您可能仍然可以在 8GB 的 Mac 上使用 LM Studio,但请坚持使用较小型号和适度的上下文大小。
  • 英特尔 Mac 目前不支持。
Windows

LM Studio 支持 x64 和 ARM(Snapdragon X Elite)架构的系统。

  • CPU:需要支持 AVX2 指令集(针对 x64)
  • RAM: LLMs可能会消耗大量 RAM。建议至少 16GB 的 RAM。
Linux
  • LM Studio for Linux 以 AppImage 的形式分发。
  • Ubuntu 20.04 或更高版本是必需的
  • 仅支持 x64,暂不支持 aarch64
  • Ubuntu 版本高于 22 的版本测试不佳。
  • CPU:中央处理器
  • LM Studio 默认支持 AVX2

如何安装 LM Studio?

LM Studio 适用于 macOS、Windows 和 Linux。

前往下载页面并下载适用于您的操作系统的安装程序。

设置中文

右下角设置

设置模型目录

模型目录最好不要有中文特殊符号,最好是英文字母

下载模型

如果可以访问国外网站

镜像网站下载

https://hf-mirror.com/

下载gguf模型放到前面设置的模型目录里面

模型挑选

模型文件大小小于自己显存大小,但接近显存大小的效果肯定越好

GGUF模型

GGUF,全称 GPT-Generated Unified Format,是一种新型的文件格式专门用于存储和交换大型机器学习模型的数据。这种格式针对模型的快速加载和保存进行了优化,使其在推理方面更加高效。GGUF可以有多重不同版本的量化,Q2、Q3、Q4、Q5、Q6、Q8,这些数字表示模型权重的位数,位数越高,模型的精度通常越高,但所需的存储空间和计算资源也越多。

不是所有 gguf 格式的模都能用 LM Studio 运行,你可以打开下面这个链接,这里所有模型都可以用LM Studio 运行:https://hf-mirror.com/lmstudio-community *量化是指将模型中的高精度数字转换为低精度数字,以减少模型的存储空间和计算需求。

如何系统的去学习大模型LLM ?

大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?”“谁的饭碗又将不保了?”等问题热议不断。

事实上,抢你饭碗的不是AI,而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后,很多中小企业也陆续进场!超高年薪,挖掘AI大模型人才! 如今大厂老板们,也更倾向于会AI的人,普通程序员,还有应对的机会吗?

与其焦虑……

不如成为「掌握AI工具的技术人」,毕竟AI时代,谁先尝试,谁就能占得先机!

但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高。

基于此,我用做产品的心态来打磨这份大模型教程,深挖痛点并持续修改了近70次后,终于把整个AI大模型的学习门槛,降到了最低!

在这个版本当中:

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲,跟着我做即可,为了让学习的道路变得更简单,这份大模型教程已经给大家整理并打包,现在将这份 LLM大模型资料 分享出来:包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点,那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集,涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程(LLaLA/Meta/chatglm/chatgpt)

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1:AI大模型时代的基础理解

  • 目标:了解AI大模型的基本概念、发展历程和核心原理。

  • 内容:

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2:AI大模型API应用开发工程

  • 目标:掌握AI大模型API的使用和开发,以及相关的编程技能。

  • 内容:

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3:AI大模型应用架构实践

  • 目标:深入理解AI大模型的应用架构,并能够进行私有化部署。

  • 内容:

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4:AI大模型私有化部署

  • 目标:掌握多种AI大模型的私有化部署,包括多模态和特定领域模型。

  • 内容:

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)👈

​

【Ai教程】Ollma安装 | 0代码本地运行Qwen大模型,保姆级教程来了! 我们平时使用的ChatGPT、kimi、豆包等Ai对话工具,其服务器都是部署在各家公司的机房里,如果我们有一些隐私数据发到对话中,很难保证信息是否安全等问题,如何在保证数据安全的情况下,又可以使用大预言模型,Ollma(哦拉玛)可以告诉你答案! 阅读详情

相关推荐

开源模型应用落地-工具使用篇-Ollama(六)

Ollama集成QWen1.5系列模型,全网唯一,绝非搬运。

以微薄之力,予他人些许温暖. 2万+

AnythingLLM:基于RAG方案构专属私有知识库(开源|高效|可定制)

继OpenAI和Google的产品发布会之后,大模型的能力进化速度之快令人惊叹,然而,对于很多个人和企业而言,为了数据安全不得不考虑私有化部署方案,从GPT-4发布以来,国内外的大模型就拉开了很明显的差距,能够实现的此路径无非就只剩下国内的开源大模型可以选择了。而现阶段切入大模型应用落地最合适的方案依然是结合大模型基于RAG检索增强来实现知识库的检索和生存。从而构建个人或者企业私有化的本地知识库。

FrenzyTechAI的博客 2万+

LM Studio本地部署大模型

LM Studio 是一款专为本地运行大型语言模型(LLMs)设计的桌面应用程序,支持 Windows 和 macOS 系统。它允许用户在个人电脑上无需联网即可高效部署和交互开源大模型(如 LLaMA、Mistral、GPT-NeoX 等),兼顾隐私性与灵活性。

梧桐树的博客 2500

AnythingLLM+Ollama,能否打造你的专属个性化AI助手?

AnythingLLM是一个AI聊天系统,它允许用户构建自己的私人ChatGPT。与依赖云服务的AI工具不同,AnythingLLM支持本地开源和商用闭源的大语言模型(LLM),用户可以根据自己的需求和预算选择合适的模型。

xx_nm98的博客 6882

LM Studio本地大模型搭建与远程调用全指南

摘要: LM Studio作为轻量级本地大模型运行工具,支持Windows/macOS/Linux系统,提供直观界面和模型管理功能。本文详细讲解其部署流程:1) 硬件准备:需16GB+内存、支持AVX2指令集的CPU;2) 安装配置:下载对应版本,设置模型存储路径;3) 模型选择:推荐Qwen1.5-7B等GGUF量化模型,根据显存选择Q4/Q8量化版本;4) 远程调用:启用本地服务器并配置防火墙规则,通过兼容OpenAI的API接口(端口1234)实现Python/JavaScript调用。本地部署保障数

huluang的专栏 2820

LM Studio本地大模型部署保姆级教程

本文提供LMStudio本地大模型部署的完整教程,适合零基础用户。LMStudio是一款跨平台工具,支持Windows/Mac/Linux系统,可一键式完成模型下载、部署和交互。教程详细介绍了硬件配置要求、软件安装步骤、模型选择建议(推荐Qwen1.5-7B-Chat等中文友好模型),以及图形化操作流程。同时包含API服务配置、常见问题解决方案等内容,帮助用户在10分钟内完成离线大模型部署,无需命令行操作。

斌味代码的博客 2451

大模型本地化部署:搭建本地大模型之LM Studio(附教程)

大模型本地化部署:搭建本地大模型之LM Studio(附教程)

DEVELOPERAA的博客 4811

大模型——用LM Studio本地运行大模型

LM Studio 是一款流行的 GUI 应用程序,它允许具有基本计算机知识的用户在其 Linux 机器上轻松下载、安装和运行大型语言模型 (LLM)。LM Studio 是一款流行的 GUI 应用程序,它允许具有基本计算机知识的用户在其 Linux 机器上轻松下载、安装和运行大型语言模型 (LLM)。可以使用 LM Studio 聊天界面轻松安装、设置和访问流行的 LLM 模型,例如 Llama 3、Phi3、Falcon、Mistral、StarCoder、Gemma 等。

3041

搭建本地大模型之LM Studio

之前分享了 Ollama 这次分享一下 另一款本地运行大模型的工具LM Studio

2301_81888214的博客 3万+

BPMN2.0规范及流程引擎选型方案

本文主要简明扼要的介绍了BPMN2.0规范的内容,可让读者快速度的了解BPMN2.0所涵盖的主要内容和图形样式。也较为详细的阐述了如何绘制标准的流程图,以及在软件层面中如何实现业务流程功能,和技术选型。

比特桃 1万+

Aspen Plus下载教程Aspen Plus V14 保姆级安装步骤(附安装包)

26、在WlmAdmin界面中,依次点击【Subnet Servers】、【admin】、【Add Feature】、【From a File】、【To Server and its File】。35、在产品选择页面,勾选需要安装的所有产品(重要:不要勾选【Aspen Online(Plant Data)】),然后点击【File Location】。回到桌面,点击任务栏的【开始菜单】,在【所有应用】中找到【Aspen Plus V14】软件图标,将其拖到桌面上创建快捷方式。9、这里可以更改软件的安装位置。

ps_xiaowang的博客 1万+

使用LM Studio在本地运行LLM完整教程(附大模型教程)

LM Studio是一个免费的桌面软件工具,它使得安装和使用开源LLM模型非常容易。

2401_82469710的博客 3938

win11本地部署openclaw实操第5集-X11图形化界面搭建,让WSL2“看见”世界

本文介绍了在WSL2中实现图形界面(GUI)的方法。由于WSL2默认没有图形界面,需要使用X11服务器作为"翻译显示器",将Linux程序的图形指令渲染到Windows窗口中。推荐使用VcXsrv作为X11服务器,详细说明了其安装和配置步骤,包括选择"One large window"显示模式、禁用访问控制等关键设置。随后在Ubuntu中安装轻量级xfce4桌面环境,并通过设置DISPLAY环境变量将图形输出指向VcXsrv。最终通过startxfce4命令成功在Vc

weixin_44626085的博客 812

LM Studio本地部署Qwen3

LM Studio 是一款桌面应用程序,用于在您的计算机本地开发和实验 LLM。

huang9604的博客 3848

树冠体积计算之体元累加法

因为是自己之前研究的一个方向,就复现了一下论文中的这个方法,在此正好记录一下。 文章目录一、简介二、代码实现(MATLAB)三、小结 一、简介 简而言之,其实就是一句话,即以固定大小的体元模拟不规则的树冠形状。按照论文中的思路主要就是将树冠沿树高方向以 k 为步长进行等距离分段,把每一段树冠的点投影到垂直于树高方向的平面上,再对该平面划分成大小为 k × k 的像元,根据投影到各个像元内点的数量,判断该像元的有效性,统计有效像元的数量 T,则树冠体积为 T 个 k × k × k 的体元之和。如下图所示:

dayuhaitang1的博客 2609

多个linux系统安装到一块硬盘(Kylin+UOS+ubuntu)

之前写过一篇类似的文档,笔者把kylin和UOS安装在一块硬盘上上一篇的文档地址多个linux系统安装到一块硬盘(Kylin+UOS)_银河麒麟系统和uos安装成双系统-优快云博客本次记录的是三个系统到一块硬件上银河麒麟:Kylin-Desktop-V10-SP1-Release-2107-arm64统信:uniontechos-desktop-20-professional-1050-arm64乌班图:ubuntu-22.04.5-live-server-arm64。

aggs1990的专栏 572

1分钟部署LM Studio本地大模型(附教程)

随着大语言模型 (LLM) 在各种场景中的广泛应用,许多人希望能在本地运行这些模型,从而享受更低的延迟、隐私保护和无需支付 API 费用等好处。

2401_82469710的博客 5765

如何实现一个用STM32F103C8T6作为主控芯片,加上AD8232、MAX30102 、MPU6050模块的用于运动中监测心率变异性??

🏆 本文收录于《全栈Bug调优(实战版)》专栏,致力于分享我在项目实战过程中遇到的各类Bug及其原因,并提供切实有效的解决方案。无论你是初学者还是经验丰富的开发者,本文将为你指引出一条更高效的Bug修复之路,助你早日登顶,迈向财富自由的梦想🚀!同时,欢迎大家关注、收藏、订阅本专栏,更多精彩内容正在持续更新中。让我们一起进步,Up!Up!Up!    备注: 部分问题/难题源自互联网,经过精心筛选和整理,结合数位十多年大厂实战经验资深大佬经验总结所得,数条可行方案供所需之人参考。

**My Coding Family** 1214

本地运行大模型的工具:LM Studio一文全解析

本地运行大模型的工具:LM Studio一文全解析

2301_81888214的博客 4738

用 SAP XCO XLSX 模块优雅读 Excel:坐标、选择模式与实战案例全解析

SAP ABAP Cloud 中的 XCO XLSX 模块为 Excel 文件处理提供了官方解决方案。文章介绍了三个核心概念:通过 XCO_CP_XLSX=>DOCUMENT 获取文档句柄;使用 CL_XCO_XLSX_COORDINATE 坐标系统定位单元格;利用 Selection Pattern 精确读取数据区域。这些功能在 RAP 批量导入等业务场景中尤为实用,相比传统方案更加简洁可靠。文章还分享了真实项目中的最佳实践,如动态列定位和相对偏移技巧,帮助开发者构建更健壮的 Excel 导入逻辑。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 193

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

LM Studio 本地大模型神器!安装配置全教程

LM Studio模型下载与管理本地推理(CPU / GPU)可视化聊天界面OpenAI 接口兼容 API 服务你可以把它看作 “” 的整合体 —— 完全图形化操作,极低门槛,上手即用。模块功能模型搜索与下载(支持 HuggingFace 模型)本地模型管理与运行💬 Chat图形化聊天界面⚙ Settings推理设置 / API Server 配置提供 OpenAI 接口兼容服务,支持 VSCode / LangChain用户类型适用理由AI 初学者。

啊不行了,要长脑子了 1万+

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

用LM Studio工具部署本地AI大模型,真的太省事了!(附教程)

今天先介绍下普通人如何部署自己的本地大模型。你可能会问:为什么要自己部署本地大模型?

2301_81940605的博客 2281

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

快速部署:1分钟搞定LM Studio本地大模型(附详细教程)

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

2401_84495872的博客 2790
上一篇: DeepSeek本地化部署:3步搞定,让你的AI体验更稳定
下一篇: 一文读懂:LLM大模型RAG(附教程)
Llama-Turbo
博客等级 码龄4年 9901粉丝 2024原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值