用LM Studio工具部署本地AI大模型,真的太省事了!(普通人也能用)

LM Studio 部署本地大语言模型 注意:两层文件夹,名称无所谓,最好是 仓库名/文件名/文件。如果下载速度慢,暂停后,再恢复下载。选择使用代理,否则无法下载。注意打开局域网访问模式。2.更改模型下载目录。 阅读详情
AI摘要

本文介绍了普通人使用LM Studio工具本地部署大模型的方法,解决了国内无法访问模型源的问题。还阐述了大模型参数的含义,鼓励程序员学习大模型。此外,分享了LLM大模型的学习资源,包括经典书籍、报告合集、视频教程、开源教程及学习路线。

今天先介绍下普通人如何部署自己的本地大模型。你可能会问:为什么要自己部署本地大模型?

我想可能有这几个原因,看看是否准确:

  1. 如果你不会科学上网,是不是访问其他国外模型基本没法用,相关速度也不是快,即便科学上网,有些模型是不是还要付费订阅高级版。

  2. 自己是不是有些东西不想直接公开去给到大模型,害怕隐私和知识产品被大模型收集学到。

  3. 在某个垂直领域,是不是想训练自己的大模型,然后结合自己的产品和业务来使用。

如果现在可以帮助普通人,像安装一个电脑软件一样通过简单操作,就可以运行自己的本地大模型,在自己电脑上免费使用,速度也快,也不怕自己隐私,这个是不是能满足大部分人需要了。

今天我想给大家推荐一个比 Ollama 更加清爽的工具:LM Studio(如果你还不熟悉 Ollama,它其实是一个用于安装和管理大模型的工具), LM Studio 不仅对普通用户友好,技术人员也友好,方便地安装大模型。它提供了开发模式,让技术人员能深入了解相关参数。在用户界面方面,LM Studio 相比 Ollama 也更为出色。

针对普通人用:话不多说,直接下载

打开下载地址https://lmstudio.ai/ 下载自己电脑对应操作系统,可以看到现在MAC上的用户可以安装苹果进行优化过的MLX模型。

在这里插入图片描述

下载前看下自己电脑配置,大部分电脑是没问题,可以下载一些小的模型就好,mac的话要M1以上的电脑。

在这里插入图片描述

下载后,就可以打开LM Studio来进行相关模型的下载,安装后可以通过左侧的搜索来找对应的模型下载,下载后可以运行对应的模型就可以直接使用了,看起来很简单。

在这里插入图片描述

但是…

在安装后开始搜索模型时候,列表可以看到,但无法进行下载模型。这个时候不要慌,因为https://huggingface.co/ 在国内是无法访问的。

在这里插入图片描述

即便也有科学上网了,但是在软件内部获取模型的是通过https方式来访问的,全局代理也没有过去。

怎么办,只能找国内的同步的镜像了,可以使用 hf-mirror.com,用于镜像 huggingface.co 域名,这样对应的模型就可以正常下载。

我是MAC电脑,通过vscode和其他编辑器sublime text这些都可以,打开显示包内容用vscode打开文件,全局替换 huggingface.co,将 LM Studio 程序中所有使用到 huggingface.co链接的地方都搜索出来,用 hf-mirror.com 来替换,大概有5百多处(替换完后记得保存和重启软件,已经验证过没问题),如果是win用户也一样,直接找到软件安装地址,打开资源文件全局替换即可。

过了这个,就可以方便下载模型了,模型的选择可以看自己的电脑配置,其实LM studio也会根据电脑配置推荐,mac用户建议可以使用MLX的在mac上体验会更快,主要自己电脑配置要M1以上的电脑。

模型下载完后,根据指引就可以直接进行加载了。

在这里插入图片描述

模型加载后,就可以新建对话,先来进行个测试,在我箭头指示地方可以加载下载的离线模型,并开启对话。

这样本地的模型就可以正常运行了,你可以跟他对话,来辅助你日常相关的工作内容,这个比较适合普通人,快速搭建自己本地的大模型。

针对互联网人:想多一些理解和使用大模型

大部分互联网和技术人,这个安装和使用的过程应该很简单,在搜索的列表里也可以看到市面上各家相关的大模型,都可以去下载尝试和对比。我们在上边也看到了这么多大模型,各种参数不同的大模型,以及大模型的相关格式,这些我们是否清楚相关的概念和原理?

我们在下载模型的时候,可以看到有标识大模型参数的B,比如Llama-3.2 1B ,Llama-3.2 2B , 这些B代表着大模型的参数,那参数到底在大模型里是什么意思?理解这些参数可以更好地理解大模型。

这些参数以Billion为单位,刚才我下载的 Llama-3.2 1B 这意味着这个模型包含大约10亿个参数,而一个参数通常是模型的权重或偏置值,这些值在训练过程中被调整以使模型能够更好地进行预测,参数越多最后相关的结果就越准确,

比如在图形识别中可能就有百万计的参数来学习图像中的不同特征,如形状、大小、纹理、颜色等等,从而实现准确识别和分类。

这些参数不仅仅是数值,也是在训练过程中学习到并自动产生,这就需要海量的数据,产生的参数代表了模型如何理解和区分不同的输入数据,根据这些上亿维度的参数来最终给出相关预测的结果。

随着训练的深入,机器人不断调整这些参数,从而变得更加聪明,能够更好地完成任务,比如识别猫和狗,或者理解人类的对话。

总结下:概念和使用

整体通俗理解下,大模型和参数,大模型就是一个聪明的大脑,它通过观察大量数据图片、文字等你想让他学的一切,根据你让他学的东西,来转化成相关的参数(也就是数字,因为机器只认数字),每个参数帮助它理解数据的不同方面,比如颜色、形状或语言的含义。根据大量的数据训练的深入,不断产生、优化、调整这些参数,大脑就越聪明,能够更好地完成给他的命令。

普通人如果想玩AI大模型,使用 LM Studio 也是个不错的选择,可以安装和尝试多个模型在自己电脑上,这样隐私和你想问的问题也就更安全,速度也更快。

互联网人来说,特别技术人也可以使用他提供的本地server和 lms log stream 在命令行 来看相关模型日志。

今天的分享就写到这了,如果有什么安装和下载使用问题,都可以评论留言给我,也欢迎点赞和转发给需要的小伙伴~

程序员为什么要学大模型?

大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?”“谁的饭碗又将不保了?”等问题热议不断。

事实上,抢你饭碗的不是AI,而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后,很多中小企业也陆续进场!超高年薪,挖掘AI大模型人才! 如今大厂老板们,也更倾向于会AI的人,普通程序员,还有应对的机会吗?

与其焦虑……

不如成为「掌握AI工具的技术人」,毕竟AI时代,谁先尝试,谁就能占得先机!

但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高。

针对所有自学遇到困难的同学们,我帮大家系统梳理大模型学习脉络,将这份 LLM大模型资料 分享出来:包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点,那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集,涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程(LLaLA/Meta/chatglm/chatgpt)

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1:AI大模型时代的基础理解

  • 目标:了解AI大模型的基本概念、发展历程和核心原理。

  • 内容:

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2:AI大模型API应用开发工程

  • 目标:掌握AI大模型API的使用和开发,以及相关的编程技能。

  • 内容:

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3:AI大模型应用架构实践

  • 目标:深入理解AI大模型的应用架构,并能够进行私有化部署。

  • 内容:

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4:AI大模型私有化部署

  • 目标:掌握多种AI大模型的私有化部署,包括多模态和特定领域模型。

  • 内容:

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)👈

​

使用LM Studio与Anything LLM基于Llama-3高效构建本地知识库系统 另外,也可以选择openai或AnythingLLM,如果选择AnythingLLM,如下图所示,列表了其支持的大语言模型,选择了对应的模型点击“save changes“时,在后台会下载对应的大模型到本地。针对测试人员,可以在构建的大型模型和知识库问答应用中进行快速测试,并跟踪各个环节的结果,如embedding的召回结果是否覆盖所有知识点,可通过接口调用日志进行快速查看。针对业务专家和产品设计人员,即使不懂代码,也能快速构建产品原型,了解基于大型模型知识体系的构建过程,并能选型大语言模型。 阅读详情

相关推荐

LM Studio本地大模型部署保姆级教程

本文提供LMStudio本地大模型部署的完整教程,适合零基础用户。LMStudio是一款跨平台工具,支持Windows/Mac/Linux系统,可一键式完成模型下载、部署和交互。教程详细介绍了硬件配置要求、软件安装步骤、模型选择建议(推荐Qwen1.5-7B-Chat等中文友好模型),以及图形化操作流程。同时包含API服务配置、常见问题解决方案等内容,帮助用户在10分钟内完成离线大模型部署,无需命令行操作。

斌味代码的博客 2440

最强开源大模型炸场!全网独一份AI大模型学习实践资源...(待会删)

最强开源大模型炸场!全网独一份AI大模型学习实践资源...(待会删)

Y525698136的博客 1658

LM Studio本地部署大模型

LM Studio 是一款专为本地运行大型语言模型(LLMs)设计的桌面应用程序,支持 Windows 和 macOS 系统。它允许用户在个人电脑上无需联网即可高效部署和交互开源大模型(如 LLaMA、Mistral、GPT-NeoX 等),兼顾隐私性与灵活性。

梧桐树的博客 2498

本地LLM部署--LM Studio 初探秘

LM Studio提供了一个灵活、强大的平台,支持本地部署和微调LLM,适合对数据隐私要求较高的用户。未来可能增加更多本地化应用,如语音识别、视频分析等,随着硬件加速技术的发展,LM Studio的性能有望进一步提升,未来将支持更多的模型和插件,使得平台的适应性更强。它支持离线运行模型,并提供直观的界面,方便用户进行文本生成、模型微调和文档交互。LM Studio适合有一定技术背景的开发者和企业,特别是在数据隐私、模型微调和离线应用场景中具有独特的优势。

qq_43819568的博客 1万+

LM Studio、ollama本地部署运行多个AI

总结下来值得推荐的只有 LM Studio 和 ollama ,原因自己查。个人最喜欢 LM Studio ,所以我最后选择 LM Studio。,由 Georgi Gerganov 及社区开发,适用于 llama.cpp、Ollama、LM Studio 等轻量级推理框架。由于现在很多人使用,所以在运行的时候会很慢,为了提升效率,自己部署一台或者多台本地AI;,因为它的计算需求较低。原因二:所有运营AI都会由于过滤敏感信息,所以会存在信息丢失。我的电脑比较破,M2芯片,所以最后综合下来选择。

轻风细雨_林木木 2954

1.4 本地部署大模型实战:LM Studio让你的电脑秒变AI神器

摘要:本地部署大模型实战指南 本文详细介绍了使用LM Studio在个人电脑上本地部署大模型的完整流程。内容涵盖: 本地部署优势:数据隐私、离线可用、零API费用和高度定制化 技术要点:GGUF格式、量化技术(推荐Q4_K_M)及工具对比(LM Studio vs Ollama) 实操步骤:从模型下载、配置加载到首次对话的完整流程 性能优化:重点讲解GPU加速设置和参数调整 常见问题:安装报错、下载失败等解决方案 适合希望获得完全私密AI体验的用户,最低硬件要求为16GB内存和支持AVX2指令集的CPU。通

yonggeit的博客 3963

用LM Studio工具部署本地AI大模型,真的太省事了!(普通人也能用)大模型入门到精通,收藏这篇就足够了!

今天先介绍下普通人如何部署自己的本地大模型。_你可能会问:为什么要自己部署本地大模型?

pythonhy的博客 1223

LM Studio本地大模型搭建与远程调用全指南

摘要: LM Studio作为轻量级本地大模型运行工具,支持Windows/macOS/Linux系统,提供直观界面和模型管理功能。本文详细讲解其部署流程:1) 硬件准备:需16GB+内存、支持AVX2指令集的CPU;2) 安装配置:下载对应版本,设置模型存储路径;3) 模型选择:推荐Qwen1.5-7B等GGUF量化模型,根据显存选择Q4/Q8量化版本;4) 远程调用:启用本地服务器并配置防火墙规则,通过兼容OpenAI的API接口(端口1234)实现Python/JavaScript调用。本地部署保障数

huluang的专栏 2814

【部署本地大模型】用LM Studio工具部署本地AI大模型,真的太省事了!(普通人也能用)

今天我想给大家推荐一个比 Ollama 更加清爽的工具:LM Studio(如果你还不熟悉 Ollama,它其实是一个用于安装和管理大模型的工具), LM Studio 不仅对普通用户友好,技术人员也友好,方便地安装大模型。它提供了开发模式,让技术人员能深入了解相关参数。在用户界面方面,LM Studio 相比 Ollama 也更为出色。

2401_85325397的博客 4361

好用且简单的本地大模型聊天工具LM Studio

使用LM Studio 我们就可以很方便的加载各种模型使用了,LM Studio是我目前见到最好用,也是最简单的本地测试AI模型的工具,不需要安装python环境以及众多的组件,加载模型、启用GPU、聊天都非常简单。而且可以切换很多不同类型的大语言模型,同时支持在Windows和MAC上的PC端部署。

崎山小鹿的专栏 5172

基于STM32环境温湿度监测系统设计

基于STM32环境温湿度监测系统设计1. 实验目的2. 任务和要求3. proteus仿真图4. 实验代码 1. 实验目的 (1) 掌握使用 KEIL MDK5 进行软件开发的具体流程; (2) 掌握硬件电路的设计方法; (3) 掌握 STM32 微控制器的程序设计及代码编写方法。 2. 任务和要求 (1)在 STM32F103 平台下,通过温度传感器 DS18B20 和湿度传感器 DHT11 实现环境温湿度信息的采集; (2)将温度传感器和湿度传感器所采集的数据在 LCD 液晶屏幕上显示出来,超

唯一的博客 2万+

用LM Studio工具部署本地AI大模型,真的太省事了!(附教程)

今天先介绍下普通人如何部署自己的本地大模型。你可能会问:为什么要自己部署本地大模型?

2301_81940605的博客 2274

数据分析实战:如何用皮尔逊相关系数避免伪相关陷阱(附Python代码)

本文通过实战案例与Python代码,深入解析了皮尔逊相关系数在数据分析中的应用与常见陷阱。文章重点揭示了如何识别与避免由混杂变量导致的伪相关,并介绍了通过可视化、敏感性分析、分层分析与偏相关分析等方法来检验相关性的可靠性,帮助分析师建立严谨的相关性思维。

weixin_29051245的博客 411

用LM Studio工具部署本地AI大模型,真的太省事了!(亲测国内更换获取模型地址即可)

整体通俗理解下,大模型和参数,大模型就是一个聪明的大脑,它通过观察大量数据图片、文字等你想让他学的一切,根据你让他学的东西,来转化成相关的参数(也就是数字,因为机器只认数字),每个参数帮助它理解数据的不同方面,比如颜色、形状或语言的含义。根据大量的数据训练的深入,不断产生、优化、调整这些参数,大脑就越聪明,能够更好地完成给他的命令。普通人如果想玩AI大模型,使用 LM Studio 也是个不错的选择,可以安装和尝试多个模型在自己电脑上,这样隐私和你想问的问题也就更安全,速度也更快。

LiangGang365的专栏 9201

集群路径规划实战(一)之EGO-swarm环境搭建与调试

本文详细介绍了EGO-swarm分布式无人机集群运动规划系统的仿真环境搭建与调试全流程。内容涵盖ROS Melodic安装、代码获取、依赖库配置、编译问题解决(如multi_map_server头文件缺失)以及最终通过roslaunch启动集群仿真与Rviz可视化,为学习和研究集群路径规划算法提供了可运行的实战平台。

weixin_29243279的博客 250

ubuntu18.04 升级Ubuntu 20.04

Ubuntu 18.04升级20.04指南:首先备份重要数据,更新当前系统并检查新版本可用性(sudo do-release-upgrade -c)。确认升级后执行sudo do-release-upgrade,按提示完成操作。升级过程需耐心等待,完成后重启系统。注意:升级前务必备份数据,确保系统为最新版本,以降低风险。升级后即可使用Ubuntu 20.04系统。

https://ophome.blog.youkuaiyun.com,在IT行业有多年的工作经验,尤其是在Python、Linux、负载均衡、Nginx和服务器运维等领域。 1058

搭建本地大模型之LM Studio

之前分享了 Ollama 这次分享一下 另一款本地运行大模型的工具LM Studio

2301_81888214的博客 3万+

从想法到零件:手把手拆解一个汽车功能如何从PRD写到SSTS和CTS

本文详细拆解了汽车电子需求从市场文档(MRD)到零部件技术规范(CTS)的完整流程,以雨天自动关窗功能为例,展示了PRD、SSTS和CTS的编写要点与交互设计。文章重点解析了系统分解的艺术和零部件落地的精确参数要求,为汽车电子工程师提供了从概念到实现的全流程实践指南。

weixin_30300225的博客 481

AI大模型本地部署神器:LM Studio工具使用指南,轻松实现模型部署!

今天先介绍下普通人如何部署自己的本地大模型。你可能会问:为什么要自己部署本地大模型?我想可能有这几个原因,看看是否准确:如果你不会科学上网,是不是访问其他国外模型基本没法用,相关速度也不是快,即便科学上网,有些模型是不是还要付费订阅高级版。自己是不是有些东西不想直接公开去给到大模型,害怕隐私和知识产品被大模型收集学到。在某个垂直领域,是不是想训练自己的大模型,然后结合自己的产品和业务来使用。

2401_84204207的博客 2360

PLC期末速成——顺序功能图转梯形图

一、根据顺序功能图写出梯形图程序 顺序功能图: 梯形图: 1、程序段1,系统运行标志M0.0的启-保-停控制电路。 2、程序段2,PLC上电与逆行,初始化脉冲M1.0激活初始化步M2.0。 3、程序段3,当M2.0初始化步为活动步,并且M0.0系统运行标志位为1时,置位M2.1步,复位M2.0步。 4、当M2.1为活动步,并且I0.3中液位传感器为1时,置位M2.2步,复位M2.1步。 5、程序段5,当M2.2为活动步,并且I0.2高液位传感器为1时,置位M2.3步,复位M2.2步。 6、程序段

qq_52251819的博客 1万+

Claude Code设置中文输出指南

Claude Code 的语言配置其实并不复杂,只要做好全局的默认设置,再加上一些小的提醒技巧,就能完全避免突然切换英文的问题,让你全程用中文流畅地和 AI 助手协作,不用再被语言问题打断工作节奏,真正提升开发效率。

篮球界最会写bug的人;程序猿中打球最菜的人。 2231

用LM Studio工具部署本地AI大模型,真的太省事了,大模型入门到精通,收藏这篇就足够了!(附教程)

今天我想给大家推荐一个比 Ollama 更加清爽的工具:LM Studio(如果你还不熟悉 Ollama,它其实是一个用于安装和管理大模型的工具), LM Studio 不仅对普通用户友好,技术人员也友好,方便地安装大模型。

Y525698136的博客 1712

YOLO26跨时代升级!YOLO26 MLCA注意力机制解读

摘要: 本文提出了一种基于多级上下文聚合(MLCA)注意力机制的改进卷积神经网络。MLCA模块通过局部和全局注意力机制动态调整特征图权重,结合了ECA注意力与自适应池化,显著提升特征表达能力。实验表明,添加MLCA后模型mAP提升12.11,准确率提高5.43。文中详细解析了MLCA1模块的工作原理,包括局部/全局池化、卷积操作和注意力加权机制,并介绍了集成MLCA的Bottleneck_MLCA模块。该机制通过多层次特征融合,在保持计算效率的同时增强模型对关键特征的敏感性。最后提供了YOLOv26-MLC

m0_71589036的博客 283
上一篇: Llama 2 + GPT4All + Chroma实现100%本地化RAG
下一篇: 如何在本地部署大语言模型:工具与指南
Llama-Turbo
博客等级 码龄4年 9901粉丝 2022原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值