有电脑就能用,像 ChatGPT 那样提问|开源、傻瓜、一站式部署本地大语言模型

智谱AI发布国产最强大模型GLM4,理解评测与数学能力仅次于Gemini Ultra和GPT-4,编程能力超过Gemini-pro,还有对标GPTs商店的GLMs 这是在智谱AI开发者大会上推出的新一代基座大语言模型,GLM4相比较此前最大的特点是三个变化:性能全面提升、上下文长度更长、支持更强的多模态能力。GLM4(GLM4)详细信息 | 名称、简介、使用方法,开源情况,商用授权信息 | 数据学习 (DataLearner) 阅读详情

LM Studio 是一款将目前主流大模型 LLM 元素打包在一起的工具,可以让你在自己的电脑上,“0门槛”运行本地大语言模型 LLM,并且用起来就像 ChatGPT 那样。支持 Windows、macOS、Linux。@Appinn

图片

傻瓜、一站式部署本地大语言模型,大概就是打开电脑 > 双击运行程序 > 开始提问 > 获得 AI 回答这样三步走。

LM Studio

我觉得 LM Studio 就是这样的软件,它长这样:

图片

你唯一需要操心的事情,就是挑选模型,然后下载使用,就好了。

不过整个软件的难点也在这里,因为…目前的主流模型托管网站 huggingface 它不能访问 😂

于是,用镜像也不是不行。

下载模型

直接在目前可用的镜像网站 HF-Mirror 搜索你需要的模型,比如 Meta-Llama-3.1-8B-Instruct-GGUF,然后找到对应的 Files 页面,挑选你需要的模型,点击那个下载按钮

图片

最终,你将得到一个类似 Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf 的文件,很大,一般都好几个 GB。

安装模型

LM Studio 默认的模型保存路径在 C:\Users\**appinn**.cache\lm-studio\models,可以更换:

图片

不过这里注意,你需要使用 ${Publisher}/${Repository}/${ModelFile}这样的路径结构,如上图第二个红色框框,需要将手动下载的 .gguf 模型文件保存在路径的两级文件夹下才能正确识别。

然后,就能提问了。会自动使用你的 CPU、GPU…

获取

  • 官网 https://lmstudio.ai/

​

如何学习AI大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

用ollama本地部署Lamma3.1 ollama create 自定义模型名字 -f Modelfile。让lamma3.1写一个贪吃蛇小游戏,一次run成功。例如:ollama run llama3.1。例如:ollama run llama3.1。 阅读详情

相关推荐

Windows 中 利用 ollama 来搭建 deepseek R1

近年来,大模型凭借其强大的语言理解和生成能力,在自然语言处理、计算机视觉等领域取得了突破性进展。从GPT系列到国内的,文心一言、[Qwen]、,大模型已成为推动人工智能发展的核心力量。ollama作为新兴的大模型搭建工具,以其开源、高效、易于部署的特点,在人工智能开发者社区中崭露头角,为大模型的搭建和应用提供了新的解决方案。在当今数字化浪潮中,人工智能的发展可谓日新月异,而大模型作为其核心驱动力,正重塑着各个行业的格局。

一个专注于机器学习基础与实战的技术博客,内容涵盖算法推导、模型实现、数学原理与代码实践。用通俗的语言解析复杂概念,记录学习过程中的思考与总结,适合机器学习爱好者和从业者参考。 2554

使用 Ollama 本地运行各种 LLM

今天看看另外一个产品Ollama。Ollama 的安装非常简单,只需从官网(https://ollama.com/download)下载后解压缩,并在 Terminal 中运行脚本即可完成环境设置。我尝试运行 Llama3,虽然在运行时占用了大量电脑资源,使得其他应用运行变慢,但整体体验尚可。Ollama 支持多种大型语言模型(https://ollama.com/library)。

python123456_的博客 1736

WEB界面上使用ChatGPT

可以使用gpt4、gpt3.5,还有添加了不同先验知识的其他版本的智能问询,比如具备python先验知识的python版本,比如加入了cubestudio本身的先验知识的cubestudio版本,通过先验知识的添加,结合gpt的智能,生成可以更准确解答特定问题的私有知识库。项目有体验地址,也可以根据github上的部署文档自行部署,部署之后即可使用。进入平台WEB界面后,点击“数据智能”,可看到不同版本的智能问询。

小白白的博客 2079

AI大模型探索之路-基础篇5:GLM-4解锁国产大模型的全能智慧与创新应用

随着人工智能技术的飞速发展,大型预训练语言模型已成为推动行业进步的重要力量。它们在理解自然语言、生成文本、执行复杂任务等方面展现出惊人的能力。在此背景下,国产大模型GLM-4的问世,不仅展现了中国在AI领域的实力,也为国内外研究者和开发者提供了新的研究与应用平台。

寻道AI,探索AI无限可能! 8684

【AI+实战】零基础部署私人ChatGPT网站:从NextChat到功能定制

本文详细介绍了如何从零开始部署私人ChatGPT网站,使用NextChat(ChatGPT-Next-Web)开源项目实现功能定制。从获取OpenAI API密钥到选择部署平台(如Vercel),再到界面样式修改和接入其他AI模型,提供了全面的实战指南。适合希望拥有专属AI助手的用户,尤其适合注重隐私和功能定制的场景。

weixin_33738555的博客 394

ChatGPT-Next-Web使用技巧大全,教你如何用好gpt

本文适用于对该程序有了初步了解的用户,我们整理了多个能够提升使用AI效果的方法和技巧,如果你能逐个掌握,相信会给你的工作和学习带来更多的帮助。

sunsky89757的博客 6299

LocalAI 本地AI部署实战指南:无GPU电脑也能跑大模型的开源引擎

你是否也遇到过这样的尴尬:看到别人用大模型做得风生水起,自己却因为"没有高性能显卡""不想把数据传到云端""订阅费用太贵"而迟迟没能动手?别急,今天要介绍的 **LocalAI 本地AI部署** 方案,正是为了解决这些困扰而生的开源项目——它把 LLM、视觉、语音、图像甚至视频模型统统装进你的普通电脑里,完全不需要 GPU 也能运行,而且 API 接口与 OpenAI 规范高度兼容,学习成本几乎为

gitblog_00956的博客 967

2024年私有化部署开源大模型:从硬件选型到Ollama实战指南

大语言模型(LLM)作为当前人工智能领域的核心技术,其原理基于海量数据的自监督学习与Transformer架构,能够理解和生成接近人类的文本。这项技术的核心价值在于将强大的认知与生成能力赋予机器,使其能广泛应用于智能对话、内容创作、代码编程和数据分析等场景。随着模型量化与高效推理框架的发展,模型的部署门槛已大幅降低,使得在消费级硬件上进行私有化部署成为可能。本文聚焦于开源大模型的本地化部署实践,详细介绍了如何利用Ollama等工具链和量化技术,在个人电脑上快速搭建一个数据不出本地的AI助理,并探讨了RAG(

weixin_33744854的博客 584

微软开源“傻瓜式”类ChatGPT模型训练工具,成本大大降低,速度提升15倍

一个 130 亿参数的类 ChatGPT 模型,训练时间只需要 1.25 小时。

AMiner2006的博客 650

Tessy学习系列(三):单元测试——官方例程isValueInRange

注意:工程名称以及路劲不能包含空格和中文

不吃鱼的猫的博客 2348

科研党必备:5分钟搞定Arxiv论文批量导入NoteExpress(附PDF自动下载技巧)

本文为科研人员提供了一套高效的自动化工作流,实现从Arxiv批量检索论文、自动下载PDF到无缝导入NoteExpress的全过程。通过Python脚本和NASA ADS等工具,可大幅提升文献管理效率,特别适合需要追踪前沿动态的研究生和科研团队。

orange的博客 398

微软开源“傻瓜式”ChatGPT训练工具,一大波套壳产品即将来临?

当地时间 4 月 12 日,微软宣布开源 DeepSpeed-Chat,帮助用户轻松训练类 ChatGPT 等大语言模型。据悉,Deep Speed Chat 是基于微软 Deep Speed 深度学习优化库开发而成,具备训练、强化推理等功能,还使用了 RLHF(基于人类反馈的强化学习)技术,可将训练速度提升 15 倍以上,而成本却大大降低。如下图,一个 130 亿参数的类 ChatGPT 模型,...

程序猿DD 416

RK3588嵌入式开发:从零构建Rockit多媒体处理引擎的实战指南

本文详细介绍了如何在RK3588嵌入式平台上从零构建Rockit多媒体处理引擎的实战指南。涵盖开发环境搭建、工具链配置、源码编译流程、硬件加速优化及典型问题解决方案,帮助开发者高效利用RK3588的NPU和VPU加速特性,实现高性能多媒体处理应用。

mango的博客 187

大语言模型本地部署入门:从零到一运行你的第一个LLM

大语言模型(LLM)作为当前人工智能领域的核心技术,其本质是基于海量文本数据训练出的复杂模式预测器,通过Transformer架构中的注意力机制等原理,实现了对自然语言的深度理解和生成。这项技术的核心价值在于将前沿AI能力从云端服务转化为可本地部署、私有化控制的工具,极大地促进了技术民主化与个性化应用。在工程实践层面,本地部署LLM主要涉及模型推理、环境配置与资源优化等关键环节,尤其适合对数据隐私有要求、希望深度定制或进行实验开发的场景。本文聚焦于**大语言模型(LLM)**的**本地部署**实践,通过详解

dfdfadsf3443的博客 518

使用LogisticRegression和LightGBM模型对信贷违约进行预测----基于kaggle比赛数据

3.分离数值型变量与类别型变量,发现有些数值型变量因为输入不规范,比如数值中含有字符(28_,_10000_等)被划分为类别型变量 ,比如 'Age','Annual_Income','Num_of_Loan', 'Num_of_Delayed_Payment', 'Changed_Credit_Limit','Credit_Mix','Monthly_Balance', 'Outstanding_Debt' ,'Amount_invested_monthly'等。三、分箱,woe编码,计算IV值。

I_am_a_big_tiger的博客 1682

基于STM32与ESP8266的MQTT协议实现阿里云物联网平台远程LED控制

本文详细介绍了如何利用STM32单片机与ESP8266 Wi-Fi模块,通过MQTT协议连接阿里云物联网平台,实现远程控制LED灯的完整物联网项目。内容涵盖硬件连接、阿里云平台配置、MQTT协议与AT指令解析、STM32代码实战以及数据解析与调试技巧,为嵌入式开发者提供了一个清晰、实用的物联网入门实践指南。

svm4gardener的博客 794

学生党与独立开发者的高性价比AI方案:开源模型本地部署实战指南

大语言模型(LLM)作为当前人工智能的核心技术,其原理在于通过海量数据训练,学习并生成人类语言。这项技术的核心价值在于将强大的自然语言理解和生成能力赋能给各类应用。在实际工程实践中,如何以可控的成本、稳定的服务获取这种能力,是许多开发者和学生群体面临的关键挑战。开源模型的兴起为此提供了极具吸引力的解决方案。通过本地部署或国内云服务部署开源LLM,如Llama、Qwen等系列模型,用户不仅能实现低延迟、高隐私的访问,还能深度集成到个性化工作流中,例如利用RAG技术构建本地知识库,或通过IDE插件提升编程效率。

weixin_30423977的博客 302

SCADA|KingSCADA通过组合框选择修改变量的值

《SCADA项目中组合框控件的使用方法》 本文详细介绍了SCADA系统中组合框(下拉框)控件的应用方法。通过具体示例演示如何实现:当选择"雷工笔记"时变量值为100,选择"雷工杂谈"时为200,选择"小李食代"时为300的功能。主要实现步骤包括:1)创建项目并添加组合框控件;2)设置Items选项及对应数值;3)创建内存变量;4)使用GetCurrentIndex()和GetItemData()方法;5)在选项变化事件中编写脚本。该控件在SCADA

做有价值的事,积累有价值的笔记! 867

Sealos + LobeChat ,平替 ChatGPT Plus?(上,部署篇)

Lobe Hub,又名 Lobe Chat 是一Sealos个开源的高性能聊天机器人框架,支持语音合成、多模态和可扩展的函数调用(Function Call)插件系统。它支持多模态,支持一键部署,可在 1 分钟内完成安装到第三方免费服务器上,您和你的团队(亲朋好友)通过互联网使用!另,如果你选择”Vercel 部署“,部署后,也可以按这个方式,把你自己的服务器使用 PWD 技术安装到桌面!注意,你如果是 GPT4 的 key,默认开通全部 GPT 模型,包括 3.5,4.0,4.0 多模。

weixin_47051830的博客 3520

由异常的测试眼图引发的深入思考

信号测试中出现“双眼皮”的眼图测试效果,可能的导致因素总结如下:PCB通道阻抗设计不匹配,负载端出现严重反射;发射端采用了不当的信号预处理;接收器均衡处理不当;通道串扰严重... 基于以上的假设,本文就逐一分析下这些因素到底是如何对正常的信号眼图造成影响的。

一只豌豆象的博客 3064

ABAP SQL Hierarchy 全景参考,组织树、分类树与递归查询在数据库层的优雅落地

ABAP SQL中的hierarchy语法为树形数据结构处理提供了高效方案。S/4HANA系统中常见的成本中心、利润中心、物料分类等树形结构,传统开发需通过递归和嵌套循环处理,而ABAP SQL hierarchies通过将层级遍历能力下沉到SQL层,借助SAP HANA的层级函数支持,实现了更高效的查询。 该功能要求ABAP 7.51+版本,支持两种实现方式:CDS hierarchy用于创建可复用的稳定层级模型,适合业务核心数据;ABAP SQL HIERARCHY generator则适用于临时性层级

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 314

AI大模型学习路径:从零到本地部署与核心技能实战

Transformer架构和自注意力机制是当今大语言模型(LLM)的核心基础,它们通过并行处理序列数据,实现了对长距离依赖关系的强大建模能力。这一技术突破推动了生成式AI的快速发展,使其在内容创作、信息总结和复杂推理等场景展现出巨大价值。为了高效利用大模型,开发者需要掌握提示工程、模型微调(Fine-Tuning)和检索增强生成(RAG)等核心工程实践。本文基于实践者的学习路径,系统梳理了从建立认知、低成本体验、本地部署到深入核心技能的完整行动地图,旨在帮助学习者快速上手,构建本地智能应用。

weixin_33739627的博客 471

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

重磅解读 | 基于ChatGPT的开源全能 SQL Translator 4.3k star 背后的爆款神器!

本文介绍了一款名为SQLTranslator的开源AI工具,它能实现自然语言与SQL语句的双向转换,帮助非技术人员快速生成查询语句,同时支持将复杂SQL翻译为易读的自然语言描述。该工具具有语法高亮、深色模式、Schema感知等实用功能,基于OpenAI API开发,支持本地部署。相比同类工具,SQLTranslator在功能全面性、用户体验和社区热度方面表现突出,特别适合数据分析、业务文档编写、教学等场景,为不熟悉SQL的用户提供了便捷的数据分析入口。

986

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

LobeChat私有化部署:比ChatGPT省90%成本

本文介绍了如何在星图GPU平台自动化部署LobeChat镜像,实现低成本、高安全的私有化AI客服系统。基于该平台,用户可快速搭建支持RAG知识库的智能对话应用,让AI精准回答产品咨询,适用于企业客服、营销等场景,无需专业IT团队即可完成部署与运维。

SilverMoon18的博客 612

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

【教程】降维打击!微调ChatGPT3.5后直逼GPT4!收费怎样?可以本地吗?一篇说清楚!

还有同学是几年前的老爷机/笔记本,显卡不好,我们应用了动态运输技术框架,直接提升超40%运算效率,无显卡2g内存就能跑,直接焕发第二春;【nlp群】很多小朋友都跟着官方的教程去微调,发现很多问题,雄哥团队跑了之后,发现官方教程很多坑,没跑过的,绝对不知道这些坑在哪!雄哥团队整理了一份五千条“心理咨询”数据,得到的是温柔耐心的大姐姐,对比ChatGPT的序号1234的风格,简直太治愈了~如果你还不知道该怎么微调训练模型,在这里还可以学训练和微调,跟着一步步做,你也能把大模型的知识真正应用到实处,产生价值。

ouhuixiong的博客 724

Ollama本地大模型部署指南:从零到一运行你的私有AI

大语言模型(LLM)作为人工智能的核心技术,其部署与应用正从云端向本地迁移,以满足数据隐私和定制化需求。其原理在于通过模型量化与高效推理框架,将庞大的神经网络压缩至可在个人计算机上运行。这项技术的核心价值在于实现了数据的完全本地化处理与离线可用性,为开发者和企业提供了安全、可控的AI基础设施。典型的应用场景包括私有化知识库问答、代码辅助编程以及敏感数据处理。本文聚焦于Ollama这一本地大模型运行与管理框架,它通过封装GGUF模型格式与Modelfile配置,实现了模型的“一键运行”,极大地简化了本地部署流

weixin_34297704的博客 436
上一篇: 什么情况用Bert模型,什么情况用LLaMA、ChatGLM类大模型,咋选?
下一篇: 用Langchain创建一个可以总结网页内容的Agent
AI_小站
博客等级 码龄3年 6255粉丝 1154原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值