【AI大模型】这可能是最简单的本地大模型工具，无须部署，一键使用

关注

原创 2024-10-26 16:54:30 1.1k 阅读 AI 写同款· GEO 优化 ›

【人工智能】本地搭建AI模型Gemma 最近看到google的gemma模型很火，因为模型较小对于但功能强大，大模型虽然很好但对于我们普通人来说过于遥远，不管是训练的token来说还是模型的复杂度，小模型都比不上，但是小模型的对于我们的训练成本没有那么高但是可以体验到不一样的感觉。阅读详情

前言

不需要配置环境，不需要部署，不需要自己找模型。小白也可以打开即用的本地大模型使用工具来了，下面就谈一谈我的使用感受和心得：

LM-Studio

在这里插入图片描述

那么问题来了，为什么我要在本地部署大模型？

个人使用下来，最吸引我的有这三点：

隐私性：

网络大模型你的输入都是要上传的云端的，也就是你的隐私肯定会被大模型服务商所获得，这也是为什么那么多公司内部禁止使用网络大模型的原因。而且由于安全和审核机制，你所需要的或者发送的敏感的内容会被屏蔽。但是本地部署，数据完全由自己掌握。

定制性：

目前大部分免费使用的大模型都是通用模型，就那几种，虽然可以通过提示词约束，但是内容生成大部分时候只是差强人意。本地部署，你将拥有整个开源世界的微调模型，医疗，法律，学术，动漫，感情，你即使不去定制自己的模型，也将拥有专业的各领域专家来帮你解决你能想到的大部分问题。更不必说定制自己的专属模型的可能性。

成本和体验的优化：

首先承认大部分开源模型的上限是没有闭源模型高的，但是很多时候闭源模型的响应感受会受到网络，当前访问人数的限制。除非你愿意开会员，即使你愿意开会员，目前除了gpt-4o。大部门模型的响应是一个字一个字往外蹦的，尤其某些厂商做的恶心限制，离开网页就停止输出（某一言）如果你本地有一个还行的显卡，你会感受到原来大模型回答原来可以很迅速。

工具功能特点和使用方式介绍：

下载即exe，安装后即可使用，本体不到500m（提供mac和linux版本）

首页提供搜索功能和一些模型的推荐

你可以直接搜索并下载开源世界的大模型（目前看基本上huggingface，需要梯子）并下载使用，推荐模型会给出介绍。如他的来源是什么，他是多少参数的大模型，什么功能，是否经过量化处理，本地运行至少需求多少内存，占用多少硬盘空间。

在这里插入图片描述

模型下载管理：

注意！无论设置什么目录，模型目录必须有如下层级结构，否则会找不到模型：

聊天界面：

模型偏好设置

在聊天界面右上角有个设置功能，可以帮助我们更好的个性化使用，我会给出一些比较常用的参数设置解释

模型初始化角色配置

在这里插入图片描述

Preset 可以选择不同模型的初始化设置，你也可以设置自定义的模型使用配置，包括不限于，系统角色初始化提示词（system prompt）,回答的随机程度，系统使用内存和显存的占比等。

模型回答内容控制：

设置模型记忆上下文长度（content length），采样温度(temperature)介于 0 和 1 之间。较高的值（如 0.7）将使输出更加随机，而较低的值（如 0.2）将使其更加集中和确定性，最大生成内容长度（tokens to generate），默认-1由大模型决定生成长度。

模型内容****质量控制

Top k ：模型回复时所考虑的回复质量占总体回复的质量比例，总体来说比例越高，回答的质量越高，效果也越单一。

Repeat penalty: 模型重复惩罚，越高模型回答的内容重复性越低

CPU threads: 占用线程。经过尝试，增加占用线程对模型响应速度有少量提升，效果不明显。

显存内存使用占比：

没什么可说的，显存能撑住的情况下，拉到最大，内存的速度比显存慢多了。

使用速度体验：

2060 8g 显卡，7B Q4量化模型（基于llama3 微调的中文模型）。生成token速度为31t/s左右（比大部分网络模型响应快一倍左右），感受还是很不错的，如果完全不使用显存只使用内存，速度约5t/s 只能说能用。

kimi效果：

这个软件可以直接搜索官网mstudio.ai下载。

如何学习大模型

现在社会上大模型越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。

作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

在这里插入图片描述

二、AI大模型视频教程

在这里插入图片描述

三、AI大模型各大学习书籍

在这里插入图片描述

四、AI大模型各大场景实战案例

在这里插入图片描述

五、结束语

学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时，掌握AI大模型还能够为我们的职业发展增添竞争力，成为未来技术领域的领导者。

再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。

因此，学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。