关于LLM，回答一个好问题（4.7-4.13）-优快云博客

本文链接：https://blog.youkuaiyun.com/fufan_LLM/article/details/147285868

🎉 公益性质的「赋范大模型技术社区」现已集结超3W大模型技术学习者、爱好者！干货技术帮助超400W次成长！

🔸 写在前面 🔸

作为中文互联网头部大模型技术学习聚集地，除了前沿、硬核的干货内容，还有专门负责社群的同事，维护良好的学习氛围，帮助每个阶段的小伙伴都能在社群内获得自己需要的干货内容。

而社区交流，一直是「赋范大模型技术社区」不可或缺的一部分，社区内的成员技术、知识、观点的交流，有问题一起解决的学习氛围，是加速成长的秘籍。

虽然负责社群运营的小伙伴一直用心管理，但现在社群数量已经接近80个，会出现已有问题被重复回答，或是问题较多，自己的问题被遗漏的情况。

能提出一个好问题，本身就是一件非常有价值的事情！

虽然是公益性质的社区，但仍希望能尽可能的解决大家的问题，做起来会很困难，但是“为每个人提供有价值的技术赋能”是我们一直以来的企业愿景，也是「赋范大模型技术社区」建立的初衷。

在这样的前提下，我们发起了“回答一个好问题”栏目！精选往期精华问答及高频问答（不限于老师的回答），并由专人进行维护、整理和编辑，目的是帮助大家更好的学习！

🔎 本期Q&A 🔎

Q1：想本地部署大模型，笔记本5090可以吗？

50系列显卡现在还是太新了，各种兼容性还不是很好，具体要看所选框架能不能配50系列显卡，50系列可能还得等个半年左右，才会适配比较好；另外，单卡搞不了太大的模型喔～

Q2：「全量指令微调」和「预训练」需要的算力大小是不是一样的呢？

不一样。一般预训练需要的时间长很多，所以我们会加显卡来降低时间，但是全量指令微调和预训练所需要的【最低显卡标准】是一致的，能跑圈全量指令微调的机器也能跑预训练，只是时间问题

	数据量	GPU需求	训练时间
预训练	TB级	数十到数百张	数周到数月
全量微调	GB级	几张到十几张	数天到数周

Q3：全量微调70b fp16精度的模型，需要多少算力呢？

llama-factory给的标准来看，最低1200G显存，加上数据、推理之类的，也就是20张80G的显卡（20张H800，如果能有的话）

ps：社区已上线相关的硬件配置自查表喔～

Q4：建立公司自己的知识库，应该如何实施？各部门都有自己的数据和规范，如何整理一个统一的规范？

1️⃣数据格式不统一，比如文档/表格/PPT/邮件，是需要通过不同文档类型的策略优化针对性的调整

2️⃣同时对于不同的场景，比如简单QA 适用于扁平化文档检索，往往采用 Naive RAG 实现，而复杂问答、跨域分析一般采用的是 GraphRAG 架构，目前整个企业级的 RAG解决方案都是采用混合索引和混合检索的方式实现。

3️⃣这部分内容我们课程都有非常详细的讲解，比如最近更新的 GraphRAG，就支持图像、PDF、数据库、CSV 等各类型数据的整合，也有知识库隔离（比如不同部门用自己的知识库）和统一知识库（共用一个知识库）的解决方案。

Q5：modelscope上虽然都是DeepSeek-V3-0324-GGUF的模型文件，为什么unsloth和yanfeisong的safetensors文件不一样，应该如何选择呢？

各个不同的组织采用的量化方法各不相同，效果往往也不太一样。现在来说unsloth效果往往是比较好的

Q6：下载模型的时候，如果使用浏览器download，如何知道文件没有损坏呢？

使用modelscope或者huggingface，都会在下载完的时候自动进行完整性校验；另外这两种工具也都支持断点续传，所以中间暂停了问题也不大～

Q7：为什么刚注册的openweathermap的API用不了？

刚注册完Open-Weather，需要等几个小时API才能生效

Q8：权重参数，是部署时候设置的还是训练出来就固定的？

模型权重的精度是固定的，下载什么精度就只能运行什么精度

Q9：模型的量化版本是什么？量化之后的模型能再进行训练吗？

量化就是压缩参数的占用空间。类似压缩和解压。比如模型原来的参数是用的fp16，占2字节，量化到int4，就是压缩到4 bit的容量来存储。推理的时候再反量化。但这个是有损压缩，所以对推理的效果会下降

另外，量化之后再训练基本上是不可行的，一个1.5B的模型再次进行增量预训练，至少需要双卡A100服务器，有训练模型的算力，不如部署更大的模型。一般来说模型训练是模型推理所需算力的4-5倍。并且量化模型其实并没有想象当中性能那么差，DS的量化模型，整体性能要比蒸馏模型强很多

Q10：小白大模型学习路线应该是怎样的呢，要先学原理嘛

看实际工作和应用需求，如果主要侧重于应用开发，可以直接上手学习RAG、微调和Agent开发技术，如果是侧重于模型训练或者是求职需求，那原理会很重要～

❓ 猜你想问 ❓

1、为什么我的问题没有得到解答？

大模型技术社区为公益性质社区，不提供付费问答哦~如果你的问题没有得到解答，大概率是

群内的大家都比较忙，问题被遗漏了
问题过于笼统，不了解具体情况是没办法提供帮助的哦

例如-提问：如何打造一个行业智能体？

建议提问方式：我是xx领域，希望解决xx问题，通过xx技术是否能实现？可以达到xx效果吗？

提问被判定为讨论性质的内容，群友不感兴趣也就不会进行回答哦
其他未知情况~

2、该如何保障回答质量与真伪？

赋范大模型技术社区为公益性质社区，非官方发布资讯无法保证真伪，群友的回答可以作为你的参考哦。而本文整理问答经过：

专人整理与编辑
大模型初筛并判定可信度
一线总监级技术大佬复核

3、如何更快找到相关答案？

群友卧虎藏龙，欢迎在社群内提问呀~
九天老师每周直播，除了超硬核的前沿、干货内容，还会在中场和临近结束时进行答疑，千万别错过啦！
QA文档会收录至大模型技术社区，借用飞书左上角的智能搜索，也能很方便找到相关答案哦~

🗺 加入我们 🗺

📍更多大模型技术相关内容，⬇️请点击原文进入赋范大模型技术社区即可领取～

为每个人提供最有价值的技术赋能！【公益】大模型技术社区已经上线！内容完全免费，涵盖20多套工业级方案 + 10多个企业实战项目 + 400万开发者筛选的实战精华～不定期开展大模型硬核技术直播公开课，对标市面千元价值品质，社区成员限时免费听！