大模型之二十-中英双语开源大语言模型选型

已于 2023-12-21 17:08:38 修改
阅读量2.1k 收藏 2
点赞数 2
分类专栏： 神经网络&人工智能 文章标签： 语言模型 人工智能 自然语言处理
于 2023-11-17 23:40:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/shichaog/article/details/134454468
版权
本文介绍了当前热门的开源大语言模型，如LLaMA-2、ChatGLM等，强调了在海量模型中选择适合自己业务场景的关键因素，包括模型大小、许可条件、性能和数据工程的重要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

从ChatGPT火爆出圈到现在纷纷开源的大语言模型，众多出入门的学习者以及跃跃欲试的公司不得不面临的是开源大语言模型的选型问题。
基于开源商业许可的开源大语言模型可以极大的节省成本和加速业务迭代。
当前（2023年11月17日)开源的大语言模型如下：

模型 所属公司 发布时间 开放模型 许可 词表大小 语料 Huggingface下载量 模型结构 位置编码 激活函数 隐变量维度dimension 自注意力头的个数n heads 层数n layers 输入序列长度sequence length 训练时长
LLaMA-2 Meta 2023年8月 7B 13B 70B 允许商用，月活超7亿需向Meta申请许可 32000 2.0T 70B-chat下载量1.69M，变种还有若干 Casual decoder RoPE SwiGLU Pre RMS Norm 7B 4096, 13B 5120, 70B 8192 7B 32, 13B 40, 70B 64 7
了解本专栏 订阅专栏 解锁全文 超级会员免费看
AI大模型探索之路-训练篇25：ChatGLM3微调实战-基于LLaMA-Factory微调改造企业级知识库
寻道AI，探索AI无限可能！
05-20 1万+
在当前信息技术迅猛发展的时代，知识库的构建与应用已成为企业竞争的关键。随着自然语言处理技术的不断进步，基于微调的企业级知识库改造落地方案受到越来越多的关注。在前面的系列篇章中我们分别实践了基于CVP架构-企业级知识库实战落地和基于基于私有模型GLM-企业级知识库开发实战；本文将深入探讨和实践一种基于微调技术的企业级知识库改造方法，以期为企业提供更加高效、安全和可靠的知识管理解决方案。
19.4 《2024开源大模型王者榜：TOP10谁是最强王者？开发者选型必看》
yonggeit的博客
03-17 68
开源大模型评测, Open LLM Leaderboard, 模型性能对比, 评测指标体系, 模型选型策略。
想要学习大语言模型？这些开源模型带你轻松入门！（附论文和代码）
2401_82426425的博客
01-19 734
TransformerXL就像是Transformer的加强版，专门为了处理那些长篇大论的文本而设计的，它会把把文本切成一段段的，然后让这些段落之间能记住彼此的信息，还有一种特别的方式来理解单词之间的位置关系。它训练了好几种语言，用了大量的文本数据，参数有高达1760亿个！一种预训练语言模型方法，这个模型用了一种特别的办法，叫做广义回归预测，这样它就能像我们人类一样，在理解文本的时候既看前面的内容，也看后面的内容，还借鉴了Transformer-XL模型的思路，所以它处理双向文本信息的能力超强。
开源大语言模型完整列表
stone1290的专栏
06-23 8902
Large Language Model (LLM) 即大规模语言模型，是一种基于深度学习的自然语言处理模型，它能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。所谓"语言模型"，就是只用来处理语言文字（或者符号体系）的 AI 模型，发现其中的规律，可以根据提示 (prompt)，自动生成符合这些规律的内容。LLM 通常基于神经网络模型，使用大规模的语料库进行训练，比如使用互联网上的海量文本数据。
2025年推荐使用的开源大语言模型top20：核心特性、选择指标和开源优势
最新发布
m0_65595995的博客
04-16 1597
随着人工智能技术的持续发展，开源大型语言模型（LLMs）正变得愈发强大，使最先进的AI能力得以普及。到2025年，开源生态系统中涌现出多个关键模型，它们在各类应用场景中展现出独特优势。大型语言模型（LLMs）处于生成式AI革命的前沿。这些基于Transformer的AI系统依托数亿至数十亿的预训练参数，能够分析海量文本并生成高度拟人化的响应。尽管像ChatGPT、Claude、谷歌巴德（Gemini）、LLaMA和Mixtral等专有模型仍占据主流地位，但开源社区已迅速崛起。
开源大型语言模型(llm)总结
deephub
06-17 6409
大型语言模型在ChatGPT以后经历了快速的发展。这些发展包括模型规模的增加、领域专精化、语义理解和推理能力的提升、训练效率和速度的提高，以及对偏见的理解和应对等方面。除了以上6个比较好的开源大语言模型外，还有各种不同版本，所以HuggingFace创建了一个排行榜（leaderboard）作者：Varun Mathur。
开源语言大模型
weixin_41888295的博客
04-08 418
开源语言大模型是一种基于深度学习的自然语言处理模型，它通过对大量文本数据进行训练，从而实现对语言的理解和生成。通过了解原理、选择合适的模型、正确应用以及遵循实践中的正确姿势，我们可以更好地利用这些模型解决实际问题。模型规模：模型规模越大，其处理能力越强。持续关注更新：开源语言大模型领域的技术发展很快，我们需要持续关注模型更新和新技术的发展，以便及时应用到实践中。因此，在选择模型时，需要了解模型所使用的训练数据来源和质量。遵循最佳实践：了解并遵循开源语言大模型的最佳实践，可以避免常见错误，提高模型性能。
开源大语言模型(LLM)汇总（持续更新中）
热门推荐
略懂……略懂……
04-06 2万+
随着ChatGPT的火爆，越来越多人希望在本地运行一个大语言模型。为此我维护了这个开源大语言模型汇总，跟踪每天不发的大语言模型和精调语言模型。
DeepSeek引爆开源模型新纪元-开源大语言模型汇总与技术生态全景
m0_60674045的博客
02-08 1278
本文详细介绍了国内外主流开源大语言模型（包括 Meta 的 LLaMA 2、Mistral 7B、百川智能的 Baichuan、清华智谱的 ChatGLM 系列、阿里的 Qwen 系列以及 DeepSeek LLM），并展示了大模型技术架构图谱、生态对比和选型建议。开源 AI 的蓬勃发展为开发者、企业和普通用户带来了更多自主创新和定制的机会，同时也在推动整个 AI 生态的民主化和普惠性。如果你对大模型技术、开源生态或如何部署这些模型有疑问，欢迎在评论区留言交流。
大模型项目整体规划、技术选型和案例分析经验分享
安静的软件工程师
04-14 2227
大模型项目整体规划、技术选型和案例分析经验分享
整理了上百个开源中文大语言模型，涵盖模型、应用、数据集、微调、部署、评测
2301_78285120的博客
12-17 3930
自ChatGPT为代表的大语言模型（Large Language Model, LLM）出现以后，由于其惊人的类通用人工智能（AGI）的能力，掀起了新一轮自然语言处理领域的研究和应用的浪潮。尤其是以ChatGLM、LLaMA等平民玩家都能跑起来的较小规模的LLM开源之后，业界涌现了非常多基于LLM的二次微调或应用的案例。本项目旨在收集和梳理中文LLM相关的开源模型、应用、数据集及教程等资料，目前收录的资源已达100+个！
整理开源的中文大语言模型100+个，以规模较小、可私有化部署、训练成本较低的模型为主...
datayx的文章
12-07 4764
向AI转型的程序员都关注了这个号????????????自ChatGPT为代表的大语言模型（Large Language Model, LLM）出现以后，由于其惊人的类通用人工智能（AGI）的能力，掀起了新一轮自然语言处理领域的研究和应用的浪潮。尤其是以ChatGLM、LLaMA等平民玩家都能跑起来的较小规模的LLM开源之后，业界涌现了非常多基于LLM的二次微调或应用的案例。本项目旨在收集和梳理中文LLM相关的开源...
人工智能大模型之开源大语言模型汇总（国内外开源项目模型汇总）
丨汀、的博客
06-19 4717
人工智能大模型之开源大语言模型汇总（国内外开源项目模型汇总）
开源中文大语言模型集合【2023-06-19】
u013250861的博客
06-20 1433
整理开源的中文大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主，包括底座模型，垂直领域微调及应用，数据集与教程等。自ChatGPT为代表的大语言模型（Large Language Model, LLM）出现以后，由于其惊人的类通用人工智能（AGI）的能力，掀起了新一轮自然语言处理领域的研究和应用的浪潮。尤其是以ChatGLM、LLaMA等平民玩家都能跑起来的较小规模的LLM开源之后，业界涌现了非常多基于LLM的二次微调或应用的案例。
盘点一下开源大语言模型LLMs
瓦罗兰特顶级C位的博客
06-05 1031
在Transformer之后，出现了三个较大的分支，一个是以bert为代表的以decoder-only的模型，另一个是以GPT为代表的encoder模型
开源大语言模型LLMs汇总
datayx的文章
07-20 1213
向AI转型的程序员都关注了这个号????????????大语言模型大语言模型（LLM）是指使用大量文本数据训练的深度学习模型，可以生成自然语言文本或理解语言文本的含义。大语言模型可以处理多种自然语言任务，如文本分类、问答、对话等，是通向人工智能的一条重要途径。发展历史2020年9月，OpenAI授权微软使用GPT-3模型，微软成为全球首个享用GPT-3能力的公司。2022年，Open AI发布ChatGPT模型用于...
一文汇总开源大语言模型，人人都可以拥有自己的ChatGPT
perfume
04-16 3550
OpenAI发布的ChatGPT火爆全球以来，全球互联网大厂陆续跟进，纷纷宣布了自家的Chat产品，如Google的Bard，百度的文心一言，阿里的通义千问等等。这些Chat产品背后都是依赖的大语言模型(Large Language Model)。直接使用商业化产品，前提是商业化产品支持对模型做fine-tune(微调)。比如OpenAI就支持对它的基础模型做fine-tune来实现个性化的模型。使用开源的大语言模型，对开源模型做fine-tune来实现垂直领域的Chat产品。
本地部署大模型有哪些大模型较好的推荐
04-04
<think>好的，用户想要了解本地部署大模型有哪些推荐。首先，我需要明确本地部署的需求，通常用户可能关注模型性能、资源消耗、开源许可等因素。然后，我需要回忆当前主流的大模型，尤其是适合本地部署的。 首先，Meta的LLaMA系列应该是一个重点，特别是LLaMA 2，因为它是开源的，适合商用，而且有不同规模版本，适合不同硬件配置。接下来，Alpaca和Vicuna是基于LLaMA微调的，可能也是不错的选择，但需要确认它们的许可协议是否可以商用。 然后，Falcon系列，尤其是Falcon-40B和7B，由阿联酋的团队开发，Apache 2.0协议，商用友好。这也是一个很好的选项。还有Bloom，作为多语言模型，适合需要多语言支持的用户，但参数量大可能需要更高资源。 中国的模型比如ChatGLM-6B，清华开发的，对中文优化，这对中文用户很重要。同样，百川和Aquila也是国内开发的，应该考虑进去。需要检查它们的开源协议和部署要求。 接着，考虑模型大小和硬件需求。例如，7B模型可能在消费级GPU上运行，而更大的模型如40B可能需要专业级硬件。用户可能没有说明他们的硬件配置，所以需要分层次推荐，提供不同规模的模型。 还要注意模型的优化版本，比如经过量化的模型，如LLaMA.cpp或GPTQ版本，可以降低资源消耗。这对于资源有限的用户很重要，需要提到这些优化方法。 另外，用户可能需要知道部署工具，比如Hugging Face的Transformers库、vLLM、llama.cpp等，这些工具能简化部署过程，应该一并推荐。 需要验证每个模型的许可协议，特别是商用情况，比如LLaMA 2允许商用，而原始的LLaMA可能不允许。确保推荐的模型符合用户潜在的使用场景，比如企业部署可能需要商用许可。 最后，总结各个模型的优缺点，按不同需求分类，比如中英文支持、硬件要求、许可协议等，帮助用户根据自身情况选择。</think>以下是本地部署大模型的推荐清单及关键信息，按不同需求分类整理： --- ### **一、通用型大模型** 1. **LLaMA 2** - 开发者：Meta - 特点：开源商用许可，7B/13B/70B参数版本，支持中英文，推理性能优秀 - 硬件需求： - 7B：10GB显存（FP16）或量化后消费级GPU可运行 - 70B：需专业级GPU（如A100） - 工具支持：Hugging Face Transformers、llama.cpp 2. **Falcon** - 开发者：阿联酋TII - 特点：Apache 2.0协议，7B/40B参数版本，专注推理和代码能力 - 硬件需求： - 7B：消费级GPU（RTX 3090） - 40B：需多卡并行（如2×A100） --- ### **二、中文优化模型** 1. **ChatGLM3-6B** - 开发者：清华大学 - 特点：中英双语，针对中文问答优化，支持LoRA微调 - 硬件需求：最低6GB显存（量化后） - 部署工具：Hugging Face + PyTorch 2. **百川2（Baichuan2）** - 开发者：百川智能 - 特点：7B/13B参数，Apache 2.0协议，中文知识增强 - 硬件需求：13B需16GB显存（推荐A10/A100） --- ### **三、轻量级模型** 1. **Mistral-7B** - 开发者：Mistral AI - 特点：7B参数性能接近13B模型，支持长上下文（8k tokens） - 硬件需求：消费级GPU（RTX 4080）可流畅运行 2. **Phi-2** - 开发者：Microsoft - 特点：2.7B参数小模型，数学/逻辑推理能力强 - 硬件需求：4GB显存即可部署 --- ### **四、专业领域模型** 1. **Code Llama** - 开发者：Meta - 特点：编程专用，支持Python/C++/Java等，7B~34B参数 - 部署建议：需16GB+显存运行34B版本 2. **Bloomz** - 开发者：BigScience - 特点：多语言支持（46种语言），7B~176B参数 - 注意：176B需分布式部署 --- ### **五、部署优化方案** 1. **量化压缩** - 使用GGUF/GPTQ格式（如TheBloke社区模型） - 示例：LLaMA-7B可压缩至4GB内存占用 2. **推理框架选择** - 低资源场景：llama.cpp（CPU+RAM推理） - GPU加速：vLLM或Text Generation Inference --- ### **六、选型建议表** | 需求场景 | 推荐模型 | 显存要求 | 优势 | |---------|---------|---------|-----| | 中文对话 | ChatGLM3-6B | ≥6GB | 中文优化，部署简单 | | 低成本推理 | Mistral-7B | 8GB | 性能/资源比高 | | 商用授权 | Falcon-7B | 10GB | Apache 2.0协议 | | 代码生成 | Code Llama-7B | 10GB | 编程任务专用 | --- **部署步骤参考**： 1. 从Hugging Face下载模型 2. 使用llama.cpp或Ollama快速部署 3. 通过LangChain等框架集成应用 建议根据实际硬件条件和任务复杂度，优先测试量化版本（如Q4_K_M）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shichaog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值