Llama-2 与 Llama-3：模型之间的井字游戏之战 使用 Python 和 Llama-CPP 制定非科学基准

最新推荐文章于 2025-03-10 17:49:31 发布
最新推荐文章于 2025-03-10 17:49:31 发布
阅读量122 收藏
点赞数
分类专栏： NVIDIA GPU和大语言模型开发教程 游戏开发教程 文章标签： llama 游戏 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/iCloudEnd/article/details/138410863
版权
本文通过在Llama-2和Llama-3模型间进行井字游戏，展示了LLaMA-3在游戏中的优势。作者使用Llama-cpp库在Python中实现游戏，发现尽管两者在学术基准上表现差距明显，但在实际游戏中，LLaMA-3以10:0或8:2的比分战胜了LLaMA-2。此外，文章讨论了模型的推理时间和资源需求，表明LLaMA-3在速度上较慢，但对内存需求更高效。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

大约在撰写本文的前一周，Meta发布了新的开放式 Llama-3 模型。正如 Meta 所声称的那样，这些是“当今 8B 和 70B 参数尺度上现有的最佳模型”。例如，根据HuggingFace 模型页面，在 MMLU（大规模多任务语言理解）基准测试中，Llama-3 8B 得分为 66.6，而 Llama-2 7B 得分为 45.7。 Llama-3 在 CommonSense QA（常识问答数据集）中也获得了 72.6 比 57.6 的分数。经过指令调整的 Llama-3 8B 模型获得了 30.0 分，而数学基准测试的得分为 3.8，这确实是一个令人印象深刻的进步。

学术基准很重要，但我们能看到“行动中”的真正差异吗？显然，我们可以，而且很有趣。让我们在两个模型之间编写一个井字游戏，看看哪一个获胜！比赛过程中我会测试所有7B、8B、70B的型号。同时，我还将收集一些有关模型性能和系统要求的数据。所有测试都可以在 Google Colab 中免费运行。

让我们开始吧！

加载模型

为了测试所有模型，我将使用Llama-cpp Python 库，因为它可以在 CPU 和 GPU 上运行。我们需要并行运行两个法学硕士。 7B和8B模型都可以轻松地在免费的16GB Google Colab GPU实例上运行，但70B模型只能使用CPU进行测试；即

了解本专栏 订阅专栏 解锁全文
Llama-2 和Llama-3评估大模型
shengyin714959的博客
07-31 150
然而，当面对 70B 参数级别的庞大模型时，我们不得不退而求其次，转而使用 CPU 进行测试，因为即便是顶级的 NVIDIA A100 显卡，其内存容量也难以承担起同时运行两个此类巨无霸模型的重任。可以看到，参数规格为 70B 的模型确实找到了“中心”位置，但相关“棋子”♟的位置放置决策却是错的；至于参数规格为 70B 的 Llama-2 模型，它的表现更佳，能够胜出两次，但即便如此，在绝大多数情况下，Llama-3 仍然占据了上风。最后，给出的残局中，初始状态那个位置本身就有棋子，并非空缺。
大模型——提升自然语言转换为 SQL 查询（NL2SQL）准确度的探索-- LLaMA-Factory 蒸馏 DeepSeek 模型的方法介绍
最新发布
03-27 367
提升自然语言转换为 SQL 查询可能的3个方向有：1. Prompt 工程，以用户角色提供充足的上下文信息；2. 建设知识库，以系统角色提供上下文信息；3. 增强模型的NL2SQL能力。在第3个方向上，我们发现：本地部署的 deepseek-r1:32b 的 NL2SQL 的准确度与满血版的在线 deepseek-r1:671b 存在较大差距。这说明模型能力会影响 NL2SQL 准确性。本文通过蒸馏 DeepSeek 模型，探索：通过提升模型专业能力，能够提高 NL2SQL 的准确度。
Windows11(非WSL)安装Installing llama-cpp-python with GPU Support
我看故我听
02-18 3143
直接安装，只支持CPU。想支持GPU，麻烦一些。
llama-cpp-python
AI工程化、开源分享、文档翻译、代码笔记
07-16 3596
一、关于 llama-cpp-python 二、安装 安装配置 支持的后端 Windows 笔记 MacOS笔记 升级和重新安装 三、高级API 1、简单示例 2、从 Hugging Face Hub 中提取模型 3、聊天完成 4、JSON和JSON模式 JSON模式 JSON Schema 模式 5、函数调用 6、多模态模型 7、Speculative Decoding 8、Embeddings 9、调整上下文窗口 四、OpenAI兼容Web服务器 Web服务器功能 五、Docker镜像 六、低级API
基于llama_cpp 调用本地模型（llama）实现基本推理
十年通信老兵的技术修炼之路——从3G到5G，从地面基站到卫星通信。
03-10 925
零基础实践本地推理模型基本应用： 基于llama_cpp的本地模型调用。 本文先安装 **llama_cpp** python库，再编写程序，利用其调用llama-2-7b-chat.Q4_K_M.ggu模型。
llama-cpp-python安装bug：error: subprocess-exited-。scikit-build-core 0.8.2 using CMake 3.28.3 (wheel)
集电极
03-05 7869
Building wheel for llama-cpp-python (pyproject.toml) ... error error: subprocess-exited-with-error × Building wheel for llama-cpp-python (pyproject.toml) did not run successfully. │ exit code: 1 ╰─> [325 lines of output] *** scikit-build-c
llama-cpp-python 程序 Pyinstaller 打包后运行报错（RuntimeError: Failed to load shared library ‘llama.dll‘）
夏树让的博客
05-20 1625
本人基于 llama-cpp-python 构建了一个领域知识问答程序，并通过 Pyinstaller 打包成一个包含.exe运行文件的文件夹。该.exe在本机和另外三台电脑上运行正常，但在另两台上报错：RuntimeError: Failed to load shared library 'llama.dll'
安装llama-cpp-python
weixin_45735391的博客
02-27 307
安装llama-cpp-python。
AI多模态实战教程：面壁智能MiniCPM-V多模态大模型问答交互、llama.cpp模型量化和推理
AIGCmagic的博客
07-21 2961
MiniCPM-V 2.0，这是MiniCPM系列的多模态版本。MiniCPM-V 2.0显示出强⼤的OCR和多模态理解能⼒，在开源模型中的OCRBench上表现出⾊，甚⾄在场景⽂本理解上可以与Gemini Pro相媲美。MiniCPM-V 系列是专为视觉-语⾔理解设计的多模态⼤型语⾔模型（MLLMs），提供⾼质量的⽂本输出，已发布4个版本。# 下载模型，以int4量化的MiniCPM-Llama3-V-2_5为例。# 前提，安装git和git-lfs【可选，如果已安装，则跳过】# 新建demo.py。
META的LLaMA大模型部署指令调优教程内含模型下载方法.pdf
05-06
其中，LLaMA-13B在大多数基准测试中超越了GPT-3 (175B)，而LLaMA-65B可与Chinchilla-70B和PaLM-540B这样的顶级模型相抗衡。值得一提的是，通过4位量化技术，模型的大小显著减小，使得7B模型降至4GB，13B模型降至不到...
通过llama-cpp-python web server 实现函数调用
weixin_42023184的博客
09-04 390
ollama 在最新的版本中实现了函数调用，但是处理上还是有一些bug 的，llama-cpp-python web server 是利用了llama.cpp web server 同时进行了一些request 的处理，可以更好的兼容openai 支持了tools 函数调用，以下是基于llama-cpp-python we...
llama-cpp-python 项目教程
gitblog_00245的博客
08-08 612
llama-cpp-python 项目教程 项目地址:https://gitcode.com/gh_mirrors/ll/llama-cpp-python 1. 项目的目录结构及介绍 llama-cpp-python/ ├── llama_cpp/ │ ├── __init__.py │ ├── llama_cpp.py │ ├── llama_chat_format.py │ └...
Llama-CPP-Python 教程
gitblog_00184的博客
08-08 2037
Llama-CPP-Python 教程 项目地址:https://gitcode.com/gh_mirrors/ll/llama-cpp-python 1. 项目介绍 Llama-CPP-Python 是一个 Python 封装库，用于访问 Llama C++ 库的功能。这个封装使得在 Python 环境中可以方便地利用 Llama 的功能，如文本处理和模型交互。该项目由 Andrei Betle...
**LLAMA-CPP-PYTHON 安装与配置完全指南**
gitblog_09254的博客
09-13 6250
LLAMA-CPP-PYTHON 安装与配置完全指南 llama-cpp-python Python bindings for llama.cpp 项目地址: https://gitcode.com/gh_mirrors/ll/l...
深入探索Llama.cpp：在LangChain中使用llama-cpp-python
dfvcbipanjr的博客
12-05 953
使用可以让开发者在本地部署LLMs，结合LangChain，可实现更强大的应用场景。对于感兴趣的开发者，建议访问LangChain官方文档和Llama.cpp的GitHub仓库了解更多信息。
​ Python 绑定llama.cpp​ github页面
强化学习曾小健
08-12 564
因此，消息应仅包含聊天消息和/或为模型提供额外上下文的系统消息（例如：日期时间等）。非嵌入模型（例如为文本生成设计的模型）通常只返回标记级嵌入，每个序列中的每个标记一个。注意：如果您使用的是 Apple Silicon (M1) Mac，请确保已安装支持 arm64 架构的 Python 版本。使用特定于您的系统的编译器优化构建的。将来，我希望为常见平台提供预构建的二进制文件和轮子，我很乐意接受这方面的任何有用贡献。话虽如此，还是有一些通过发布版本提供的预先构建的二进制文件以及一些社区提供的轮子。
探索LLAMA.CPP的Python绑定：高效文本完成工具
gitblog_00428的博客
08-08 353
探索LLAMA.CPP的Python绑定：高效文本完成工具 llama-cpp-pythonPython bindings for llama.cpp项目地址:https://gitcode.com/gh_mirrors/ll/llama-cpp-python 在Python的世界里，强大的库和框架层出不穷。今天我们要介绍的是llama-cpp-python——一个为@ggerganov's l...
使用 llama-cpp-python 在 LangChain 中运行 LLM 模型
qq_29929123的博客
08-31 1396
llama-cpp-python 为在 Python 环境中运行 LLM 模型提供了强大而灵活的解决方案。通过与 LangChain 的集成，我们可以轻松构建复杂的 AI 应用。本文介绍了安装、基本使用、GPU 加速和语法约束等关键概念，希望能帮助您更好地利用这个工具。
探索Llama.cpp：掌握llama-cpp-python的使用与安装
dsndnwfk的博客
10-31 910
通过本文的介绍，您应该掌握了Llama.cpp的安装与基本使用方法。希望这些知识可以帮助您在AI项目中获得一个良好的开端。LLM概念指南LangChain使用指南。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

知识大胖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值