- 博客(15)
- 收藏
- 关注
RSS订阅原创 书生大模型第四期——基础第六关： OpenCompass 评测书生大模型实践
如果你想要评测通过 API 访问的大语言模型，整个过程其实很简单。首先你需要获取模型的 API 密钥（API Key）和接口地址。以 OpenAI 的 GPT 模型为例，你只需要在 OpenAI 官网申请一个 API Key，然后在评测配置文件中设置好这个密钥和相应的模型参数就可以开始评测了。评测过程中，评测框架会自动向模型服务发送测试用例，获取模型的回复并进行打分分析。整个过程你不需要准备任何模型文件，也不用担心本地计算资源是否足够，只要确保网络连接正常即可。
2024-12-02 15:37:59
561
原创 书生大模型第四期——基础第四关：Llamaindex RAG 实践
进入开发机后，创建新的conda环境，命名为llamaindex复制完成后，在本地查看环境。结果如下所示。运行conda命令，激活llamaindex然后安装相关基础依赖环境激活后，命令行左边会显示当前（也就是llamaindex。
2024-11-19 21:28:05
976
原创 书生大模型第四期——基础第三关：提示工程(Prompt Engineering)
LangGPT 是的简称，中文名为结构化提示词。LangGPT 是一个帮助你编写高质量提示词的工具，理论基础是我们提出的一套模块化、标准化的提示词编写方法论——结构化提示词。我们希望揭开提示工程的神秘面纱，为大众提供一套可操作、可复现的提示词方法论、工具和交流社群。我们的愿景是让人人都能写出高质量提示词。
2024-11-19 15:57:02
675
原创 书生大模型第四期——基础第二关：玩转书生「多模态对话」和「AI搜索」产品
书生·浦语InternLM 开源模型官方的对话类产品书生·万象InternVL 开源的视觉语言模型官方的对话产品MindSearch开源的 AI 搜索引擎
2024-11-16 16:04:07
236
原创 书生大模型实战营第四期——入门第四关
考虑到个人GitHub CodeSpace硬盘空间有限（32GB可用），而7B的模型相对较大，这里我们先演示如何下载模型文件夹的特定文件。这里以“A beautiful flower”开头，模型对其进行“续写”，InternLM的模型拥有强大的数学方面的能力。注意到在CodeSpace平台上是没有GPU资源的，因此我们Python代码中只使用CPU进行推理，我们需要修改跟CUDA有关的API，在。创建好环境后，可以进入网页版VSCode的界面，这就是CodeSpace提供给我们的在线编程环境。
2024-10-28 14:38:58
1923
原创 第四期书生大模型训练营——入门关第二关
当你刚开始学习Python编程时，可能会遇到代码不按预期运行的情况。这时，你就需要用到“debug”了。简单来说，“debug”就是能再程序中设置中断点并支持一行一行地运行代码，观测程序中变量的变化，然后找出并修正代码中的错误。而VSCode提供了一个非常方便的debug工具，可以帮助你更容易地找到和修复错误。
2024-10-22 21:18:01
661
原创 第四期书生大模型训练营——入门关第一关
SSH全称Secure Shell，中文翻译为安全外壳，它是一种网络安全协议，通过加密和认证机制实现安全的访问和文件传输等业务。SSH 协议通过对网络数据进行加密和验证，在不安全的网络环境中提供了安全的网络服务。SSH 是（C/S架构）由服务器和客户端组成，为建立安全的 SSH 通道，双方需要先建立 TCP 连接，然后协商使用的版本号和各类算法，并生成相同的会话密钥用于后续的对称加密。在完成用户认证后，双方即可建立会话进行数据交互。那在后面的实践中我们会配置SSH密钥。
2024-10-22 20:25:01
1758
原创 书生大模型第四期—基础第五关：Xtuner 微调
环境安装：我们想要用简单易上手的微调工具包 XTuner 来对模型进行微调的话，第一步是安装 XTuner ！安装基础的工具是一切的前提，只有安装了 XTuner 我们才能够去执行后续的操作。前期准备：在完成 XTuner 的安装后，我们下一步就需要去明确我们自己的微调目标了。我们想要利用微调做一些什么事情呢，然后为了实现这个目标，我们需要准备相关的硬件资源和数据。启动微调：在确定了自己的微调目标后，我们就可以在 XTuner 的配置库中找到合适的配置文件并进行对应的修改。修改完成后即可一键启动训练！训练好
2024-10-06 23:06:21
2074
原创 书生大模型实战营第三期—基础岛第六关
确保按照上述步骤正确安装 OpenCompass 并准备好数据集后，可以通过以下命令评测 InternLM2-Chat-1.8B 模型在 C-Eval 数据集上的性能。由于 OpenCompass 默认并行启动评估过程，我们可以在第一次运行时以 --debug 模式启动评估，并检查是否存在问题。在 --debug 模式下，任务将按顺序执行，并实时打印输出。接下来，我们将展示 OpenCompass 的基础用法，分别用命令行方式和配置文件的方式评测InternLM2-Chat-1.8B，展示书生浦语在。
2024-10-05 19:49:44
853
原创 书生大模型实战营第三期—基础岛第三关
近期相关研究发现，LLM在对比浮点数字时表现不佳，经验证，internlm2-chat-1.8b (internlm2-chat-7b)也存在这一问题，例如认为。：利用LangGPT优化提示词，使LLM输出正确结果。
2024-10-05 18:00:14
238
原创 书生大模型实战营第三期—基础岛第一关
使用Cli Demo 部署 InternLM2-Chat-1.8B 模型。首先，我们创建一个目录，用于存放我们的代码。然后，我们将下面的代码复制到。来启动我们的 Demo。接下来，我们便可以通过。
2024-09-23 22:07:44
227
原创 书生大模型实战营第三期—入门岛第二关
debug”就是能再程序中设置中断点并支持一行一行地运行代码，观测程序中变量的变化，然后找出并修正代码中的错误。在“Run and Debug”侧边栏的“Variables”（变量）部分，你可以看到当前作用域内的所有变量及其值。点击VSCode侧边栏的“Run and Debug”（运行和调试），然后点击“Run and Debug”（开始调试）按钮，或者按F5键。二、请使用本地vscode连接远程开发机，将上面你写的wordcount函数在开发机上进行debug，体验debug的全流程。
2024-09-15 23:13:04
264
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人