书生大模型第四期基础营作业第四关

原创已于 2024-12-30 17:42:57 修改 · 110 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python

于 2024-12-29 23:45:29 首次发布

摘要：
关卡编号：L1G4000
关卡名称：InternLM + LlamaIndex RAG 实践

在使用 LlamaIndex 之前
在这里插入图片描述

在使用 LlamaIndex 之后
在这里插入图片描述

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

cold_cookies

关注关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

书生大模型第四期基础营作业第二关

cold_cookies的博客

12-26

404

关卡编号：L1G2000关卡名称：玩转书生「多模态对话」与「AI搜索」产品。

书生大模型第四期基础营作业第三关

cold_cookies的博客

12-27

240

关卡编号：L1G3000关卡名称：浦语提示词工程实践。

参与评论您还未登录，请先登录后发表或查看评论

书生大模型第四期基础营作业第五关

cold_cookies的博客

12-30

154

关卡名称：XTuner 微调个人小助手认知。关卡编号：L1G5000。

书生大模型第四期基础营作业第六关

cold_cookies的博客

12-30

138

使用 OpenCompass 评测浦语 API 记录复现过程并截图。关卡名称：OpenCompass 评测书生大模型实践。关卡编号：L1G6000。

书生大模型第四期基础营作业第一关

cold_cookies的博客

12-26

171

关卡名称：书生大模型全链路开源体系。书生大模型全链路开源开放体系的笔记。关卡编号：L1G1000。预训练InternEvo。书生·浦语开源模型谱系。书生·浦语2.5概览。部署LMDeploy。使用书生·浦语大模型。

书生大模型第四期实战营作业第四关

cold_cookies的博客

12-25

954

关卡编号：L0G4000关卡名称：玩转HF/魔搭/魔乐社区。

书生大模型第四期实战营作业第二关

cold_cookies的博客

12-21

349

闯关任务1：Leetcode 383(笔记中提交代码与leetcode提交通过截图)闯关任务2：Vscode连接InternStudio debug笔记。任务2：Vscode连接InternStudio debug笔记。发生错误的原因：输入函数json.loads不符合格式要求。任务1：Leetcode 383。关卡名称：Python基础知识。关卡编号：L0G2000。

书生大模型第四期实战营作业第一关

cold_cookies的博客

12-20

231

在未进行端口映射的时候访问127.0.0.1：端口号，会显示不能连接该端口。就可以打开网站127.0.0.1：7861，最终能成功打开网站。完成SSH连接与端口映射并运行hello_world.py。关卡编号：L0G1000。关卡名称：Linux。

书生大模型第四期实战营作业第三关

cold_cookies的博客

12-24

1005

每位参与者提交一份自我介绍。提交地址：https://github.com/InternLM/Tutorial 的 class 分支～1.命名格式为 .md，其中是您的报名问卷UID。2.文件路径应为 ./icamp4/。3.【大家可以叫我】内容可以是 GitHub 昵称、微信昵称或其他网名。4.在 GitHub 上创建一个 Pull Request，提供对应的 PR 链接。

【L0G2000】书生大模型第四期实战营第2关Python基础知识

xiaohou963的博客

11-23

2044

本文将详细记录完成三个任务的全过程，包括编程技巧、工具使用以及问题解决思路。任务包括 Leetcode 问题解决、API 调试，以及 pip 安装到指定目录的实践。希望通过我的分享，能够帮助大家提升编程能力。完成 Leetcode 383 (“Ransom Note”)，并提交代码，同时附上通过截图。题目要求通过判断字符串中的所有字符是否都能在中找到（且字符出现次数必须足够），来确定是否可以用中的字符组成。以下是解决方案代码：测试与提交测试用例通过调试 OpenAI 接口代码，定

【L0G1000】书生大模型第四期实战营第1关Linux 基础知识

xiaohou963的博客

11-20

872

我们可以通过VSCode的远程开发插件连接到开发机，进行代码编写和调试。这表明你已经在正确的conda环境中，且使用的是Python 3.8。现在，你可以在该虚拟环境下安装项目所需的依赖包，并运行Python代码。在开发过程中，掌握一些基础的Linux命令是非常重要的。端口映射是指将开发机的端口映射到本地机器的某个端口上，以便通过本地端口访问远程资源。通过这些步骤，大家已经掌握了开发机的基本使用方法，后续可以顺利开展项目开发工作。输入密码后，VSCode将远程连接开发机，并打开远程的文件系统。

书生大模型第四期基础岛第六关

qq_75269600的博客

11-11

282

将代码输入对应的文件，然后运行代码。创建一个新的py文件配置数据集。获取API_key，进行配置。下载必要的库，和文件。

书生大模型第四期—基础第五关：Xtuner 微调

NULLL123的博客

10-06

2166

环境安装：我们想要用简单易上手的微调工具包 XTuner 来对模型进行微调的话，第一步是安装 XTuner ！安装基础的工具是一切的前提，只有安装了 XTuner 我们才能够去执行后续的操作。前期准备：在完成 XTuner 的安装后，我们下一步就需要去明确我们自己的微调目标了。我们想要利用微调做一些什么事情呢，然后为了实现这个目标，我们需要准备相关的硬件资源和数据。启动微调：在确定了自己的微调目标后，我们就可以在 XTuner 的配置库中找到合适的配置文件并进行对应的修改。修改完成后即可一键启动训练！训练好

第四期书生大模型实战营-基础岛第四关

2401_86139790的博客

12-20

1017

基于 LlamaIndex 构建自己的 RAG 知识库，寻找一个问题 A 在使用 LlamaIndex 之前 InternLM2-Chat-1.8B 模型不会回答，借助 LlamaIndex 后 InternLM2-Chat-1.8B 模型具备回答 A 的能力，截图保存。正常情况下，其会自动从互联网上下载，但可能由于网络原因会导致下载中断，此处我们可以从国内仓库镜像地址下载相关资源，保存到服务器上。messages=[{"role": "user", "content": "xtuner是什么？

50、【Ubuntu】【Gitlab】拉出内网 Web 服务：http.server 单/多线程分析（二）

最新发布

HIT_Weston的博客

12-04

779

本文分析了Python的http.server模块在单线程和多线程模式下的性能表现。通过测试发现，单线程模式下（Python<3.7）并发请求会被阻塞，后发请求需要等待前一个请求完成；而多线程模式下（Python≥3.7）可以同时处理多个请求。作者通过slow_server.py脚本模拟耗时操作，使用time curl命令测试响应时间，验证了线程模型的差异。文章还指出Python 3.7是一个重要分水岭，官方将默认命令行服务器升级为多线程以提升用户体验。技术细节参考了CPython源码，并提供了Git

大模型应用：大模型 MapReduce 全解析：核心概念、中文语料示例实现.12

minhuan的专栏

12-03

1063

本文介绍了MapReduce编程模型及其在大模型训练中的应用。MapReduce通过"分治-并行-聚合"思想处理大规模数据，传统Hadoop MapReduce侧重结构化数据计算，而大模型MapReduce则针对自然语言处理任务。文章详细对比了两者在架构、处理对象和核心算力等方面的差异，并提供了中文词频统计的Python实现示例，包括单机版和分布式版本。分布式实现利用多进程模拟集群计算，展示了数据分片、Map、Shuffle和Reduce的完整流程。

【Android逆向工程】第19章：协议分析与接口还原

w987333120的博客

12-03

376

本文介绍了网络协议分析的关键技术与工具。主要内容包括HTTP/HTTPS协议分析流程、常用抓包工具配置（Charles/Burp Suite）、协议格式解析方法以及签名算法还原技术。通过示例展示了完整的请求/响应分析过程，涵盖请求行、请求头、请求体的解析方法，特别关注签名相关字段的识别。文章还提供了Python代码示例演示如何自动分析HTTP请求结构，帮助逆向工程师理解业务逻辑、还原接口签名算法并实现自动化脚本。

使用 DeepSeek 提升工作效率

Deng872347348的博客

12-03

581

摘要：本文系统介绍了如何利用DeepSeek AI工具提升工作效率。文章首先分析职场痛点，指出DeepSeek在技术文档、代码开发、数据处理等专业场景的优势。随后详细解析核心功能模块，包括文本生成、代码支持、数据分析和知识管理，并明确其适用边界。重点提供了可直接复用的指令模板，涵盖技术文档撰写、脚本开发、数据可视化等典型场景，如自动生成API文档、Python数据分析脚本等。最后给出集成办公软件的最佳实践，并针对不同行业提供适配方案，强调AI工具"增强而非替代"的定位，帮助用户将重复性工

python+django/flask+vue的基于协同过滤算法的体育商品推荐系统

Q_Q1963288475的博客

12-04

484

第四期书生大模型：书生基础通关岛第三关

01-20

### 关于书生大模型第四期基础通关岛第三关针对书生大模型第四期基础通关岛第三关的任务，此阶段主要聚焦于通过不同参数量训练模型并结合多种微调技术来优化特定任务的表现。具体而言，在对比 xcomposer2-4khd、internVL1.5 和 llava-llama3-8b 这些具有不同参数规模的预训练模型时，采用 LORA（低秩自适应）、QLORA 及 FULL 训练方法可以有效增强模型处理少量样本学习(few-shot learning)以及专门领域内图纸识别的能力[^1]。为了成功完成这一挑战，建议采取如下策略： #### 数据准备确保拥有高质量的数据集用于训练和验证，特别是那些能够代表目标应用场景中的特征数据，比如工业设计图或其他形式的技术绘图。 #### 模型选择与调整基于项目需求挑选合适的基线模型，并考虑其参数大小对性能的影响。较小的模型可能更适合资源受限环境下的部署；而较大的模型则通常能提供更好的泛化能力。 #### 微调技巧应用利用LORA或QLORA等高效微调方式快速适配新任务，减少计算成本的同时保持较高的准确性。对于更复杂的要求，则可尝试FULL fine-tuning以获得最佳效果。 ```python from transformers import AutoModelForSequenceClassification, Trainer, TrainingArguments model_name = "path_to_pretrained_model" model = AutoModelForSequenceClassification.from_pretrained(model_name) training_args = TrainingArguments( output_dir="./results", evaluation_strategy="epoch", per_device_train_batch_size=8, per_device_eval_batch_size=8, num_train_epochs=3, weight_decay=0.01, ) trainer = Trainer( model=model, args=training_args, train_dataset=train_dataset, eval_dataset=val_dataset, ) ``` 上述代码片段展示了如何设置一个简单的`Trainer`对象来进行模型微调操作。实际实现过程中还需要根据具体的任务类型调整配置项。