【书生大模型L0 linux】

关卡任务

闯关任务需要在关键步骤中截图:

任务描述 完成所需时间
闯关任务 完成SSH连接与端口映射并运行hello_world.py 10min
可选任务 1 将Linux基础命令在开发机上完成一遍 10min
可选任务 2 使用 VSCODE 远程连接开发机并创建一个conda环境 10min
可选任务 3 创建并运行test.sh文件 10min

1 闯关任务 完成SSH连接与端口映射并运行hello_world.py

1.1 SSH介绍

SSH全称Secure Shell,中文翻译为安全外壳,它是一种网络安全协议,通过加密和认证机制实现安全的访问和文件传输等业务。SSH 协议通过对网络数据进行加密和验证,在不安全的网络环境中提供了安全的网络服务。
SSH 是(C/S架构)由服务器客户端组成,为建立安全的 SSH 通道,双方需要先建立 TCP 连接,然后协商使用的版本号和各类算法,并生成相同的会话密钥用于后续的对称加密。在完成用户认证后,双方即可建立会话进行数据交互。
那在后面的实践中我们会配置SSH密钥,配置密钥是为了当我们远程连接开发机时不用重复的输入密码,那为什么要进行远程连接呢
远程连接的好处就是,如果你使用的是远程办公,你可以通过SSH远程连接开发机,这样就可以在本地进行开发。而且如果你需要跑一些本地的代码,又没有环境,那么远程连接就非常有必要了。

1.2 端口映射介绍

端口映射是一种网络技术,它可以将外网中的任意端口映射到内网中的相应端口,实现内网与外网之间的通信。通过端口映射,可以在外网访问内网中的服务或应用,实现跨越网络的便捷通信。
那么我们使用开发机为什么要进行端口映射呢?
因为在后续的课程中我们会进行模型web_demo的部署实践,那在这个过程中,很有可能遇到web ui加载不全的问题。这是因为开发机Web IDE中运行web_demo时,直接访问开发机内 http/https 服务可能会遇到代理问题,外网链接的ui资源没有被加载完全。
所以为了解决这个问题,我们需要对运行web_demo的连接进行端口映射,将外网链接映射到我们本地主机,我们使用本地连接访问,解决这个代理问题。下面让我们实践一下。

在这里插入图片描述

1.3代码执行

完成SSH连接后再进行的补做实验

直接运行代码
在这里插入图片描述

在浏览器中打开
在这里插入图片描述

2 可选任务1 将Linux基础命令在开发机上完成一遍

2.1 常见linux文件管理任务

在 Linux 中,常见的文件管理操作包括:

  • 创建文件:可以使用 touch 命令创建空文件。
  • 创建目录:使用 mkdir 命令。
  • 目录切换:使用cd命令。
  • 显示所在目录:使用pwd命令。
  • 查看文件内容:如使用 cat 直接显示文件全部内容,moreless 可以分页查看。
  • 编辑文件:如 vivim 等编辑器。
  • 复制文件:用 cp 命令。
  • 创建文件链接:用ln命令。
  • 移动文件:通过 mv 命令。
  • 删除文件:使用 rm 命令。
  • 删除目录rmdir(只能删除空目录)或 rm -r(可删除非空目录)。
  • 查找文件:可以用 find 命令。
  • 查看文件或目录的详细信息:使用ls命令,如使用 ls -l查看目录下文件的详细信息。
  • 处理文件:进行复杂的文件操作,可以使用sed命令。
2.1.1 touch

我们可以使用touch快速的创建文件,这样我们不用手动点击进行创建了。例如我们要创建一个demo.py文件:
在这里插入图片描述

2.1.2 mkdir

同样的使用方法,如果要创建一个名为

### 书生大模型 L1G1000 技术文档概述 书生大模型全链路开源体系提供了详尽的技术文档,涵盖了从基础架构搭建到具体应用场景实现的各个方面[^3]。该体系由上海人工智能实验室开发,旨在为用户提供全面的支持。 #### 主要组成部分 - **数据处理工具**:提供了一系列高效的数据预处理方法和技术,确保输入数据的质量和一致性。 - **技术栈**:包括但不限于自然语言处理(NLP),计算机视觉(CV)等领域所需的各种算法库和支持框架[^2]。 - **应用实例** - **MINSEARCH**: 基于AI驱动的搜索引擎解决方案,利用先进的检索技术和机器学习优化搜索体验。 - **RAG (Retrieval-Augmented Generation)**: 将传统的信息检索系统与现代的语言生成能力相结合,实现了更精准的内容理解和表达转换服务。 - **LabelLLM Project**: 提供了一套完整的自动化标签生成流程,极大地方便了NLP任务中的数据标注工作。 - **OpenCompass Platform**: 构建了一个公开透明的大规模评测环境,有助于推动整个行业的健康发展并提高模型评估的标准性。 ```python # 示例代码片段展示如何加载预训练好的BookSheng模型进行推理预测 from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("shanghaiai/booksheng-l1g1000") model = AutoModelForCausalLM.from_pretrained("shanghaiai/booksheng-l1g1000") input_text = "你好世界" inputs = tokenizer(input_text, return_tensors="pt") outputs = model.generate(**inputs) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ``` 此段Python脚本展示了通过Hugging Face Transformers库快速上手使用书生大模型的方法之一。只需几行简单的命令即可完成对给定文本序列的编码解码操作,并获得相应的输出结果。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值