【轻松玩转书生·浦语大模型趣味Demo】学习笔记

原创 已于 2024-01-10 07:16:57 修改 · 1.2k 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#学习 #笔记

于 2024-01-09 20:15:25 首次发布

学习参考文档【轻松玩转书生·浦语大模型趣味 Demo】

实操

本地端口配置

生成 SSH密钥对

打开Windows PowerShell终端，输入ssh-keygen -t rsa来生成SSH密钥对
在这里插入图片描述
但是默认情况下生成的密钥会默认使用本机的用户名，如果本机的账户用户名设置是中文的话，会有中文夹杂在其中，而且中文在终端中一般显示为乱码
在这里插入图片描述
为了避免这种情况，需要在生成SSH密钥时避免在标识信息中（图片中的标识信息即为娌愮櫧@Michelle）使用中文，确保使用不包含中文字符的文本。

例如，可以使用以下命令生成SSH密钥，并在标识信息中使用英文字符：

ssh-keygen -t rsa -C "your_email@example.com"

可以将 “your_email@example.com” 替换为

最低0.47元/天 解锁文章

200万优质内容无限畅学
尘汐筠竹
关注
【 书生·浦语大模型实战营】学习笔记（二）：轻松玩转书生·浦语大模型趣味Demo
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
04-05 1436
本文为实战营第二次课程笔记，主要分为两个部分，第一部分部署 InternLM2-Chat-1.8B 模型进行智能对话。第二部分为完成 Lagent 工具调用 数据分析 Demo 部署，后续系列会继续更新，欢迎大家交流！
【书生·浦语大模型实战营02】《轻松玩转书生·浦语大模型趣味Demo》学习笔记
墨门
01-07 580
平台中选择 A100(1/4) 的配置，镜像选择。模型部署一个智能对话 Demo。申请成功后，可以看到开发机的状态，然后点击【进入开发机】；
私钥连接vps+ssh端口转发（命令行界面）
qq_45883910的博客
11-16 1355
命令行免密登录，ssh端口转发
ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 33908
weixin_46483785的博客
01-08 2568
【代码】ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 33908。
2021-08-21
just do it in simplest way
08-21 328
tensorboardX: ssh远程连接服务器，本地显示前言一、ssh 远程连接服务器1. Win+R，输入cmd，打开命令提示符2. 切换到自己的环境运行tensorboard二、本地显示打开本地浏览器，输入localhost:6006 前言 记录点滴积累，传播知识能量，愿尽微薄智力，实现知识共享 提示：以下是本篇文章正文内容，下面案例可供参考 一、ssh 远程连接服务器 1. Win+R，输入cmd，打开命令提示符 ssh -L 6006:127.0.0.1:6006 username@IP ad
ssh错误登录太多,锁定Permission denied, please try again解决
Liqiufeng_的博客
11-02 1411
问题场景： Linux无法远程，返回信息：Permission denied, please try again 问题分析： 一般这样的信息，第一个反应就是账号和密码不正确。但这个问题场景，账号和密码信息准确无误，使用终端方式登录没有任何问题，主机内部没有限制该账号远程登陆。 处理这个问题最好的分析方法就是查看系统登录日志。（举例：centos 系统可以查看 /var/log/secure日志） 从中可以看到这样的记录：pam_tally2(sshd:auth): user xxxxxx (500) ta
问题解决 |关于CUDA的代码错误总结以及解决方法
热门推荐
weixin_44649780的博客
06-26 1万+
本博客主要关于常见的CUDA的代码错误总结以及解决方法~
第二节笔记 轻松玩转书生·浦语大模型趣味 Demo
weixin_45222417的博客
04-13 638
InternStudio平台-开发机-cuda11.7conda-10%A100-创建开发机进入开发机，创建conda环境studio-conda -o internlm-base -t demo激活conda环境，安装所需软件包。
第二节课《轻松玩转书生·浦语大模型趣味Demo》学习笔记
weixin_59512778的博客
04-05 880
首先运行conda命令激活环境，然后使用git命令来获得仓库内的demo文件，在tutorial里面将八戒download以及八戒chat都已经放置完成，可以直接访问然后运行，就能达到相同的效果。接下来进入开发机，在terminal中输入环境配置命令“studio-conda -o internlm-base -t demo”，命令成功执行后的结果如下。在程序下载完成之后，我们要输入运行命令，将命令复制进Terminal然后回车，在程序运行的同时，对端口环境要配置本地PowerShell。
端口转发——SSH
YJ_12340的博客
09-06 1142
ssh -CfNg -R 8888:靶机ip:3389 远程用户（root）@远程ip。ssh -CfNg -L 8888:靶机ip:3389 root@边界机ip。ssh -CfNg -D 8888 边界机账号@边界机ip。-f 将SSH传输转入后台执行，不占用当前的shell。-N 建立静默连接（建立了连接，但是看不到具体会话）-g 允许远程主机连接到本地用于转发的端口。-D 动态转发（socks代理）-C 压缩传输，加快传输速度。发现8888端口已经打开。-P 指定SSH端口。8888端口监听失败。
本地端口与云端服务器端口映射
sunney的博客
01-21 1882
由于服务器通常只暴露了用于安全远程登录的 SSH（Secure Shell）端口，如果需要访问服务器上运行的其他服务（如 web 应用）的特定端口，需要一种特殊的设置。~ 是用户主目录的简写，.ssh 是SSH配置文件的默认存储目录，id_rsa.pub 是 SSH 公钥文件的默认名称。所以，cat ~.ssh\id_rsa.pub 的意思是查看用户主目录下的 .ssh 目录中的 id_rsa.pub 文件的内容。步骤②： 您将被提示选择密钥文件的保存位置，默认情况下是在 ~/.ssh/ 目录中。
书生·浦语：大模型全链路开源体系（五）——推理部署
2301_77286822的博客
01-15 1781
大模型的推理速度将严重影响，用户的体验感和使用效率，各个大厂都在尽可能的提升模型的推理输出速度，常见的方法有量化、蒸馏和剪枝等。本篇文章将重点介绍上海人工智能实验室推出的LMDeploy部署架构，提高模型的推理速度。
书生第四期，入门作业1
m0_64954951的博客
12-04 182
使用以上代码，就能将开发机的9997端口映射到本机了，在本机上输入127.0.0.1:9997，即可访问开发机的9997端口。（注：9997是xinference的端口，因为最近在使用chatchat所以经常用到）ok，以上就是入门1的闯关任务了，刚刚排上队，接下来使用开发机操作。由于在排队，使用autodl来完成Linux基础作业。安装gradio包，此处转到powershell操作。新建hello_world.py。运行hello_world.py。（网卡，图没加载出来。本机配置为Win10。
想用GPU跑yolo数据集，但是始终使用的是cpu，运行环境调整好了，还是有报错Memory Management and PYTORCH_CUDA_ALLOC_CONF
qq_26420885的博客
02-24 4400
使用GPU训练模型，遇到此问题一 Memory Management and PYTORCH_CUDA_ALLOC_CONF， 问题二[Errno 32] Broken pipe 问题三RuntimeError: indices should be either on cpu or on the same device as the indexed tensor (cpu)，这里都有体现，可以参考一下
书生大模型第三期Linux+InternStudio 关卡
XiaShiQi_donglin的博客
07-12 1719
端口映射是一种网络技术，它可以将外网中的任意端口映射到内网中的相应端口，实现内网与外网之间的通信。通过端口映射，可以在外网访问内网中的服务或应用，实现跨越网络的便捷通信。那么我们使用开发机为什么要进行端口映射呢？因为在后续的课程中我们会进行模型web_demo的部署实践，那在这个过程中，很有可能遇到web ui加载不全的问题。这是因为开发机Web IDE中运行web_demo时，直接访问开发机内 http/https 服务可能会遇到代理问题，外网链接的ui资源没有被加载完全。
基于Pytorch使用GPU运行模型方法及可能出现的问题解决方法
rothschild666的博客
10-21 3255
在基于pytorch深度学习进行模型训练和预测的时候，往往数据集比较大，而且模型也可能比较复杂，但如果直接训练调用CPU运行的话，计算运行速度很慢，因此使用GPU进行模型训练和预测是非常有必要的，可以大大提高实验效率。如果还没有配置好运行环境的博友们可以参考下面博主的文章。
端口转发：ssh -L 或 -R
刘元林的博客
05-31 8642
SSH 除了可以访问服务器，还可以创建加密隧道，充当两台服务器之间的通信加密跳板，使得原本不加密的通信变成加密通信。这个功能称为端口转发（port forwarding），又称 SSH 隧道（tunnel）。 这里介绍本地转发和远程转发两种场景。需要注意的是，对于openssh的不同版本实现，默认值略有差异，但命令语法相同。 ...
一文读懂 PyTorch 显存管理机制
zandaoguang的博客
04-08 4325
点击上方“视学算法”，选择加"星标"或“置顶”重磅干货，第一时间送达作者丨米阿罗@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/486360176编辑丨极市平台首发于踢翻炼丹炉：https://www.zhihu.com/column/c_1320691511223136256二次转载须经作者授权导读本文细致的对PyTorch 显存管理机...
SSH的常用玩法（SSH隧道）
一醉一休的博客
08-11 6956
在内网中，几乎所有的Linux/UNIX服务器和网络设备都支持SSH协议。在一般情况下，SSH协议是被允许通过防火墙和边界设备的，所以经常被攻击者利用，同时，SSH协议的传输过程是加密的，所以我们很难区分合法的 SSH会话和攻击者利用其他网络建立的隧道，攻击者使用SSH端口隧道突破防火墙的限制后，能够建立一些之前无法建立的TCP连接。...
书生浦语大模型
最新发布
03-26
### 关于书生·浦语大模型 书生·浦语是由上海人工智能实验室推出的大规模预训练语言模型，其设计目标是在多个自然语言处理任务上表现出卓越性能的同时保持高效性和易用性[^1]。该模型不仅支持多种应用场景下的开箱即用功能，还提供了灵活的微调能力以适应特定需求。 #### 模型使用方法 为了使用书生·浦语大模型，可以通过指定 `local_llm_path` 参数加载本地已有的模型文件或者通过提供 Hugging Face 平台上的模型名称来自动下载并加载远程模型。例如可以使用的模型名有 `"internlm/internlm2-chat-7b"` 或者 `"internlm/internlm2-chat-20b"` 等。此外，在实际部署前需确保设置合理的参数如 `local_llm_max_text_length` 来控制输入的最大长度以便优化运行效率和效果。 对于初次使用者来说，准备环境的第一步可能涉及创建目录结构以及复制预先获取到的模型仓库至相应位置的操作命令如下所示： ```bash mkdir -p /root/model/Shanghai_AI_Laboratory && \ cp -r /root/share/temp/model_repos/internlm-chat-7b /root/model/Shanghai_AI_Laboratory/ ``` 上述脚本片段展示了如何构建存储路径并将 internlm-chat-7b 版本的具体实现迁移过去的过程[^2]。 #### 微调与扩展支持 值得一提的是，除了基础的服务外，书生·浦语也兼容其他主流框架内的调整流程和技术方案，比如但不限于 InternLM, Llama, Qwen (通义千问), BaiChuan 及 ChatGLM 这些知名系列的产品线均被纳入考虑范围之内；并且能够很好地融入像 HuggingFace 和 ModelScope 那样的开放生态系统之中去寻找更多可能性[^3]。 另外值得注意的一点在于围绕着这些先进工具所建立起来的标准评估机制同样值得称赞——它由国内权威机构主导制定而成，并得到了国际巨头 Meta 的正式背书成为唯一推荐给用户的本土化考核标准之一，涵盖了上百套测试集合总计五十多万道试题用于全面衡量各项指标表现情况[^4]。 ### 提供的相关资源链接 虽然这里无法直接给出具体的文档地址或安装包下载连接，但是可以根据前面提到的信息自行前往官方网站查询最新版本资料详情页面获取进一步指导说明材料。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值