华为云使用踩坑记录

华为云Jupyter Notebook使用技巧：OBS文件上传与同步
最新推荐文章于 2024-09-21 19:07:26 发布
原创 最新推荐文章于 2024-09-21 19:07:26 发布 · 492 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了在华为云的Jupyter Notebook中，如何正确处理OBS桶上传的文件。关键点包括：1) 数据应以压缩包形式上传到OBS桶，之后在Notebook内解压使用；2) 如遇到文件找不到的问题，可能需要同步OBS桶内的文件。通过这些步骤，可以避免90%的错误并确保文件的正常使用。

这次实验用华为云做的。

用的jupyternotebook

1.OBS桶上传的数据应该是压缩包形式的
我上传了解压后的文件，90%的错误都来自这里。
因为上传了压缩文件后，可以在jupyter上解压，然后才能使用文件里的东西
如果直接上传已经解压的，似乎没法使用。

2.找不到相关的文件
需要sync一下桶里的文件。就可以了
在这里插入图片描述

Hhhhhhhhh毅
关注
【云原生】华为云踩坑日志（更新于2023.12.10）
CN_Eden
07-17 371
CCE正常，sfs授权做了，创建挂载时除了pod无法挂载成功，其他都正常。
华为云实验-Alexnet
guguu1的博客
02-28 1007
华为云实验-Alexnet 实验步骤 首先讲数据集上传至OBS，在OBS中上传至云端，具体实现如下： import moxing as mox dataset_url = “obs://wkkk/flower_data/” mox.file.copy_parallel(dataset_url,"./) 其中./为当前文件夹，…/为上一级文件夹。 在Terminal里输入： cd work ls python train.py 训练结束后得到结果最好的模型Alexnet.pth保存到当前文件夹。 !]
华为云真是太坑了
weixin_30760895的博客
11-11 1253
　　买了主机还得另外买带宽跟独立IP，为什么当初不一起卖啊，等试用的时候才知道只能在网页登陆，SSH根本连不上去，我要那玩意有啥用？？？ 说好的不满意退款，等了两星期没退成，再问客服说请耐心等。那我就等着吧。 　　过了差不多快一个月，客服打电话来说叫我续费，我就纳闷了不是退款了么，结果她说要删除了资源才能申请退款，真是******了。当时也不跟我说这回事，等这个月的钱扣完了才说。这售后我不知道...
【开发心得】5分钟踩一下华为云modelarts的坑
知止不殆
10-26 1949
本文以文本分类场景为例，以此说明如何创建属于自己的AI服务。由于华为云的文档写的还不错，如果是初学者，建议按照华为云文档的步骤去做。 不过，由于华为云的文档更新往往跟不上架构更新，所有有些时候，看似简单的部署，反而会碰到坑。所以本文的重点是告诉大家可能碰到的坑，以及如何去踩。
使用华为云服务器的一些避坑指南
FOR.GET
08-25 415
安装方法 https://www.yisu.com/ask/3907.html
华为云文件同步踩坑记录
人生如逆旅，我亦是行人
05-02 632
使用jupyter环境，有2种方法把obs桶里面的文件放入工作环境 其中src_url中填写的是源地址，这里是从obs桶中的文件放入到dst_url中 这个函数还可以把工作台中的文件下载回obs桶中，我一般用来把训练好的权重文件下载回到本地。 ...
华为云-ModelArts-OBS 压缩文件处理
leemo的博客
06-20 1420
在使用GOT-10k数据集时，由于训练集太大，所以下载了OBS Browser+，但是存在一个小问题，由于文件太多，将训练集解压后上传，速度太慢，故将训练集的压缩包上传到OBS Browser+，再使用ModelArts的notebook，将其解压，重新上传至OBS，速度要快很多。由于我的训练集中有19个压缩包，所以分别对其进行解压，将其解压到本地文件夹。，新建文件夹，将训练数据集（压缩包）进行上传。为本地的文件夹，需要在左侧文件区域新建。可以将obs的压缩包文件进行删除了。将解压后的文件上传到OBS的。
华为云centos7.9按装ambari 2.7.5 hostname 踩坑记录
最新发布
SoberChina的博客
09-21 1737
Centos 7.9 下Ambari2.75安装及HDP3.1.5集群搭建 linux hostname 获取失败案例分享。云上机器 hosts配置hostname走回环 ambari socket.getfqdn() 获取 localhost.localdomain 问题排查。以及 领先云 嗯 解决问题的方式
华为云kafka POC 踩坑记录
独行侠的守望の博客
09-01 847
华为云kafka POC 踩坑记录 2019/03/08 18:29 最近在进行华为云相关POC验证，个人主要负责华为云DMS kafka相关。 大致数据流程是，从DIS取出数据，进行解析处理，然后放入kafka，再从kafka中取出数据然后放到ElasticSearch以及OBS里面。 kafka作为中间层次，发挥着中间件的重要作用。关于华为云kafka的整合，这两天的确碰到一些坑，现进行相...
阿里云 ECS 搭建 k8s 高可用集群踩坑记录
若即的专栏
02-20 2191
之前使用过 minikube 搭建过 k8s 玩具集群，最近想尝试一下搭建高可用集群。由于高可用集群至少需要三台 2C2G 的机器，一开始尝试使用本机的虚拟机搭建，但后面搭建过程中三台较高配的虚拟机高负载运行导致电脑死机。后面把目光转向云服务。阿里云和华为云都提供抢占式按时付费的 ECS，而腾讯云则没有，比较一下价格阿里云总体价格最便宜，所以就决定以阿里云抢占式 ECS 为基础尝试搭建一个 k8s 高可用集群。 总体架构 总体的架构就是在一个专用网络上 ECS 的互通来搭建集群。 原本以为这个和在本地使用
鸿蒙设备开发环境搭建踩坑记录
02-08
2. **修改apt源**：备份并替换sources.list文件，使用阿里云的镜像源以提高软件下载速度。 3. **安装必要工具**： - `sudo apt update` 和 `sudo apt upgrade` 更新系统和软件包列表。 - `sudo apt install ...
PHP后端生成签名后uniapp前端直传华为云OBS记录
weixin_45194019的博客
02-02 1277
uniapp 官方合作的云存储是阿里云和腾讯云，但我们公司选的云存储服务恰好都不是这两家，是华为云 OBS。网上搜了多次，没有能成功的案例分享。但是，考虑到网上关于华为云性能优异的测评报告，以及我对华为这家公司的好感，我还是想努力把这条路走通。因此，走上了坚苦的踩坑之路。 但大家不必重复这个踩坑经历了，我直接上拿走即用的代码。 技术路线确定： 1.前端产生签名前端直传华为云OBS：好处是不经过自家服务器周转，减少一个环节，上传速度更快。坏处：前端产生签名的过程中，会将 AK，SK 等核心账号信息暴露，是极其
OBS无法在线预览的一种解决方式
qq_47751391的博客
07-22 3150
一个另类解决部分对象存储无法在线预览的方案
安全、灵活、低成本，华为云OBS如何提升用户体验
csOPPO的博客
10-20 310
在华为云端对象存储服务，OBS为用户提供低成本储存，华为云CDN可提供网站加速，文件下载加速以及点播加速等功能。研究发现，在线上业务持续拓展的情况下，很多企业都显示出对数据存储的巨大需求，但却没有足够的存储能力满足日常所需，这就造成了企业内部存在严重的“数据孤岛”现象。并且，华为云已经拥有遍布全国的150+产业云创新中心，可以为企业提供一对一创新咨询支持，推进云上业务的不断创新，帮助中国中小企业快速成长，让更多人享受移动互联带来的便捷生活！对于企业来说，只要有足够多的空间和带宽即可满足需求。
【华为云】解压文件夹
qq_42962847的博客
05-14 1859
2.点击JupyterLab里的ModelArts Upload Files，如图，直接将桌面上的MNIST.zip拖拽进来。1.下载需要上传的文件，并压缩成.zip格式（例如MNIST.zip），可以放在桌面上。在Terminal里输入命令：unzip MNIST.zip。（以手写数字的数据集为例，上传到）3.解压MNIST.zip。3.进入JupyterLab。1.进入华为云后，点击。
华为云notebook在线解压压缩包问题
qq_45965736的博客
05-20 3561
python语言解决华为云notebook在线解压压缩包问题 用到华为的notebook做实验，恰好学到了这个地方，给一些参考： 法一：在本地利用压缩包工具解压后，进行上传； 缺点：比较麻烦，如果压缩包的东西比较多，小文件上传比较麻烦； 法二：代码使用； 步骤： 第一步：可以先将要使用的压缩包进行上传，这个比较容易； 第二步：新建一个notebook窗口； 第三步：敲入代码： 情况一：zip压缩包 import zipfile import os def un_zip(file_name, dst)
记一次使用华为云OBS异常
lazy_ting的博客
01-04 2356
使用obs 3.19.7版本（esdk-obs-java-3.19.7.jar） Exception in thread "main" java.lang.NoClassDefFoundError: Could not initialize class com.obs.services.internal.Constants 此问题是：原有系统内的一些包不符合obs-3.19.7版本 顺便记录一下解决思路： 1，百度一下：发现全是说包问题，（L78Z的都有，就是没有说是哪个包的问题） 2，比对其他项
华为云安装docker遇到的坑
weixin_45336104的博客
05-20 1534
docker安装遇到的坑
华为云部署过程错误点记录
肥仔的博客
05-12 1010
1.git clone 华为云仓库地址时出错： 出错原因：SSH没有配置到华为云中： 先生成密钥，然后把这个密钥添加进去： 生成密钥指令及结果： 2.如何进入master分支？ git clone华为云仓库以后会在当前文件夹新建一个仓库：（当前指的是执行git clone时的路径） 然后进入即可： 3.要执行git push origin master以后才能把本地的修改添加到远端仓库上...
华为云移动云OBS浏览器使用教程与资源整理
为了便于用户更方便地管理和使用对象存储服务，华为云和移动云推出了专用的文件服务工具——OBS Browser。 OBS Browser是一个图形化界面的客户端工具，它能够让用户在不熟悉命令行操作的情况下，直观地进行文件的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值