在kaggle或coloab中的notebook 如何自定义 cuda 版本以及如何使用自定义的conda或python版本运行项目(一)

kaggle篇章一,不知道怎么下载Anaconda,Pytorch和Pycharm?如何自学python?没有人机验证?一直出现“unknown error”? 这是一整套的攻略,收集了我在kaggle这条路上遇到的问题,包括下载Anaconda,Pytorch和Pycharm,学习python,注册时没有人机验证,验证码一直出现“unknown error”,以及泰坦尼克号幸存者预测的问题。... 阅读详情
AI摘要

博客主要解决在Kaggle带有GPU的Notebook中,将默认的CUDA 12.1版本改为所需的11.3版本的问题。介绍了从官网下载.run文件、在Kaggle Notebook中下载、静默安装及查看结果等步骤。还提到在Colab上同理,但安装时可能遇gcc版本不匹配问题及解决办法。

问题

第一部分

当前kaggle中带有gpu的notebook 默认的cuda 是12.1版本,如果我要跑一个项目是11.3的,如何将默认的cuda 改为自己需要的cuda 11.3

方法

step1 从官网下载需要的版本cuda run 文件(如cuda 11.3)

在nvidia cuda 下载官网上找到我们需要的.run 文件(虽然kaggle里的系统不是centos,但是我们选择centos 的run文件也是可以用的)

在这里插入图片描述

step2 在kaggle 的notebook中下载

!wget https://developer.download.nvidia.com/compute/cuda/11.3.0/local_installers/cuda_11.3.0_465.19.01_linux.run

在这里插入图片描述

step3 静默无交互的安装cuda

!chmod 777 ./cuda_11.3.0_465.19.01_linux.run
!./cuda_11.3.0_465.19.01_linux.run  --silent    --toolkit  --toolkitpath=~/cuda_11.3   


在这里插入图片描述

step4 查看安装结果

在这里插入图片描述

Extend

在colab 上同理,但是安装cuda11.3 时可能会遇到gcc版本不匹配的问题
如果安装cuda 是遇到
Failed to verify gcc version. See log at /var/log/cuda-installer.log for details.
在这里插入图片描述
则需要修改gcc的版本
参考链接:https://stackoverflow.com/questions/6622454/cuda-incompatible-with-my-gcc-version

``在这里插入图片描述

参考:https://juejin.cn/post/7255898580682539045 安装对应的gcc版本

# 如cuda 11.3 对应的 gcc 10
!sudo apt install gcc-10 g++-10 -y
!update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-10 100 --slave /usr/bin/g++ g++ /usr/bin/g++-10
!gcc --version

在这里插入图片描述

# 切换gcc,g++环境
update-alternatives --config gcc

然后再安装cuda

在kaggle或colab中的notebook 如何自定义 cuda 版本以及使用自定义的conda/python版本运行项目(二) kaggle or colab 上自定义conda 跑项目的脚本 阅读详情

相关推荐

Pytorch 在 Kaggle 上使用 GPU

Kaggle 上使用 GPU 0. 环境介绍 环境使用 Kaggle 里免费建立的 Notebook 教程使用李沐老师的 动手学深度学习 网站和 视频讲解 小技巧:当遇到函数看不懂的时候可以按 Shift+Tab 查看函数详解。 1. Kaggle 上使用 GPU 找到右边 Settings 里面的 Accelerator: 选择 GPU: 每周可以使用 36 小时: 查看显卡信息: !nvidia-smi 可以看到显卡为 Tesla P100,拥有 16G 显存。 2. 计算设备 我们可以指定

负负得正的博客 1万+

在kaggle上安装对应版本的pytorch CUDA

显示大致意思是torch/optim/lr_scheduler.py文件中 应将optimizer.step()在lr_scheduler.step()前调用,这是应为torch版本不对应,搜了半天,大都说最简单的方法是重新安装torch和CUDA。然后它一直在saving evenment 打转,换成镜像源也很慢 怎么搞得,那位大佬教教我这个菜鸡!可在kaggle 安装时又遇到了麻烦!

qq_57165605的博客 1717

kaggle | 较快-下载来自kaggle数据源的方法记录

一开始认为我的是打开cmd直接安装的,一测试发现不是。

HG0724的博客 3214

conda创建环境及使用镜像

最近做毕设,由于总是需要创建新的环境并安装不同的python包,频繁百度超级麻烦,所以准备做一下记录,方便自己以后查看。 conda创建新环境,名称为kag,使用python3.8作为编译器 conda create -n kag python=3.8 之后激活镜像 conda activate kag pip使用阿里云镜像 pip install numpy -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors

EddieG的博客 4290

在colab跑bert笔记和kaggle跑数据方法

1.按requestment安装依赖 2.配置cuda版本 1.查看现在cuda版本 !nvcc --version 查看colab加载的Linux系统的版本 2.卸载当前Colab的CUDA #Uninstall the current CUDA version !apt-get --purge remove cuda nvidia* libnvidia-* !dpkg -l | grep cuda- | awk '{print $2}' | xargs -n1 dpkg --pu

yueru2wan的博客 626

ks-快手滑块验证码-Js逆向

本文分析了快手滑块验证码的破解过程。首先通过抓包找到验证码背景图接口,发现需要动态获取captchaSession参数。然后深入分析验证流程,发现verifyParam参数被加密处理,需要追踪其生成逻辑。文章详细解析了加密参数c的构成,包括captchaSn、滑动距离、轨迹信息等,并指出轨迹验证较为严格。最后通过对比浏览器和本地生成的加密值,确认加密逻辑正确,但指出轨迹生成仍需优化。作者建议参考相关文章深入分析轨迹逻辑,并提供了验证成功的截图作为参考。

2302_76420666的博客 1876

kaggle创建虚拟环境

【代码】kaggle创建虚拟环境。

m0_49766582的博客 3724

STM32实现webserver显示数据及配置参数

其实提到的将fsdata.c重命名为fsdata_custom.c,可以不重命令,将/LWIP/Target/lwipopts.h中HTTPD_USE_CUSTOM_FSDATA 定义为0,这样HTTPD_FSDATA_FILE将使用fsdata.c,避免每次生成fsdata.c需要重命令的麻烦。2、登录成功后,板卡根据板卡配置类型,返回对应的数据页面,该页面可实现数据校准、清零,以及进行到板卡参数设置页面。目前还未实现post功能以及http身份验证功能。3、板卡参数设置页面。

2691

在Kaggle的Notebook上处理找到的数据集并下载

在Kaggle的Notebook上找到“Daily Temperature of Major Cities”数据集处理好后下载到本地。

yueyueye的博客 1532

2.2.1.3-移动平均线(python画k线、均线、5日线、买卖点图、python均线策略)

* 绘制一个k线图,也就是蜡烛图 * 计算5日均线值、10日均线值 * 在k线图上,绘制5日线和10日线图 * 在5日线上,绘制与10日线的交叉点(上穿、下穿时) python画k线、均线、5日线、买卖点图、python均线策略

KelvinLiu 3413

不止于连接:用VS Code Remote-SSH深度开发树莓派(Ubuntu 22.04环境实战)

本文详细介绍了如何在Ubuntu 22.04环境下使用VS Code的Remote-SSH功能进行树莓派深度开发。通过SSH配置、VS Code扩展安装和远程环境优化,开发者可以在本地高效编写代码,同时在树莓派上直接运行和测试,解决性能瓶颈问题。文章还提供了高级功能如端口转发、多项目管理和远程调试的实战技巧。

didui8202的博客 352

kaggle在output上;pytorch安装包下载后怎么装;(最全的安装包下载带cuda版本)DGL113下载;报错:UserWarning: NVIDIA GeForce RTX;fcntl报错

conda install -c http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/dglteam/win-64 /dgl-cuda11.3 但是没成功,所以放弃这个方法,采用一开始的解压缩办法。cp -r ../input/cakecakecake-paper ./ #我就用的这个方法移动的。(上面的下载好好好慢。是的没错,我又来下载一遍dgl了,真的害怕极了。别只看红字,上面的字才是解决的key!就可以了,我试了一下对!

weixin_44724619的博客 2735

使用Transformer实现自动调制识别(RML2018)

image_size = 1024 # resize重置输入大小patch_size = 16 # 从输入图片中将被提取的块大小# 分成 num_patches 个块num_patches = (image_size // patch_size) #(72/6)**2 横着裁剪),],return x})

QAQIknow的博客 1321

使用kaggle的notebook运行代码

参考视频教程: **Kaggle竞赛经典案例深度剖析 ** Add Data的路径:/kaggle/input git clone的路径:/kaggle/working notebook和终端不太一样的是: 终端你cd 到一个目录后,路径会保留,像这样: $ cd ~/test $ ls -l 但是kaggle notebook中的命令则是: cd ~/test;ls -l 如果分成两行写,当前路径会恢复成默认路径。 登陆https://www.kaggle.com/ 依次My p...

u013328649的博客 5863

2026基金本子新规必看!聚焦四大底层问题,利用AI辅助分别破解提升中标率

我拟申报的研究主题为【明确的研究主题或关键词组合】。选题方向也是评审专家关注的核心之一,申报前可以检索近五年领域前人中标项目,分析现有研究的空白与不足,并结合自身研究基础选择 “人无我有、人有我优” 的细分方向,如果是交叉学科选题,则要阐述不同学科的融合逻辑与创新点。“推动国家战略”、“带来行业发展”等宏观表述,有很多同仁都喜欢用这类话术开篇,但实际上宏大叙事无法替代具体的真实科学问题,明确不了研究要解决的核心痛点,更没有说明问题的现实针对性,评审看了往往抓不到研究的核心价值。

智能AI让学术科研更容易 294

材料仿真软件:Quantum Espresso_(15).声子与振动模式计算

通过上述步骤和代码示例,您应该能够使用 Quantum Espresso 进行声子与振动模式的计算。声子计算是材料科学研究中的重要工具,可以帮助我们更好地理解和设计材料的性能。希望本节内容对您有所帮助。

kkchenjj的博客 1178

命令-conda-markdown-kaggle常用命令-WebStorm-pycharm

conda-markdown-kaggle命令-webstorm-pycharm 学习过程中使用的命令。

LXMXHJ的博客 1605

爬虫实战:拆解WASM加密参数,破局2026电商动态接口反爬(实测某头部电商可用)

sign和wasm_token,而且每次请求这两个参数都在动态变化。用常规的参数拼接、MD5加密尝试还原,结果全是403;反编译前端JS,发现核心加密逻辑被打包成了.wasm,把关键参数加密、签名逻辑藏在二进制模块里,让爬虫无法直接逆向JS拿到加密规则。前后折腾了5天,从WASM文件解析、JS与WASM交互逻辑拆解,到本地还原加密参数、实战验证,踩了无数坑(比如WASM版本不兼容、内存数据读取失败、加密依赖环境缺失),最终成功还原了加密流程,稳定爬取商品详情、价格、销量等核心数据,连续运行72小时无封禁。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 1911

Kaggle:免费 GPU 使用指南,Colab 的理想替代方案

“白嫖”免费 GPU 的图文攻略。

Hoper-J的博客 2万+

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

kaggle首次使用记录-如何使用notebook以及上传结果

一直想在kaggle上参加一个比赛,近期看见又一个病害分类的比赛出来了,不说了,必须抓住机会,不能再拖延! 初学者怎么使用kaggle 点入一个competition,可以看到 其中: overview:比赛方对比赛概况的介绍,解决什么问题,难点是什么?以及评分方式,提交的时间节点(重要)【审题】 data:数据,介绍和下载地址 notebooks:开源的代码 discussion:多去看,高手对比赛的认识和分析,一些提分点 notebooks和discussion相当于两个社区 le

j_starry的博客 3万+

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

windows WSL配置cuda,pytorch和jupyter notebook

windows WSL配置cuda,pytorch和jupyter notebook。避免踩坑,快速安装!

seamoon的博客 2011

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Kaggle平台搭建指定Python版本CUDA版本Pytorch版本

在Kaggle平台上复现论文代码时,由于默认的Python版本较新,直接安装依赖库常会遇到兼容性问题。通过更改Python版本至3.8,可以有效解决这一问题。操作步骤包括在Kaggle Notebook界面添加Python版本,通过命令行更改并验证Python版本,确保选择GPU选项,并安装指定的CUDA和Pytorch版本。这一过程不仅解决了环境配置的难题,也为其他用户提供了实用的解决方案。感谢Kaggle社区成员提供的帮助,此分享旨在促进技术交流,如有侵权请联系删除。

Savitar_24的博客 2363

kaggle上复现CT3D

在kaagle上安装spconv1.2.1,尝试改变cuda版本,cmake版本,pytorch版本等方法,发现一直无法编译安装spconv1.2.1,在pythonsetup.pybdist_wheel编译过程中报错缺少"cuhash"与"spconv",故本次kaggle安装spconv1.2.1用的是whl文件直接pipisntall安装,用此方法的前提是cuda版本要严格对应(环境的cuda11.0,则whl文件的也应为cuda11.0)(4)配置CT3D环境。1.安装spconv。......

weixin_44808890的博客 1035

从零开始配置jupyter notebook

前提是已经安装好python环境。

m0_73565632的博客 1092

Jupyter notebook使用cuda时报错

错误如上,解决办法如下:首先激活虚拟环境​​。

yuan_zhongchen的博客 276
上一篇: 给label-studio 配置sam(segment anything)ml 记录
下一篇: 在kaggle或colab中的notebook 如何自定义 cuda 版本以及使用自定义的conda/python版本运行项目(二)
Magicapprentice
博客等级 码龄12年 111粉丝 42原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值