CPU与GPU/CUDA/AWS GPU服务器

最新推荐文章于 2025-05-20 07:30:00 发布
最新推荐文章于 2025-05-20 07:30:00 发布
阅读量1.2k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 杂乱无法分类的文章
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weiwei935707936/article/details/99945268
本文对比了CPU与GPU的特点，强调GPU在并行计算和深度学习领域的优势，并介绍了NVIDIA的CUDA架构如何使GPU编程成为可能。此外，还提供了在AWS上创建GPU服务器的步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一.CPU与GPU的不同（简单，抽象，大概的认识）

  • 如果把处理任务比作愚公移山（现代），那么CPU就是挖掘机作业次数多，GPU就是用大铲。（～～不要打我：）

  • CPU适合逻辑控制很多，调用复杂的任务。GPU是和做计算密级型，易于并行的程序。（深度学习的CV就很合适）

二.CUDA

  • 是nvidia从2007年开始推出的统一计算架构，为了让GPU有可用的编程环境，从而通过程序控制底层的硬件进行计算。
  • CUDA软件环境：(即应用程序可以任意调用下方浅蓝色的层级，进而使用GPU)
CUDA函数库CUDALibrary
CUDA运行时APIRuntimeAPI
CUDA驱动APIDriverAPI

  • CUDA硬件环境：
  1. GPU架构：GPU的结构，包括处理的核，运算单元，缓存，对双精度的支持等等。
  2. 芯片型号：每一代架构都有自己做并行化的思想，芯片就是做并行化的实现。
  3. 显卡系列：GeForce(笔记本),Quadro（工作站）,Tesla（服务器）（显卡就是用几块芯片怎么组合等等）
  4. GeForce显卡型号：GTX(这个是主流，其他很老)

三.AWS创建自己的服务器

选地区->EC2->创建服务器->选择操作系统->选择GPU->硬盘大小->创建密钥（通过文件登录服务器）->启动初始化->登录（key pair,公派地址）

 

 

CPU、GPU：Torch not compiled with CUDA enabled GPU
weixin_45751925的博客
07-11 828
在调用chatglm-6b时，cpu、gpu版相应解决方案
aws搭建深度学习gpu_选择合适的GPU进行AWS深度学习
weixin_26632369的博客
07-19 2582
aws搭建深度学习gpuA decade ago, if you wanted access to a GPU to accelerate your data processing or scientific simulation code, you’d either have to get hold of a PC gamer or contact your friendly neighborh...
使用AWS最便宜的GPU实例  from 动手学深度学习v2 李沐大神
m0_56858478的博客
05-27 1408
使用AWS最便宜的GPU实例 from 动手学深度学习v2 李沐大神 视频链接https://www.bilibili.com/video/BV1MA411L78X?t=493 由于购买的电脑没有配NVIDIA独立显卡，故在学习到AlexNet的时候就没办法在CPU上运行相关代码，感谢李沐大神手把手教学使用AWS最便宜的GPU实例，视频有点加速，本人也是放了0.75倍速看了好几遍才操作成功，所以将此过程写成如下内容，供大家参考。 1.注册AWS账号 进入网站：https://portal.aws.a
GPU云服务器
HaoHao_010的博客
12-03 1229
GPU云服务器适合那些需要高并发、高计算能力和低延迟的应用，特别是在人工智能、深度学习、图形渲染、视频处理和大数据分析等领域。借助GPU的并行计算能力，用户可以在云端高效地完成大量计算任务，而无需投资昂贵的硬件设备。
GPU 超级节点：AWS Trainium2 UltraServer
烟云的计算
05-19 2166
Trainium1 于 2020 年发布，使用 NeuronCore-v2 核心，是一款用于专注于 AI/ML 训练的加速芯片，支持 BF16 和 FP32 进行高精度训练，以及支持 TF32、FP16 和 INT8 以提高效率，还配备了专用的集合通信库芯片。可用于训练数十亿参数的大模型。2024 年，AWS 宣布了下一代 Trainium3 芯片，采用 3nm（纳米）制程，预计将比 Trainium2 提升 2 倍的性能，改善 40% 的能效，将于 2025 年底推出。所以，是的，这大约好 37.5%。
使用亚马逊AWS云服务器进行深度学习——免环境配置/GPU支持/Keras/TensorFlow/OpenCV
蛮三刀酱
12-15 1万+
吐槽：由于科研任务，需要在云端运行一个基于神经网络的目标识别库，需要用到GPU加速。亚马逊有很多自带GPU的机器，但是环境的配置可折腾坏了，尤其是opencv，每次总会出各种各样的问题！ 无奈中，看见了Adrian Rosebrock的blog：Pre-configured Amazon AWS deep learning AMI with Python 其已经预配置好各种环境，包括Keras,
基于GTID的 mysql 主从故障切换
qq_49296785的博客
11-10 771
mysql 从 5.6.5 后新增了一种基于 GTID 的复制方式 环境 2台 CentOS Linux release 7.5.1804 (Core) master 端 192.168.153.177 slave 端 192.168.153.177 关闭防火墙和selinux 部署： 安装 mysql5.6.5 及以上版本 yum -y install wget wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-1.
服务器cpu_服务器CPU与GPU协同运算加速三巨头竞争
weixin_39928461的博客
11-14 343
来源：内容来自「MoneyDJ」，谢谢。根据DIGITIMES Research分析师翁书婷观察，高速运算需求下，服务器CPU与GPU协同运算趋势将加速NVLink、CCIX(Cache Coherent Interconnect for Accelerators)、CXL(Compute Express Link)与Gen-Z等开放式高速互连界面生态系的发展，也带动英特尔(Intel)...
【异构计算架构】CPU/GPU/FPGA混合资源池
沐风—云端行者
05-20 1277
随着摩尔定律的物理极限逼近，单一架构的计算芯片已无法满足高并发、高吞吐场景的需求。异构计算通过整合CPU、GPU、FPGA等多种处理器，实现了“专业分工+协同增效”的计算范式。其发展历程从早期的GPU图形渲染和FPGA固定功能加速卡，到2010-2020年的CUDA生态和FPGA布局，再到2020年后的资源池化阶段，逐步形成了动态资源池。技术特点包括资源多样性、任务协同机制和灵活性与能效。实现细节涉及资源池化架构、调度算法优化和典型案例。未来发展趋势包括架构革新、生态整合和行业标准化。异构计算正推动算力供给
onnxruntime-win-x64-gpu-cuda12-1.18.0.zip
06-10
安装和使用此GPU版ONNX Runtime时，你需要确保系统已安装了与CUDA 12兼容的NVIDIA驱动，并且具备C++编译环境。在项目中，你需要链接ONNX Runtime库，并按照API文档指导设置GPU执行上下文，以便模型能够在GPU上运行。...
GPU与CPU：架构对比与技术应用解析
hello.reader
01-12 2416
GPU以其强大的并行计算能力，在深度学习、图像处理和科学计算等领域迅速崛起，而CPU则在通用计算任务中保持其核心地位。CPU（Central Processing Unit，中央处理单元）是计算机系统的核心组件，负责执行程序中的所有指令，并控制其他硬件设备的运行。CPU的设计目标是通用性和灵活性，能够处理各种复杂的计算任务和控制任务。在多核CPU和多GPU协同工作的架构中，优化任务分配和资源使用是性能调优的关键。CPU擅长处理复杂的、具有依赖性的串行任务，这是由其架构和设计目标决定的。
NVIDIA GPU 加速 AWS 云开计算.pdf
08-06
北京技术峰会，NVIDIA GPU 加速 AWS 云开计算。
在AWS上使用GPU实现分布式神经网络
walle的博客
04-13 1983
在AWS上使用GPU实现分布式神经网络
GPU算力租用平台推荐
W楠的博客
07-24 1546
在现代科技迅速发展的今天，GPU（图形处理单元）已经成为高性能计算和深度学习等领域不可或缺的工具。由于GPU的并行处理能力，可以大幅加快数据处理和模型训练的速度。然而，拥有和维护高性能的GPU硬件对于个人用户和小型企业来说成本较高。因此，GPU算力租用平台成为了一个经济高效的解决方案。本文将介绍几款热门的GPU算力租用平台，并分析其优势和适用场景。
Day 02 - 选择具有GPU的EC2并完成配置
m0_50614038的博客
10-26 1321
选择具有GPU的EC2并完成配置－Day 02 需要配置一台电脑来处理接下来所有的服务，因为这是深度学习的应用，所以需要使用到GPU，而GPU的配置十分繁琐，而透过AWS EC2来配置的话，只要选择好对应的个体类型与AMI（Amazon Machine Image），可以很快的完成主机的配置。关于EC2的详细操作，可参考先前的 Amazon Elastic Compute Cloud (EC2) 笔记)，在这里只简单的把画面撷取下来。 首先要确认随选的个体（instance）是否有足够的数量可供使用，因为通
GPU服务器中安装CUDA
学如逆水行舟，不进则退
10-19 3031
如何在GPU服务器中使用GPU运行机器学习模型？
使用Amazon AWS搭建GPU版tensorflow深度学习环境
热门推荐
zhaoyu106的博客
10-19 2万+
原文链接： http://ramhiser.com/2016/01/05/installing-tensorflow-on-an-aws-ec2-instance-with-gpu-support/原文作者在第一段就说啦，如果想省事的话，直接用他的AMI就好啦~ 使用AWS的好处是便宜，使用竞价性的价格每小时只要几毛钱，而且以后随时随地都可以跑程序啦~~ 还不太明白的小伙伴可以参考youtu
机器学习开发的灵药：Docker容器
数据派THU
11-14 269
来源：机器之心本文约4300字，建议阅读10分钟转向容器化机器学习开发是应对众多挑战的一种途径。大多数人都喜欢在笔记本电脑上做原型开发。当想与人协作时，通常会将代码推送到 GitHub ...
（如何租用AWS/Azure的GPU实例（如Tesla T4）
最新发布
06-02
<think>嗯，用户想了解如何在AWS或Azure上租用Tesla T4的GPU实例来进行AI计算。首先，我需要回忆一下之前提供的关于购买和组装台式机的信息，但这次用户转向了云计算平台，所以得调整思路。用户可能已经考虑过自建机器，但可能因为预算或灵活性选择了云服务。首先，我需要确认AWS和Azure的具体步骤。用户提到Tesla T4，所以得找到这两个平台对应的实例类型。比如，AWS的G4实例可能使用T4，而Azure的NCv3系列可能也有。需要检查每个平台的最新实例信息，确保准确性。 接下来，用户可能想知道具体的创建流程，包括注册账号、选择实例、配置环境等。需要分步骤说明，可能还要提到如何选择区域，如何访问实例，以及安装必要的驱动和框架，比如CUDA、PyTorch或TensorFlow。另外，成本控制也是一个重点，用户可能需要了解按需计费和竞价实例的区别，以及如何避免意外费用。然后，注意事项部分要包括安全组设置、密钥管理、监控和自动关机策略，这些对新手来说很重要，避免被攻击或产生高额费用。还要比较AWS和Azure的不同点，比如实例类型、价格、集成服务，帮助用户根据需求选择。 最后，生成相关问题时要覆盖用户可能遇到的后续问题，比如如何选择实例类型、数据传输方法、多GPU使用、成本优化和故障排除。这样用户可以进一步探索解决方案，而不会卡在下一步。</think>### 如何在AWS/Azure上租用GPU实例（Tesla T4）进行AI计算？ #### 一、AWS租用GPU实例（Tesla T4）步骤 1. **选择实例类型** - 登录AWS控制台后，在EC2服务中选择**G4实例**（如`g4dn.xlarge`），该系列搭载NVIDIA T4 GPU[^1][^3]。 - 每个G4实例包含1个T4 GPU（16GB显存），适合中小型模型训练和推理任务。 2. **配置实例参数** - **操作系统**：推荐预装Ubuntu 20.04或Amazon Linux 2（支持CUDA驱动）。 - **存储**：至少分配50GB SSD用于安装深度学习框架（如TensorFlow/PyTorch）。 - **网络**：开启默认安全组，允许SSH（端口22）和Jupyter Notebook（端口8888）访问。 3. **启动与连接** - 通过SSH连接实例： ```bash ssh -i "密钥文件.pem" ubuntu@实例公网IP ``` - 安装CUDA驱动和深度学习框架： ```bash sudo apt-get install nvidia-driver-470 # 安装NVIDIA驱动 pip install torch torchvision --extra-index-url https://download.pytorch.org/whl/cu116 # 安装PyTorch（CUDA 11.6） ``` 4. **成本估算** - G4实例按需计费价格约为$0.526/小时（美国东部区域）[^1]。 - 使用**竞价实例（Spot Instance）**可降低成本至30%-50%，但需容忍可能的实例中断。 --- #### 二、Azure租用GPU实例（Tesla T4）步骤 1. **选择虚拟机系列** - 在Azure门户中创建虚拟机时选择**NCv3系列**（如`Standard_NC4as_T4_v3`），该系列配备NVIDIA T4 GPU[^2]。 - 单实例显存为16GB，支持CUDA 11.0+。 2. **配置参数** - **操作系统**：选择Ubuntu 20.04 LTS或Windows Server预装CUDA驱动。 - **磁盘**：附加至少64GB SSD，用于存储数据集和代码。 - **网络安全组（NSG）**：开放SSH（22）、HTTP（80）和自定义端口（如Jupyter的8888）。 3. **环境部署** - 通过Azure Cloud Shell或本地终端连接： ```bash ssh azureuser@实例公网IP ``` - 安装CUDA工具包： ```bash wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pin sudo mv cuda-ubuntu2004.pin /etc/apt/preferences.d/cuda-repository-pin-600 sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/7fa2af80.pub sudo apt-get update && sudo apt-get install cuda-11-7 ``` 4. **定价参考** - NCv3系列实例按需价格约为$0.76/小时（美国东部）[^2]。 - 使用**低优先级虚拟机**可节省40%-60%费用，但需接受资源抢占风险。 --- #### 三、关键注意事项 1. **驱动兼容性** - 验证CUDA版本与深度学习框架的匹配性，例如： $$ \text{PyTorch 1.12} \rightarrow \text{CUDA 11.3/11.6} $$ 通过`nvidia-smi`命令检查GPU状态和驱动版本[^1]。 2. **成本控制** - 使用云监控工具（如AWS CloudWatch/Azure Monitor）设置预算警报。 - 训练完成后**立即停止实例**，避免闲置计费。 3. **数据管理** - 大型数据集建议存储在云存储服务（AWS S3/Azure Blob），通过高速网络挂载到实例。 --- #### 四、AWS与Azure对比 | **特性** | **AWS G4实例** | **Azure NCv3实例** | |----------------|-----------------------------------|----------------------------------| | **GPU型号** | NVIDIA T4 | NVIDIA T4 | | **显存容量** | 16GB | 16GB | | **每vCPU价格** | $0.526/小时（按需） | $0.76/小时（按需） | | **集成服务** | S3存储、Lambda无服务器计算 | Blob存储、Azure Functions | | **适用场景** | 中小型模型推理/训练 | 同左，兼容Windows环境开发 | ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值