cuda 在GPU和CPU之间复制数组

最新推荐文章于 2025-06-12 15:51:39 发布

原创最新推荐文章于 2025-06-12 15:51:39 发布 · 3.7k 阅读

1 ·

CC 4.0 BY-SA版权

c-c++ 同时被 3 个专栏收录

83 篇文章

订阅专栏

机器学习

41 篇文章

订阅专栏

cuda

19 篇文章

订阅专栏

本文介绍了一个使用CUDA进行并行计算的例子，包括设备设置、内存分配与初始化、数据从主机复制到设备以及创建CUDA流等关键步骤，并展示了如何在多个设备上执行这些操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#define CUDACHECK(cmd) do {                         \
  cudaError_t e = cmd;                              \
  if( e != cudaSuccess ) {                          \
    printf("Failed: Cuda error %s:%d '%s'\n",             \
        __FILE__,__LINE__,cudaGetErrorString(e));   \
    exit(1);                             \
  }                                                 \
} while(0)
int nDev=2;
  float** sendbuff = (float**)malloc(nDev * sizeof(float*));
  float** recvbuff = (float**)malloc(nDev * sizeof(float*));
  cudaStream_t* s = (cudaStream_t*)malloc(sizeof(cudaStream_t)*nDev);
 int size=4;
 for (int i = 0; i < nDev; ++i) {
    CUDACHECK(cudaSetDevice(localRank*nDev + i));
    CUDACHECK(cudaMalloc(sendbuff + i, size * sizeof(float)));
    CUDACHECK(cudaMalloc(recvbuff + i, size * sizeof(float)));
    CUDACHECK(cudaMemset(sendbuff[i], 1, size * sizeof(float)));
    CUDACHECK(cudaMemset(recvbuff[i], 0, size * sizeof(float)));


    float *h_arr;
    h_arr = (float *)malloc(size*sizeof(float));
    for (int i=0; i<size; ++i)
        h_arr[i] = i; // Or other values
    CUDACHECK(cudaMemcpy(sendbuff[i], h_arr, size*sizeof(float), cudaMemcpyHostToDevice)); //将数据从CPU传递到GPU

    CUDACHECK(cudaStreamCreate(s+i));

  }
  for (int i = 0; i < nDev; ++i) {
       CUDACHECK(cudaSetDevice(localRank*nDev + i));
       float* recvCPU=(float*)malloc(size*sizeof(float));  //将数据从cuda 拷贝到cpu
       CUDACHECK(cudaMemcpy(recvCPU, sendbuff[i], sizeof(float) * size, cudaMemcpyDeviceToHost));
      printf("Begin Reduce Dev is %d of process myRank is %d, RecvBUf is %f,%f,%f,%f\n",i,myRank
      ,recvCPU[0],recvCPU[1],recvCPU[2],recvCPU[3]);

  }