保持写作习惯，完成知识沉淀

SM是streaming multiprocessor的简写，4个处理单元组成一个SM，如Figure 2。每个SM有64个INT32，64个FP32，32个FP64的CUDA core；每个SM还有4个Tensor Core。SM内共享L1缓存。CUDA Core是用作通用计算的，Tensor Core是专门针对深度学习优化的，负责矩阵运算、混合精度运算。Figure 1Figure 3展示了NVDIA不同代GPU的特性。Figure 3. 各代GPU架构。

这个命令是在用户的bashrc文件中添加一个名为"sq"的别名，用于列出当前用户的所有作业信息。具体来说，它使用了squeue命令来查询当前用户的所有作业信息，并将结果输出到终端。输出的信息包括作业ID、作业所属的分区、作业名称、作业提交者、作业状态、作业使用的内存、作业运行时间、作业的优先级等。这是一个用于查看当前用户正在运行的作业的命令。它将显示作业的ID、分区、作业名称、用户、状态、内存使用情况、节点和运行时间。

c++多线程基础需要掌握这三个标准库的使用：std::thread,std::mutex, andstd::async。

MPI_REDUCE将组内每个进程输入缓冲区中的数据按给定的操作op进行运算，并将其结果返回到序列号为root的进程的输出缓冲区中。

MPI 全名叫 Message Passing Interface，即信息传递接口，作用是可以通过 MPI 可以在不同进程间传递消息，从而可以并行地处理任务，即进行。

矩阵在内存中存储时是连续地按（某种）顺序存储的，比如下图，A矩阵是列主序，那么A(0,0)和A(0,1)之间其实是不连续的，相隔了ldA个元素。在LAPACK中频繁出现Leading Dimension（中文翻译为“主维度”），那么它是什么呢？可以看到，里面的LDA就是A的行数。

Map是Eigen中一个非常有用却又很容易被忽略的类，可以用它避免很多不必要的内存拷贝，举个例子，你手头有一个std::vector<Eigen::Vector3d> pts的数据，你需要将这个数据转化成一个n*3的矩阵，以便进行后续的矩阵计算，你会怎么做？最直接的想法是这样的： MatrixXd mat(pts.size(), 3); for(int i = 0; i &l...