AI、极客音频学习知识点

已于 2024-07-23 17:38:33 修改
阅读量216 收藏
点赞数 3
文章标签： 学习
于 2024-06-20 20:38:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_36103746/article/details/139842171
版权

极客时间《Linux 性能优化实战》案例 git，以及相应的博客课程
Java 并发编程实战–王宝令
Java 性能调优实战
B站：AI System & AI Infra(zomi酱)
B站李沐老师论文精读

论文阅读

Gpipe：流水线并行，将模型多层均分放在不同的卡上，然后每一批次的数据训练时，再切分成多个mini-batch（一般要为卡的4倍大小），这样就可以提升多卡并行执行的效率（否则，整个过程就一个batch，0卡执行时，其他卡等待，0卡执行完，1卡执行，而其他所有卡都空闲，…）。计算过程中，不保留中间变量（激活函数得到的数值），反向传播更新梯度时，再重新计算一次forward（占整个真实计算的1/3）。这是算力换内存的思想！！！以此获取更多的显存，从而增大mini-batch大小。

Megatron-LM：张量并行（只适用于Transformer模型上）

大模型相关岗位技术要求

大模型网络：Bert、Transformer、GPT、SwitchTransformer
大模型训练框架：DeepSpeed Megatron、TensorRT-LLM
大模型微调方法：常见的几种微调方法
大模型推理计算库：Flash Attention、Paged Attention、FastTransformer、Byte-Transformer
大模型推理平台：TensorRT
大模型分布式训练技术：大模型分布式训练技术，PS（Parameter Server，参数服务器）

MoE技术

B站MoE视频讲解
MoE

GPU知识相关

GPU基础知识
GPU的存储结构类似CPU一样，也可以分层3层，DRAM、HBM、SRAM（内存由高到底，访问速度由低到高）在这里插入图片描述
如上图所示，在A100 GPU有40-80GB的高带宽内存(HBM，它是由多个DRAM堆叠出来的)，带宽为1.5-2.0 TB/s，而每108个流处理器(SM)有192KB的SRAM，带宽估计在19TB/s左右。

一方面，从上面的数字可以看出SRAM的访问速率是HBM的10倍左右，然而其能承载的数据量却远远小于HBM。

在GPU的编程架构中，最小的执行单元为warp（即为固定大小的线程束，一般为32个线程为一个warp，它们在同一个时钟周期内并行执行相同的指令），warp是SM中的调度单元，不同的warp在计算时会从SRAM中读取计算所需的数据(即共享存储寄存器)。

它对应的是编程架构中的block，一个SM可以包含多个Block，每个Block可以包含多个线程束Warp，但是Block不能跨SM。

当计算所依赖的数据量较大需要跨SM时访问时，则会从更下级的HBM存储器中拷贝数据进行计算。

它对应的是编程架构中的Grid，其能控制访问HBM显存。

其次，在CUDA编程框架中提供了从HBM拷贝到SRAM的计算原语，我们可以指定部分数据拷贝在SRAM中进行计算。

flashAttention 就是基于GPU内存结构对Transformer进行优化的。在这里插入图片描述

大模型推理并行技术

大模型的并行切分方式对通信和时延的要求：

切分方式通信操作通信量级（单卡）时延要求集群部署方式要求
Tensor并行AllReduce百GB秒级节点内
流水线并行Send/RecvMB秒级节点间
数据并行AllReduceGB十秒级节点内/间
优化器并行Allgather/reduce scatter百GB秒级节点内
专家并行All2All百GB秒级高网络吞吐

数据并行和流水线并行对节点间的带宽要求较低；但专家并行（MOE的并行技术EP），需要节点间较高的带宽才可以支持。

大模型LLM推理相关技术

  • 投机推理
  • KV cache
  • Continuous batching
  • Paged Attention （PA）
  • Flash Attention （FA）
    FA相关讲解

大模型微调技术

大模型技术栈

1、模型设计：将问题转化为对应的大模型，模型框架的选择与设计；
2、训练作业：GPU，NPU，学习率，batch size，初始化，优化器等；
3、学习策略：监督学习，无监督学习，强化学习等；
4、分布式框架；
5、SFT；
6、分布式优化、内存优化、算子加速、集群组网；
7、高性能存储、高可靠集群；

硬件通信方式

机器内通信：共享内存、PCIe（GPU与CPU之间）、NVLink（GPU与GPU之间）；
机器间通信：TCP/IP网络、RDMA网络（AI框架常用的）
RDMA：远程内存直连，有以下3个重要特性

  1. CPU offload：无需CPU干预，远程主机CPU缓存cache不会被访问的内存内存所填充；
  2. kernel bypass：专有verbs interface，应用程序可以直接在用户态执行数据传输；
  3. zero copy：每个应用程序都能直接访问集群中的设备的虚拟内存；

软件通信协调

  1. MPI：定义了多个原语的消息传递接口，这一接口主要被用于多进程间的通信。MPI系统通信方式是建立在点对点通信之上。而集合通讯是建立在端到端通信的基础上，在一组进程内的通讯原语。
  2. NCCL/HCCL：NVIDIA和华为的
  3. Gloo

通信实现方式

点对点通信Send/Recv：TCP/IP，RDMA
集合式通信All Reduce：TCP/IP，NCCL

  1. 一对多：Scatter / Broadcast
    Broadcast：某个节点想把自身的数据发送到其他节点，那么就可以使用广播机制。分布式机器学习中常用于网络参数的初始化
    Scatter ：将主节点的数据进行划分并散布至其他指定的节点
  2. 多对一：Gather / Reduce
    Reduce：一系列简单运算操作的统称，细分可以包括sum、min、max、prod、lor等类型的规约操作；
    Gather ：将多个Sender上的数据收集到单节点上，可以理解为反向的Scatter
  3. 多对多：All Reduce / All Gather
    All Reduce：在所有的节点上都应用同样的reduce操作
    All Gather：收集所有数据到所有节点上。发送多个数据到多个节点很有用，即在多对多通信模式的场景。

大模型性能调优工具：profiler

在这里插入图片描述

Tensor切分、变形等方法

  1. Tensor的链接操作
    cat
torch.cat(tensors, dim = 0, out = None)

stack

torch.stack(inputs, dim=0)
  1. Tensor的切分操作
torch.chunk(input, chunks, dim=0)

torch.split(tensor, split_size_or_sections, dim=0)

torch.unbind(input, dim=0)

Pytorch矩阵转秩

在PyTorch中有两个函数，分别是permute()和transpose()可以用来实现矩阵的转秩，或者说交换不同维度的数据。比如在调整卷积层的尺寸、修改channel的顺序、变换全连接层的大小的时候，我们就要用到它们。

>>> x = torch.rand(2,3,5)
>>> x.shape
torch.Size([2, 3, 5])
>>> x = x.permute(2,1,0)
>>> x.shape
torch.Size([5, 3, 2])

>>> x.shape
torch.Size([2, 3, 4])
>>> x = x.transpose(1,0)
>>> x.shape
torch.Size([3, 2, 4])

需要注意的是，经过了transpose或者permute处理之后的数据，变得不再连续了
还是接着刚才的例子说，我们使用torch.rand(2,3,4)得到的tensor，在内存中是连续的，但是经过transpose或者permute之后呢，比如transpose(1,0)，内存虽然没有变化，但是我们得到的数据“看上去”是第0和第1维的数据发生了交换，现在的第0维是原来的第1维，所以Tensor都会变得不再连续。

Pytorch形状变换

在PyTorch中有两种常用的改变形状的函数，分别是view和reshape。

>>> x = torch.randn(4, 4)
>>> x.shape
torch.Size([4, 4])
>>> x = x.view(2,8)
>>> x.shape
torch.Size([2, 8])

>>> x = x.permute(1,0)
>>> x.shape
torch.Size([8, 2])
>>> x.view(4, 4)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
RuntimeError: view size is not compatible with input tensor's size and stride (at least one dimension spans across two contiguous subspaces). Use .reshape(...) instead.

结合代码可以看到，利用permute，我们将第0和第1维度的数据进行了变换，得到了[8, 2]形状的Tensor，在这个新Tensor上进行view操作，忽然就报错了，为什么呢？其实就是因为view不能处理内存不连续Tensor的结构。

那这时候要怎么办呢？我们可以使用另一个函数，reshape：

>>> x = x.reshape(4, 4)
>>> x.shape
torch.Size([4, 4])

这样问题就迎刃而解了。其实reshape相当于进行了两步操作，先把Tensor在内存中捋顺了，然后再进行view操作。

OpenCV助力AI人工智能实现智能传媒视觉
AI 领航者的博客
04-13 1047
随着传媒行业向数字化、智能化转型，视觉内容（如图像、视频）的高效处理和智能分析成为核心需求。图像/视频内容理解与检索目标检测与追踪（如人脸、物体）视频质量增强与修复虚拟场景合成与实时渲染内容安全审核与敏感信息识别本文覆盖OpenCV核心技术原理、算法实现、实战案例及行业应用，兼顾理论深度与工程实践。基础理论：解析OpenCV核心架构、计算机视觉与AI的技术融合点技术解析：通过算法原理、数学模型和代码示例，演示关键技术实现实战应用。
大神之路-起始篇 | 第18章.计算机科学导论之【人工智能】学习笔记...
WeiyiGeek 唯一极客IT知识分享
02-13 822
(0) 人工智能简史虽然人工智能作为一门独立的学科是相对年轻的，但它还是经历了一段发展的时间，当2400年前希腊哲学家亚里多斯德发明了逻辑推理这个概念时，人工智能就开始了，接着莱布尼茨和牛顿完成了逻辑语言的定稿。乔治•布尔在19世纪逐步提出的布尔代数（附录E）奠定计算机电子电路的基础。但是思维计算机的主要思想却来自于阿兰•图灵，他提出了图灵测试, “人工智能”这个术语是（约翰•麦卡思）在1956年首次提出的。(1) 什么是人工智能AI?
大规模分布式 AI 模型训练系列——专家并行
热门推荐
xx_nm98的博客
09-21 1万+
在 [1701.06538] Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer 中，作者（也包括大名鼎鼎的 Geoffrey Hinton 和 Jeff Dean）将 MoE 引入到 LSTM 模型中，并提出了稀疏 MoE（Sparse MoE）的概念。在 Sparse MoE 中可以包含数千个前馈子网络，并由可训练的门控网络（Gating Network）确定这些专家的稀疏组合。
MOE论文详解(3)-Switch Transformers
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
10-17 3476
Switch Transformers也是google在2022年发表的一篇论文, 该论文简化了MoE的路由算法, 减少了计算量和通信量; 第一次支持bfloat16精度进行训练. 基于T5-Base和T5-Large设计的模型在相同的算力下训练速度提升了7x倍; 同时发布了1.6万亿(1.6 trillion)参数的MoE模型，相比T5-XXL模型训练速度提长了4x倍.
人工智能基础课【学习笔记】结课 | 溯洄从之，道阻且长
Eleven_Whats的博客
06-15 1269
三个月的时间弹指即逝，40 期的《人工智能基础课》已走到尾声。在专栏里，我和你一起走马观花地浏览了人工智能的技术概观，以。算起来，经历了三起三落之后，人工智能已步入花甲之年。虽然在创造者眼中仍然是个孩子，但对你我这些后学之辈来说，这位老人身上还是有无穷的奥秘有待探索。在我看来，。当然，简历无法浓缩一个人丰富的经历，40 篇文章的体量也不足以覆盖人工智能的全部内容。想要基于这份提纲深入研究，还需要大量的时间和精力的付出。在互动中，不少朋友都表达了从事人工智能工作的意愿。
极客说｜关于 GenAI 走势的一点思考
微软技术栈
04-10 867
作者：魏新宇 - 微软 AI 全球黑带高级技术专家「极客说」 是一档专注 AI 时代开发者分享的专栏，我们邀请来自微软以及技术社区专家，带来最前沿的技术干货与实践经验。在这里，您将看到深度教程、最佳实践和创新解决方案。关注「极客说」，与行业顶尖专家一起探索科技的无限可能！在大型语言模型（LLM）的研究与应用中，人们时常借助人类的两种典型思维形态进行类比：System 1（快思考）：反应迅速、几乎不经显式推演或分析，主要依靠直觉或经验。
一文看懂深度学习——人工智能系列学习笔记
weixin_43899069的博客
10-15 1218
深度学习有很好的表现，引领了第三次人工智能的浪潮。目前大部分表现优异的应用都用到了深度学习，大红大紫的 AlphaGo 就使用到了深度学习。 本文将详细的给大家介绍深度学习的基本概念、优缺点和主流的几种算法。   深度学习、神经网络、机器学习、人工智能的关系 深度学习、机器学习、人工智能 简单来说： 深度学习是机器学习的一个分支(最重要的分支) 机器学习是人工智能的一个分支 目前表现最好的一些应用大部分都是深度学习，正是因为深度学习的突出表现，引发了人工智能的第三次浪潮。详情可以看《人工智能.
某专科学校人工智能专业学习分享
qq_74166001的博客
09-19 2133
分享学习方法
极客时间 AI 大模型微调训练营0期学习总结
danteblack的博客
02-18 1002
以上几个层面，普通人最多也就能在微调领域试试水了，一块16GB的T4显卡，通过INT4级别的量化也可以微调一些7B左右的模型，在一些垂直领域使用，但这也只是从起步的成本说起，额外的成本比如说用于微调的数据集现在通用的方式通过GPT4进行整理，消耗的token也是不小的开支，如果想商用，实现高并发，还需要一些工程化的技术比如通过k8s落地也不是一两个人能搞定的，普通人想要自己尝试微调，最多也就是一个实验的层面在小范围内使用。最后，我要花时间去补补线性代数和机器学习的基础知识。
【AIGC学习】一文带你了解AIGC基础知识（适用于AI入门小白）
2401_85688943的博客
02-11 1032
Content）技术，即人工智能生成内容的技术，具有非常广阔的发展前景。随着技术的不断进步，AIGC的应用范围和影响力都将显著扩大。以下是一些关于AIGC技术发展前景的预测和展望：1、AIGC技术将使得内容创造过程更加自动化，包括文章、报告、音乐、艺术作品等。这将极大地提高内容生产的效率，降低成本。2、在游戏、电影和虚拟现实等领域，AIGC技术将能够创造更加丰富和沉浸式的体验，推动娱乐产业的创新。3、AIGC技术可以帮助设计师和创意工作者快速生成和迭代设计理念，提高创意过程的效率。
基于AgentUniverse在金融场景中的多智能体应用探索【极客传媒】
丨汀、的博客
09-16 614
基于AgentUniverse在金融场景中的多智能体应用探索
程序人生的学习密码：终身学习促进职业生涯飞跃
AI天才研究院
05-16 771
当前IT行业技术半衰期已缩短至1.8年，Java框架每年新增300+，AI算法模型以月为单位更新。据Stack Overflow 2023开发者报告，68%的程序员认为"技术过时焦虑"是职业发展最大挑战。本文聚焦程序员终身学习体系构建，涵盖从技术知识获取到认知能力升级的完整链路，提供可量化、可复用的成长模型。认知奠基：解析终身学习的本质特征与程序员职业发展的强关联性体系构建：提出三维知识架构与五环学习模型的核心方法论技术赋能：通过算法模拟和数学模型实现学习过程的量化分析实战落地。
卫星姿态描述基础知识学习记录(部分)
qq_40509664的博客
05-27 811
相对姿态(坐标系旋转)的描述：假设目标的坐标系为B,参考坐标系为R，对目标的姿态描述即确定目标坐标系与参考坐标系的关系。由于目标坐标系一般固结在目标上，这样便实现了目标的相对姿态描述。描述方式主要有：方向余弦式、欧拉轴/角式、欧拉角式、姿态四元数；由于姿态可唯一确定，这些描述方式间可相互转换。
从0开始学习R语言--Day09--方差分析
Chef_Chen的博客
05-26 889
前两天我们学习了T检验来判断两组数据之间的差异是显著存在还是因为偶然，但如果存在多组数据，我们还是两两去对比作T检验的话，会存在假阳性（也就是把没有差异判断为有差异），虽然每次单独的T检验只有5%，但即使数据只是多了三组，也要作三次T检验，假阳性的概率就被叠加到了大概14%。
Android设计模式学习总结目录
2301_80329517的博客
05-26 741
设计模式学习总结目录
uni-app学习笔记十四-vue3中emit的使用
shenxiaomo1688的博客
05-25 424
在组件传值中，无论是props还是slot都是单向数据流，父组件向子组件传值，子组件不能直接对父组件传过来的值进行重新赋值。在父组件中，onAdd接收子组件传递过来的随机数并转化为字符串进行截取，得到一个颜色的随机数。通过@add="onAdd"，其中add就是子组件的函数名。在实际开发中，emit通常需要在JS部分进行处理，上面的。子组件设置传递过去的函数名为add，值为一个随机数。下面学习子组件向父组件传值的工具--emit。在子组件emit设置传递的函数名和值。可以实现一样的效果。
ADS学习笔记(三) 瞬态仿真
weixin_52342399的博客
05-25 1461
本文分析了BJT电路中交流信号仿真与瞬态仿真放大倍数不一致的问题（3.422 vs 3.1）。主要原因是两种仿真方法的本质差异：交流仿真采用线性化小信号模型，而瞬态仿真使用完整非线性模型，10mV输入信号已使BJT表现出非线性特性，导致增益压缩。通过减小瞬态仿真输入信号幅度（如1mV），可观察到增益逐渐接近交流仿真值，验证非线性效应是差异根源。文中附图展示了仿真电路和结果波形。
ai答题平台：AnKo如何引领AI智能学习时代！
最新发布
tomplus21的博客
05-28 493
ai答题平台的未来，将由AnKo等聚合平台定义。AnKo整合多模型，简化操作流程，重塑ai答题平台使用体验。通过持续创新与技术积累，AnKo让ai答题平台更智能、高效、普及。
cos和dmz学习
LeonNo11的博客
05-27 289
DMZ是为了解决安装防火墙后外部网络的访问用户不能访问内部网络服务器的问题，而设立的一个非安全系统与安全系统之间的缓冲区。将部分用于提供对外服务的服务器主机划分到一个特定的子网——DMZ内，在DMZ的主机能与同处DMZ内的主机和外部网络的主机通信，而同内部网络主机的通信会被受到限制。防火墙1： 这是位于内部网络和DMZ之间的防火墙，用于控制从DMZ到内部网络的流量。内部网络： 这是组织内部的私有网络，包含公司的内部资源和数据。外网访问DMZ：允许外部网络访问DMZ中的服务，但限制对内部网络的访问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值