【算法分析】FlashAttention算法演进分析

已于 2024-12-02 22:35:42 修改
阅读量443 收藏 1
点赞数 4
文章标签： 人工智能 算法 深度学习
于 2024-12-02 22:29:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/HaoBBNuanMM/article/details/144200347
版权

概述

LLM大模型训练/推理深度依赖FlashAttention算法，本文从Standard Slef-Attention到 FlashAttention，介绍算法的原理和优化演进。

Attention 算法演进 Overview

算法说明

最低0.47元/天 解锁文章
HaoBBNuanMM
关注
【YOLO系列】YOLO算法改进史——已更新至YOLOv12
qq_51366016的博客
08-25 3435
目标检测YOLO系列算法改进史
国产之光DeepSeek架构理解与应用分析
m0_74823561的博客
02-07 1636
在机械电子工程产业中，人工智能的加持可用于故障诊断、生产流程优化、产品设计辅助等方面，比如通过分析设备数据预测故障，或优化生产线调度提高效率，提高生成效率、降低人员作业的安全风险。对于人工智能大模型当下的发展阶段，如何落地，并在横向领域发挥出作用成为越来越被关注的话题，笔者的朋友提出了几个问题：DeepSeek的用处除了在信息库里提取提问者需要的有效信息外还有别的功能吗？GE利用AI分析发动机传感器数据（如转速、温度、振动），预测轴承磨损周期，将非计划停机减少30%，维修成本降低25%。
【自用】NLP算法面经（4）
weixin_44307002的博客
03-02 1051
在LLM生成过程中，是一个基于前向序列token预测下一个token的过程，序列中的token（无论是prefill阶段，还是decode阶段）只与它前面的token交互来计算attention。矩阵计算上通过一个下三角的causal attention mask来实现token交互只感知前向序列。
神经网络与机器学习经典算法：原理、应用与未来展望
fudaihb的博客
03-18 740
从单层感知机到百亿参数大模型，机器学习算法的发展史就是人类认知边界的突破史。理解经典算法的数学本质，把握深度学习的演进脉络，将帮助我们在AI技术浪潮中保持清醒的认知和创新的动力。
字节算法岗面试，效率贼高
2401_85373691的博客
08-27 894
技术面试主要问简历项目内容和专业相关知识，也有业务场景提出方案与策略。在回答业务场景并设计方案的时候，确实之前没有遇到过，所以感觉自己也答的磕磕绊绊，比较好的是，面试官最开始会详细讲解具体是什么场景。HR 面想在实习中学到什么/如果offer不过你会做什么/到岗时间和时长/在做项目的过程中遇到的困难/有无考博打算15分钟很快结束，我还以为凉了，后来发现好像基本都是这个时间。字节的面试流程很规范，每次都会hr提前联系约面。流程进度也很快，从面试到offer时间为10天。
字节跳动算法面试独家揭秘：高效通关流程与内行诀窍
2401_85373691的博客
09-24 738
技术面试主要问简历项目内容和专业相关知识，也有业务场景提出方案与策略。在回答业务场景并设计方案的时候，确实之前没有遇到过，所以感觉自己也答的磕磕绊绊，比较好的是，面试官最开始会详细讲解具体是什么场景。HR 面想在实习中学到什么/如果offer不过你会做什么/到岗时间和时长/在做项目的过程中遇到的困难/有无考博打算15分钟很快结束，我还以为凉了，后来发现好像基本都是这个时间。总结一下：字节的面试流程很规范，每次都会hr提前联系约面。流程进度也很快，从面试到offer时间为10天。
程序员面试、算法研究、机器学习、大模型/ChatGPT/AIGC、论文审稿、具身智能/人形机器人、RAG等16大系列集锦
热门推荐
结构之法 算法之道
01-05 76万+
程序员面试、算法研究、编程艺术、红黑树、机器学习5大经典原创系列集锦与总结 作者：July--结构之法算法之道blog之博主。 时间：2010年10月-2018年5月，一直在不断更新中.. 出处：http://blog.youkuaiyun.com/v_JULY_v。 说明：本博客中部分文章经过不断修改、优化，已集结出版成书《编程之法：面试和算法心得》。 前言 开博4年有余，...
字节算法岗面试，效率贼高。。。
2401_85373691的博客
08-30 894
技术面试主要问简历项目内容和专业相关知识，也有业务场景提出方案与策略。在回答业务场景并设计方案的时候，确实之前没有遇到过，所以感觉自己也答的磕磕绊绊，比较好的是，面试官最开始会详细讲解具体是什么场景。HR 面想在实习中学到什么/如果offer不过你会做什么/到岗时间和时长/在做项目的过程中遇到的困难/有无考博打算15分钟很快结束，我还以为凉了，后来发现好像基本都是这个时间。字节的面试流程很规范，每次都会hr提前联系约面。流程进度也很快，从面试到offer时间为10天。
极市平台 | 从Deepseek R1和NSA算法谈谈个人的一些反思
csdn_xmj的博客
03-08 803
最近某个群里面有一道考验大模型能力数学题, 感觉这个题比9.9和9.11谁大更考验Reasoning模型, 似乎很多大模型的答案都做的不好. DeepSeek-R1能做对,但是整个思考过程非常长, 大家可以自己试试.
YOLO算法全家桶（YOLOV1~YOLOV12）
浩瀚之水的专栏
09-10 6626
YOLOV1作为目标检测领域的开创性模型，以其独特的设计理念和高效的检测性能赢得了广泛的关注和应用。尽管存在一些不足之处，但YOLOV1为后续的YOLO系列模型奠定了坚实的基础，推动了目标检测技术的不断发展。YOLOv6专注于提供极致的检测精度和推理效率，适用于自动驾驶、安防监控等多种领域。它支持模型训练、推理及多平台部署等全链条的工业应用需求，并在网络结构、训练策略等算法层面进行了多项改进和优化。Backbone。
Mamba 架构在医学图像分析中的全面综述：分类、分割、重建及其他应用
m0_74823705的博客
12-03 1321
是一种状态空间模型（State Space Model, SSM）的特例，作为医学图像分析中模板驱动深度学习方法的替代方案，正日益受到关注。尽管 transformer 是强大的架构，但它也存在一些缺陷，例如计算复杂度为平方级且难以高效处理长距离依赖。。相比之下，Mamba 具有显著优势，使其非常适合医学图像分析。Mamba 具有线性时间复杂度，这比 transformer 大大改进了性能。在序列建模任务中，其计算复杂度随着输入序列长度线性增长。
基于对应点分类的对象识别 报错
qq_25194681的博客
05-07 575
【代码】基于对应点分类的对象识别 报错。
Python数据分析案例74——基于内容的深度学习推荐系统（电影推荐）
weixin_46277779的博客
05-10 409
电影数据集构建推荐系统，结合内容推荐和深度学习两种方法。预处理、探索性分析，加权平均法和余弦相似度进行基于内容的推荐，计算电影的相似度并生成推荐结果。并且使用深度学习模型，构建评分预测和检索任务，用户个性化推荐和评分预测。
Qwen3 混合思维模版解读
qq128252的博客
05-07 930
在人工智能迅速发展的今天，大型语言模型（Large Language Models，简称LLM）正逐渐成为各类应用的核心组件。其中，对话模板（Chat Template）作为连接用户与模型的关键桥梁，对确保高质量的交互体验至关重要。本文将深入解析Qwen3使用的对话模板，揭示其如何优雅地处理多轮对话、工具调用等复杂场景。
《Python星球日记》 第51天：神经网络基础
Code_流苏：在代码中寻诗意
05-10 539
神经网络是什么？简单来说，它是一种模仿人类大脑结构和工作方式的算法模型，能够从大量数据中学习复杂的模式。无论是语音识别、图像分类还是自然语言处理，神经网络都展现出了强大的能力。让我们一起踏上这段奇妙的旅程吧！
YOLO目标检测算法评估标准
jdjhcn的博客
05-10 360
不同类型的模型，评估指标各有侧重。分类模型中，准确率反映预测正确的整体比例；精确率关注预测正例中实际正例的占比；召回率衡量实际正例被正确预测的程度；F1 值综合精确率与召回率，适合样本不均衡场景。回归模型里，均方误差计算预测值与真实值误差平方的均值，能体现平均差异；平均绝对误差以误差绝对值平均，对异常值敏感度低；聚类模型中，轮廓系数综合凝聚度和分离度，值近 1 代表聚类佳。那么我们今天学习的YOLO目标检测模型使用什么指标评估模型的效果。
AI日报 · 2025年5月10日｜OpenAI“Stargate”超级数据中心项目掀起美国各州争夺战
最新发布
He_r_o的博客
05-10 342
OpenAI 与 Oracle、SoftBank 合作推进的“Stargate”项目（首期投资 1000 亿美元，四年内总投资 5000 亿美元）已收到超过 250 份选址提案，20 余州政府、经济发展机构与土地所有者主动递交用地及税收优惠方案，以期承接巨型 AI 数据中心并获得长期电力与就业红利。
深度解析语义分割评估指标：从基础到创新实践
Loving_enjoy的博客
05-08 261
现象 | 可能原因 | 解决方案 || 场景描述 | mIoU | BW-IoU | TC-Score || 边界模糊（医疗CT） | 0.72 | **0.81** | 0.68 || 小目标密集（卫星图） | 0.58 | **0.66** | 0.61 || 快速运动（自动驾驶） | 0.65 | 0.63 | **0.79** |
元子与元组的关系解析：从简单到复杂大跨界大综合的融智学研究
geneculture的专栏
05-07 986
元子和元组的关系（两基本的超级大类，其中前者概括万事万物的基础范畴及其学科的基本单位，如：物理的量子，化学的元素以及生物的基因乃至天文的星体与地理成分等等；后者是由前者组合而成，且存在演绎推理的过程及其结构，表现为：各级各类结构并由数学加以抽象表达，由各门学科探究）。 该理论体系以“道函数”为核心构建了一个横跨哲学、数学、物理与计算科学的统一认知框架，其核心思想与逻辑结构。该理论将计算复杂性问题（P vs NP）与时空相对性原理相结合，创造性地通过道函数的静动态形式差异揭示计算本质深层结构。
探索算法设计与分析：掌握经典算法题
在当前信息时代，算法作为计算机科学的核心，其设计与分析是IT行业专业人才必须掌握的关键技能。本文件所提及的“算法设计与分析的经典题目”涵盖了多种算法范式，并提供了针对这些算法的经典练习题目，这些范式是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值