- 博客(281)
- 资源 (42)
- 收藏
- 关注
RSS订阅原创 vLLM推理引擎教程7-CUDA Graph
vLLM在decode阶段采用CUDAGraph技术提升性能。CUDAGraph通过录制和重放GPU操作减少CPU调度开销，适用于输入结构固定的推理任务。实践表明，使用10000层Linear模型的测试中，原始执行时间为236ms，经CUDAGraph优化后降至47ms，加速效果显著。
2025-12-17 17:26:02
935
原创 vLLM推理引擎教程6-Nsight Systems性能分析
本文介绍了Nvidia Nsight Systems性能分析工具，用于优化推理引擎性能。该工具通过收集CPU/GPU执行细节，生成系统时间线视图，帮助开发者分析线程活动、GPU内核执行等事件的时序关系。文章详细说明了Linux服务器安装方法（通过rpm包）和验证步骤，并提供了Python版本的GPU性能测试代码示例，包含张量创建、GPU数据传输和矩阵乘法操作。
2025-12-16 18:50:56
257
原创 vLLM推理引擎教程5-PagedAttention技术
PagedAttention是一种借鉴操作系统虚拟内存分页机制的大模型推理内存优化技术。它将KVCache划分为固定大小的物理页，使逻辑连续的注意力上下文可非连续存储，解决了传统连续内存分配导致的显存碎片和浪费问题。该技术通过block table管理逻辑块与物理块的映射关系，在prefill和decode阶段动态分配存储空间。这种虚拟内存式管理方法既保证了请求的连续内存视图，又优化了物理存储效率，
2025-12-15 14:10:58
894
原创 vLLM推理引擎教程4-离线推理功能
本文介绍了使用vLLM框架优化推理性能的多种方法。主要内容包括：1）基础文本生成、对话式推理、文本分类和嵌入提取四种任务的基本实现；2）自动前缀缓存功能，通过共享KV缓存加速长上下文处理；3）使用YARN方法扩展模型上下文长度；4）多模态任务处理示例（Whisper语音识别）；5）底层LLMEngine API的使用。文章通过具体代码示例展示了如何设置参数实现各类推理优化，包括温度调节、top-p采样、缓存复用等技巧，适用于文本生成、分类、嵌入等多种NLP任务场景。
2025-12-12 17:54:27
1186
原创 vLLM推理引擎教程3-分离式Prefill
摘要：本文探讨了LLM推理中的Prefill阶段及其优化方法。Prefill是LLM推理的第一阶段，通过并行处理完整prompt生成KVCache，为后续自回归生成做准备。文章提出分离式Prefill方案，将计算密集的Prefill和内存密集的Decode阶段拆分到不同硬件上执行，以提升系统吞吐量。实践部分通过vLLM框架演示了单机测试，使用共享存储方式实现KVCache传输，包括prefill_example.py生成KVCache和decode_example.py复用缓存继续生成。该方法有效减少了重复
2025-12-11 19:03:58
1038
原创 vLLM推理引擎教程2-Async LLM Streaming
本文介绍了使用vLLM的AsyncLLM（V1异步推理引擎）进行流式文本生成的实现方法。核心步骤包括：配置引擎参数、创建AsyncLLM实例、设置流式采样参数、调用engine.generate()进行异步迭代输出，以及最后清理资源。
2025-11-28 17:09:41
324
原创 vLLM推理引擎教程1-QuickStart
vLLM是一个由UC Berkeley开发的高性能大语言模型推理引擎，通过PagedAttention技术显著提升KV缓存利用率。本文介绍了安装以及QuickStart的内容。
2025-11-28 16:00:53
543
原创 AI大模型微调教程7
State-Value Functions：在策略给定的情况下，评估一个状态的价值。2）监督学些，<input, output>数据是独立的，强化学习数据间是有关联的。score大于就是正确的，score小于就是错误的，而且大的程度越大越好。Action-value Functions：在某个状态下，某个动作的价值。1）监督学习，<input, output>提前准备好的，强化学习没有。Agent的目标定义：长期的Reward最大化。对于随机变量，最常用的方法就是取期望值。让Agent到达高价值点位。
2025-10-07 23:44:37
330
原创 AI大模型微调教程6
safe softmax：防止某个x过大导致float类型的计算溢出，溢出后会直接返回null。如果只激活1个，那么和之前的性能是等价的。目前的O不是我们想要的值，因为权重只有部分的值，不全，所以最后得到的O2也是不正确的。训练大模型的时候，没法在每张GPU上把完整的模型存下来，这个是有问题的。解决的问题：计算复杂度下降 + Memory复杂度下降，且是精确的计算。我们不需要计算出完整的softmax的值，否则还是O(n2)的复杂度。每次根据过去得到的m(x)和最新的x，更新m(x)的值即可。
2025-10-04 23:13:44
412
原创 AI大模型微调教程2
某一次最好的不一定是全局最好的。假如y2不对，那么可以导致后续的全部出错。Subword方法可以有效解决Out Of Vocabulary的问题。不需要拟合0-1这种极端的分布，而是稍微平缓一点的分布。新方式下每个Block太大不能全部装进GPU SRAM。观看annotated-transformer源码。每次保留topN个，不会导致指数级增长。corpus=语料库。
2025-09-24 23:48:51
375
原创 ReAct模式解读
ReAct模型是一种结合推理（Reason）与行动（Act）的AI交互范式，通过"思考-行动-观察"的循环流程解决问题。与传统直接输出答案的方式相比，ReAct具有三大优势：通过工具调用确保答案准确性（如天气API）、提供可解释的思考过程、支持多步复杂问题求解。典型流程包括：1）推理确定需求；2）调用工具获取数据；3）观察结果并进一步推理；4）输出最终答案。该模型需要大语言模型、工具调用系统、循环控制器等技术组件支持，通过结构化提示词引导AI分步执行。ReAct显著减少了AI幻觉问题，使
2025-09-04 15:49:49
664
原创 一文搞懂主流程、非守护线程、守护线程
本文通过餐厅场景类比Java线程机制：主线程（main）如老板，负责流程控制；非守护线程（厨师）必须完成任务后JVM才会退出；守护线程（清洁工）会随主线程结束被强制终止。代码演示了线程工厂创建两种线程，并对比了shutdown()和interrupt()两种关闭方式。关键指出：守护线程适合非关键后台任务（如日志采集），重要任务应使用非守护线程配合显式中断机制。文章强调JVM退出取决于所有非守护线程是否完成，而非仅主线程结束。
2025-09-04 10:42:17
310
原创 《Unity Shader入门精要》学习笔记四（高级纹理）
本文介绍了立方体纹理和渲染纹理在实时渲染中的应用。立方体纹理通过6张图片记录360度环境，用于反射和天空盒效果，但存在无法动态更新和自反射的局限性。渲染纹理允许将场景画面存储为动态贴图，实现镜面、玻璃折射等特效。文章详细讲解了反射、折射、菲涅耳效果的Shader实现，包括环境映射、法线贴图扭曲、屏幕抓取等技术，并对比了GrabPass与渲染纹理的优劣。最后展示了程序化生成纹理的方法，通过代码动态创建材质贴图，提供更灵活的视觉效果控制。这些技术在游戏开发中广泛应用于实现逼真的环境反射、透明材质和动态纹理效果。
2025-08-31 16:50:08
1246
原创 《Unity Shader入门精要》学习笔记三（复杂的光照）
本文系统介绍了Unity中的渲染路径和光照处理技术。主要内容包括：1. 渲染路径类型及选择：包括前向渲染、延迟渲染和顶点光照渲染三种路径的特点和适用场景，强调通过LightMode标签指定路径的重要性。2. 前向渲染原理：详细解释逐物体逐像素的绘制流程，以及多光源处理时的性能优化策略。3. 延迟渲染特点：分析其两阶段处理（几何Pass和光照Pass）的优势与局限性。4. 光源类型处理：涵盖平行光、点光源和聚光灯的属性访问与衰减计算。5. 阴影实现技术：包括ShadowMap机制和屏幕空间阴影技术，以及使用S
2025-08-29 17:13:32
1017
原创 《Unity Shader入门精要》学习笔记二
光照与材质渲染基础 本文系统介绍了计算机图形学中的光照模型与材质渲染技术。主要内容包括： 基础光照模型：详细讲解了漫反射、高光反射的计算方法，包括兰伯特模型、半兰伯特模型和Blinn-Phong模型，以及逐顶点与逐像素计算的差异。 纹理映射技术：阐述了单张纹理、法线贴图、渐变纹理和遮罩纹理的应用原理与实现方法，特别解释了切线空间法线贴图的优势和工作机制。 透明效果实现：对比分析了透明度测试和透明度混合两种方法，深入探讨了渲染队列、深度缓冲与混合命令的使用技巧。 Shader实现：提供了各类光照和材质效果的完
2025-08-18 23:51:15
1168
原创 《Unity Shader入门精要》学习笔记一
本文介绍了Unity Shader的基础知识，包括渲染流水线、ShaderLab语法、数学基础和使用案例。主要内容包括：1. 渲染流水线分为应用阶段、几何阶段和光栅化阶段，说明了DrawCall、顶点着色器和片元着色器的作用。2. ShaderLab语法结构，包括Properties、SubShader、Pass等模块，以及四种Shader模板。3. 必要的数学知识，包括坐标系变换、矩阵运算和齐次坐标等。4. 实际编写案例，展示了顶点/片元着色器的基本结构、数据传递方式，以及如何使用属性参数和内置函数。
2025-08-13 13:50:34
1075
原创 Aseprite工具入门教程5之Tilemap地图
摘要：本文介绍了Unity中瓦片地图的使用方法与优势。瓦片地图通过复用16×16像素的小图像构建大型场景，能显著提升效率与性能，简化设计流程，便于管理维护。文章详细说明了从Aseprite绘制素材到Unity导入的完整流程，包括素材准备、地图分层、SortingLayer设置、预制体创建等步骤。重点阐述了如何利用TilePalette工具构建多层次地图（基础地形层、装饰层、碰撞层等），并推荐使用CoordinateBrush工具进行精确坐标绘制。该方法特别适合2D游戏开发，能有效优化内存使用和渲染性能。
2025-07-27 01:02:44
1177
原创 Unity下创建Coordinate Brush工具
本文介绍了如何为Unity Tilemap创建带坐标显示的CoordinateBrush工具。首先指出默认瓦片笔刷缺乏坐标信息的不足，然后详细说明了创建步骤：在Editor目录下编写CoordinateBrush脚本，继承GridBrush类并重写绘画相关方法，添加Z轴坐标显示功能。脚本包含CoordinateBrushEditor编辑器扩展，实现了坐标标签显示和网格预览功能。编译后可在TilePalette中找到该笔刷，使用时可实时查看瓦片位置坐标和尺寸信息，解决了默认笔刷无法显示坐标的问题。
2025-07-27 00:57:24
285
原创 Phong光反射模型解读
Phong光照模型通过环境光、漫反射和镜面高光三部分模拟物体在光线下的视觉效果。环境光提供基础亮度，漫反射表现物体表面均匀受光效果，镜面高光则呈现光滑表面的反光亮点。该模型通过数学公式量化各分量：环境光(Ia=KaIlight)、漫反射(Id=KdIlightcosθ)和镜面反射(Is=KsIlight*(cosα)^n)，其中K系数控制材质特性，角度参数决定光照强度分布。该模型广泛应用于计算机图形学，可真实模拟不同材质在光照下的明暗变化和反光效果。
2025-07-23 15:03:54
422
原创 ShaderToy本地化安装
摘要：本文介绍如何在VSCode中配置GLSL开发环境。首先安装VSCode，然后添加Shader语言支持插件（包括代码高亮、提示）、ShaderToy运行工具、HLSL预览和GLSLLinter错误检查插件。最后通过一个网格绘制示例（test.glsl文件）演示了使用ShaderToy预览功能（Ctrl+Shift+P调出命令面板）查看实时渲染效果的过程。该配置为GLSL开发提供了完整的代码编辑、调试和预览环境。
2025-07-16 12:27:32
323
原创 Unity中的动画过渡
动画过渡详解：状态切换与混合控制 动画过渡定义了状态机中不同动画状态之间的切换规则和混合方式。核心功能包括：1）通过ExitTime设置自动切换时机（百分比或循环次数）；2）使用Conditions参数条件触发过渡；3）调整TransitionDuration控制混合时长（秒或比例）；4）设置TransitionOffset指定目标动画起始点。过渡属性还包含中断控制（InterruptionSource）和条件判断（需同时满足ExitTime和Conditions）。开发者可通过Animator窗口的过渡图
2025-07-08 14:43:38
1215
原创 Aseprite工具入门教程4之动画导入Unity
Aseprite动画制作与Unity导入方法总结：1.时间轴功能包含图层管理、帧单元格设置（统一/分离）、洋葱皮预览等；2.标签功能用于动画分组，Unity可自动识别标签生成动画片段；3.动画制作技巧包括帧复制、pivot定位；4.提供两种Unity导入方法：直接导入ase文件（需Export Animation Assets）或导出Sprite Sheet后配置切片；5.状态机配置需通过actionId参数控制动画切换。注意保持像素尺寸一致，并确保至少2帧才能生成anim文件。
2025-07-06 11:22:37
1671
1
原创 Aseprite工具入门教程3之像素画基础
本文介绍了像素画创作的基本技巧与规范。首先说明了网格设置和线条绘制方法，强调像素片段规律性排列的重要性。接着详细讲解了基础几何形状的画法、明暗处理规律以及轮廓线技巧。在颜色应用方面，阐述了颜色环理论、避免条带的方法、色相偏移和抗锯齿技术。最后提出了双参考图绘制策略，以爱心为例演示了从参考图到成品的完整流程。全文系统性地归纳了像素画创作的核心技术要点，为初学者提供了实用的操作指南。
2025-07-06 10:09:00
1309
原创 Unity3D仿星露谷物语开发69之动作声音
本文摘要： 游戏开发更新记录主要包含两方面改进：1) 新增Player动作音效系统，为砍树、砸石头等操作添加了对应音效；2) 修复NPC移动速度bug。技术实现上修改了6个核心脚本(CropDetails、Crop、ItemNudge等)，通过AudioManager播放不同场景音效（如EffectTreeFalling、EffectStoneShatter），并确保音效与9类游戏动作（收集道具、浇水、播种等）精准匹配。同时优化了NPC移动逻辑，强制最低移动速度限制。
2025-06-22 23:19:02
722
原创 Unity3D仿星露谷物语开发68之脚步声音
本文摘要：文章详细介绍了在Unity中实现Player行走脚步声音的方法。主要内容包括：创建AudioSource组件处理空间音效，使用AudioMixer进行音频分层管理，设计AudioManager作为核心控制器，以及Sound类实现音效随机变化。技术实现上，通过ScriptableObject存储声音列表，对象池复用音效对象，并通过AnimationEvent触发脚步声音播放。最终实现了根据地面材质（硬/软）触发不同脚步声的效果，并支持变速移动（走路/跑步）时的音效变化。
2025-06-22 11:07:03
731
原创 Unity3D仿星露谷物语开发67之创建新的NPC
本文摘要：文章详细介绍了在游戏中添加新NPC（Cora）并配置其移动系统的步骤。首先通过NPCManager设置移动惩罚值，创建NPC对象并配置动画属性。接着修改脚本使NPC移动参数可见，设置场景和朝向信息。然后通过在场景中摆放NPC位置、配置障碍物和路径来优化移动路线。最后设置NPC的时间表，使其在游戏时间8点自动开始移动。整个流程涵盖了从NPC创建到行为控制的完整配置过程。
2025-06-21 00:07:01
529
原创 Unity3D仿星露谷物语开发66之NPC存档
摘要：本文介绍了为NPC角色实现保存和加载功能的修改方案。在NPCMovement.cs中添加了CancelNPCMovement方法，用于取消NPC移动并重置动画状态。重写了NPC.cs脚本实现ISaveable接口，包含保存NPC位置信息（包括网格位置、世界坐标和目标场景）和加载时恢复这些数据的功能。测试表明，当NPC移动到Scene3_Cabin后保存游戏，重新加载时NPC会正确出现在该场景中。该方案通过持久化NPC的关键位置信息，确保了游戏状态在不同会话间的连续性。
2025-06-20 20:51:32
283
原创 游戏机制的研究
文章摘要：游戏机制设计需要遵循简单规则衍生复杂机制的原则，通过成就感、节奏控制和多样化反馈提升玩家体验。核心观点包括：RPG四大系统（任务、等级、装备、技能）协同控制节奏；地下城设计需平衡难度与故事性；空间压缩和箱庭机制增强沉浸感；时间机制通过存档点和有限任务制造紧张感；道具和技能设计需考虑克制关系与操作空间；任务系统应逻辑自洽且避免重复；多人游戏需平衡团队合作与个人表现；《星露谷物语》成功融合种植、社交、采矿等机制，通过季节限制和运气系统创造动态平衡，其机制关联性与对立性共同构建了丰富的游戏体验。
2025-06-19 15:48:19
1235
原创 Unity3D仿星露谷物语开发62之添加NPC角色
摘要：本文介绍了在Unity中创建NPC预制件并放置到场景中的步骤。关键操作包括：在PersistentScene下创建NPC空对象，添加SpriteRenderer、Animator（注意ApplyRootMotion功能）、Rigidbody、BoxCollider和GenerateGUID组件；将NPC转为预制件后删除原对象；最后在NPCs父对象下实例化预制件并重命名为NPC_Butch，完成组件配置。该流程实现了NPC的动画控制与场景部署。
2025-06-13 20:52:44
362
flink任务分process处理方案
2017-05-03
opencc windows版本
2017-07-12
人工智能基于PyTorch的大模型编程核心技术手册-背诵篇
2025-12-09
深度学习基于PyTorch的LLM微调关键技术解析：从分布式训练到模型优化的完整实践指南
2025-11-25
【Unity3D开发】U3D基础教程：涵盖生命周期、物体操作、输入处理、音频、碰撞检测等核心功能
2025-07-03
星露谷物语游戏的unity代码
2025-06-29
cycleGan的pytorch简化版本
2023-03-16
基于CenterNet简化后只做目标检测的源代码
2022-12-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人