qq_42559237的博客

内容概要：本文详细介绍了大模型推理优化的技术与方法，涵盖了GPU与CPU的异构计算架构、CUDA编程模型、大模型推理过程中的Prefill和Decode阶段优化、KV缓存管理、子图融合、模型压缩、并行化技术以及KV缓存优化等关键内容。文章强调了GPU在处理数据密集型并行计算任务中的优势，并深入探讨了如何通过优化KV缓存管理和采用子图融合等技术来提高推理效率。此外，还介绍了模型压缩技术如量化、剪枝和蒸馏，以及并行化技术如张量并行、数据并行和流水线并行，最后讨论了分离式架构在平衡TTFT和TPOT指标方面的作用。 适合人群：对大模型推理优化感兴趣的AI工程师、研究人员和技术爱好者，尤其是那些希望深入了解GPU计算、CUDA编程和大模型优化的人群。 使用场景及目标：①理解GPU与CPU在异构计算中的角色与分工，掌握CUDA编程的基础知识；②学习如何通过优化KV缓存管理和子图融合技术来提高大模型推理效率；③探索模型压缩技术如量化、剪枝和蒸馏的应用；④了解并行化技术如张量并行、数据并行和流水线并行在大模型推理中的应用；⑤掌握分离式架构在平衡TTFT和TPOT指标方面的优势。 其他说明：本文不仅提供了理论知识，还结合实际案例和应用场景，帮助读者更好地理解和应用这些优化技术。对于想要深入研究大模型推理优化的人来说，本文是一份非常有价值的参考资料。建议读者在阅读过程中结合实际代码和实验进行实践，以加深理解。

电子CAD入门必画的一些电路图，用来练习Altium designer、Cadence等EDA工具

通过修改nacos2.2.1源码使其支持opengauss的配置持久化，并验证配置成功。 用于使用高斯数据库opengauss项目的注册中心以及配置中心

支持达梦数据库配置持久化带数据库初始化sql脚本，原nacos版本只支持mysql与derby数据库配置持久化，不支持达梦数据库配置持久化。在原有的开源nacos上进行了源码更改，解决了网上教程的一些坑，测试持久化成功后打包。