CodeFuse的博客

本文整理了 OSDI 2024 和 SOSP 2024 中与大语言模型（LLM）推理优化相关的10篇论文，涵盖 Parrot、ServerlessLLM、dLoRA 等系统，提出的技术如 Chunked Prefill、Prefix-Caching、P/D分离等已被 vLLM 和 TensorRT-LLM 等主流推理引擎采用。这些研究解决了 LLM 推理中的冷启动延迟、资源分配、KV 缓存管理等问题，提升了推理性能和资源利用率。CodeFuse推理优化项目地址https://github.com/code

​引言本文整理 2024 年 9 月至 10 月中旬全球各大高校与科研机构发布的 70 篇代码大模型相关论文。根据论文内容，我们将这些论文整理为了基座模型、代码微调、测试基准、代码 Agent、代码与大模型推理、代码生成、SQL 生成、代码 embedding、漏洞检测与修复等主题。全文篇幅较长，建议电脑端阅读。若您想了解其他时期的代码大模型论文，也欢迎关注我们的代码大模型综述TMLR）和 GitHub 开源项目。

2024年8月中旬，国际计算语言学大会ACL在泰国曼谷举行，展示了48篇代码大模型相关论文，包括24篇主会论文和24篇findings论文。主会论文涵盖XFT、WaveCoder、DolphCoder等创新方法，findings论文则探讨了代码注释增强、自动化程序修复等主题。此外，还额外整理了9篇8月最新代码大模型论文，涉及数据集合成、安全代码生成等多个前沿方向。欲了解更多，请访问我们的综述和GitHub项目。

大量实验证明，Magnus 可以有效降低请求响应时间并提高LLM批处理的吞吐量

干货满满~

代码大模型相关论文，干货满满~