AI工程化、开源分享、文档翻译、代码笔记

引言一、量化基本概念1、简介2、模型量化的粒度3、模型量化对象4、静态量化与动态量化5、离线量化与在线量化6、线性量化与非线性量化7、量化数据类型8、量化分类二、模型量化方法精要1、RTN2、LLM-QAT3、QLoRA4、LLM.int8()5、GPTQ6、SmoothQuant7、AWQ8、SpQR9、ZeroQuant10、ZeroQuant-V211、ZeroQuant-FP12、FP6-LLM（W6A16）13、KIVI14、IntactKV15、

AirRAG解决的问题AirRAG的方案执行步骤

关于 InfraAI Infra的核心思想组成部分硬件软件网络云服务监控与优化安全与合规关键里程碑未来展望

级别1：Fixed Size Chunking级别2：Recursive Chunking级别3：Document Based Chunking第4级：语义块第5级：代理分块参考文献

一、背景介绍二、RAG的挑战1、检索质量2、增强过程3、生成质量三、整体架构1、产品架构2、技术架构四、Query理解1、意图识别2、Query改写2.1 HyDE2.2 Rewrite-Retrieve-Read3、Query扩写3.1 Step-Back Prompting3.2 CoVe3.3 RAG-Fusion3.4 ReAct4 、Query重构五、检索模型5.1 检索模型的挑战2、架构3、文档加载器4、文本转换器4.1 工作原理4.2 常见如下

一、简短总结二、什么是混合专家模型？三、混合专家模型简史四、什么是稀疏性?五、混合专家模型中令牌的负载均衡六、MoEs and Transformers七、Switch Transformers八、用 Router z-loss 稳定模型训练九、专家如何学习？十、专家的数量对预训练有何影响？十一、微调混合专家模型十二、稀疏 VS 稠密，如何选择?十三、让 MoE 起飞1、并行计算2、容量因子和通信开销3、部署技术4、高效训练十四、开源混合专家模型十五、一些有趣的研究方向