LLM大模型面试经验
关注
分享
扫一扫
文章平均质量分 92
面试八股文
哥兜兜有糖
看一眼代码就会爆炸
展开
-
LLM大模型中LoRA是什么？面试经验回答汇总（2024.12月最新）
介绍：通过低秩分解来模拟参数的改变量，从而以极小的参数量来实现大模型的间接训练。原创 2024-07-03 22:22:04 · 1373 阅读 · 0 评论 -
LLM大模型如何微调？面试经验回答汇总（2024.7月最新）
其实这块我有个自己的想法，e 和 a 是否也可以做衰减，随着训练过程逐渐减小，来避免loss spike的现 象 另外假设我们能一次性加载所有样本进行训练（实际上不可能做到），是否还会出现loss spike的现象 最后目前流行的fp8，fp16混合训练，如果upscale设置的过小，导致梯度在进入优化器之前就下溢，是 不是会增加浅层梯度长时间不更新的可能性，进而增加loss spike的出现的频率。预训练过程中，可以加下游SFT的数据，可以让模型在预训练过程中就学习到更多的知识。原创 2024-07-03 15:03:25 · 1818 阅读 · 0 评论 -
LLM大模型工程师面试经验宝典--进阶版2（2024.7月最新）
监督学习中主动学习的两个基本原则是寻找多样性的数据，模型不确定性的数据，在寻找 的过程中，我们使用了一些小技巧，比如聚类去重，对抗半监督过滤，自建reward二分类等方 法。这几个小技巧，学术上没有什么高深莫测的东西，都是实践中总结出来的好用的方法。原创 2024-07-02 17:06:35 · 1097 阅读 · 0 评论 -
LLM大模型工程师面试经验宝典--进阶版1（2024.7月最新）
LLM大模型面试八股文，思维导图原创 2024-07-01 21:36:35 · 1788 阅读 · 0 评论 -
LLM大模型工程师面试经验宝典--基础版（2024.7月最新）
LLM大模型面试八股文，思维导图原创 2024-07-01 20:40:45 · 1358 阅读 · 0 评论