超全总结!大模型算法岗面试真题来了!

大家好,从 2019 年的谷歌 T5 到 OpenAI GPT 系列,参数量爆炸的模型不断涌现,尤其2022年11月底对话大模型 ChatGPT 的出现更是引起了社会各界的广泛关注。

近些年,在大规模语料库上预训练 Transformer 模型产生了预训练语言模型(PLMs),并在解决各类 NLP 任务上展现出了强大的能力。

当参数规模超过一定水平时,语言模型实现了显著的性能提升,并展现出小模型中不存在的能力,比如上下文学习。为了区别于 PLM,这类模型被称为大型语言模型(LLMs)。

为了让大家更容易上车大模型,结合一些小伙伴参加大模型面试的真题分享和自己实战经验,我对大模型常考的面试题归纳为:大模型基础,大模型参数微调、训练、推理,大模型应用框架,大模型分布式训练,其他技术等内容。

大模型基础

  • 你比较关注那些主流的开源大模型?
  • 目前大模型模型结构都有那些?
  • prefix LM 和 causal LM、encoder-decoder 区别及各自有什么优缺点?
  • 模型幻觉是什么?业内解决方案是什么?
  • 大模型的 Tokenizer 的实现方法及原理?
  • ChatGLM3 的词表实现方法?
  • GPT3、LLAMA、Chatglm 的Layer Normalization 的区别是什么?各自的优缺点是什么?
  • 大模型常用的激活函数有那些?
  • Multi-query Attention 与 Grouped-query Attention 是否了解?区别是什么?
  • 多模态大模型是否有接触?落地案例?

大模型参数微调、训练、推理

  • 为什么需要进行参选微调?参数微调的有点有那些?
  • 模型参数微调的方式有那些?你最常用那些方法?
  • prompt tuning 和 prefix tuning 在微调上的区别是什么?
  • LLaMA-adapter 如何实现稳定训练?
  • LoRA 原理与使用技巧有那些?
  • LoRA 微调优点是什么?
  • AdaLoRA 的思路是怎么样的?
  • LoRA 权重合入chatglm模型的方法?
  • P-tuning 讲一下?与 P-tuning v2 区别在哪里?优点与缺点?
  • 为什么SFT之后感觉LLM傻了?
  • 垂直领域数据训练后,通用能力往往会有所下降,如何缓解模型遗忘通用能力?
  • 进行SFT操作的时候,基座模型选用Chat还是Base?
  • 领域模型词表扩增是不是有必要的?
  • 训练中文大模型的经验和方法
  • 模型微调用的什么模型?模型参数是多少?微调模型需要多大显存?
  • 预训练和SFT操作有什么不同?
  • 训练一个通用大模型的流程有那些
  • DDO 与 DPO 的区别是什么?
  • 是否接触过 embeding 模型的微调方法
  • 有哪些省内存的大语言模型训练/微调/推理方法?
  • 大模型(LLMs)评测有那些方法?如何衡量大模型的效果?
  • 如何解决三个阶段的训练(SFT->RM->PPO)过程较长,更新迭代较慢问题?
  • 模型训练的数据集问题:一般数据集哪里找?
  • 为什么需要进行模型量化及原理?
  • 大模型词表扩充的方法及工具?

大模型应用框架

  • 什么是 LangChain?
  • 什么是 LangChain Agent?
  • 什么是 LangChain model?
  • 除了 LangChain,是否了解其他框架?
  • 是否有基于LangChain 搭建大模型应用的经验,请详细说明?
  • 搭建大模型应用遇到过那些问题?如何解决的?
  • 如何提升大模型的检索效果
  • 是否了解上下文压缩方法?
  • 如何实现窗口上下文检索?
  • 开源的 RAG 框架有哪些,你比较了解?
  • 大模型应用框架 LangChain 和 LlamaIndex 各种的优势有那些?
  • 你使用的向量库有那些?各自有点与区别?
  • 使用外部知识数据库时需要对文档进行分块,如何科学的设置文档块的大小?
  • LLMs 受到上下文长度的限制,如果检索到的文档带有太多噪声,该如何解决这样的问题?
  • RAG(检索增强生成)对于大模型来说,有什么好处?

大模型分布式训练

  • 大模型进行训练,你用的是什么框架?
  • 业内常用的分布式AI框架,你什么了解?
  • 数据并行、张量并行、流水线并行的原理及区别?
  • 推理优化技术 Flash Attention 的作用是什么?
  • 推理优化技术 Paged Attention 的作用是什么?
  • CPU-offload,ZeRO-offload 了解?
  • ZeRO,零冗余优化器 的三个阶段?
  • 混合精度训练的优点是什么?可能带来什么问题?
  • Megatron-DeepSpeed 方法?
  • Megatron-LM 方法

其他技术

  • 你GPU服务器用的那些?
  • 是否使用过国产GPU服务器?
  • 是否部署过Docker 和 k8s ?
  • Linux 常见命令大全
  • Docker 常用命令大全
  • Kubernetes 常用命令大全
  • 平时使用的开发语言是什么?

(完)

如何学习AI大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img
五、大模型面试题大全

在这里插入图片描述

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值