算法岗面经

文章讨论了LoRa、P-turning和V2在不同场景的应用差异,大语言模型训练的batch大小对效果的影响,以及大模型生成数据在解决数据不足中的角色。还涉及了Bert、LLaMA和ChatGLM的选择依据,以及工业界的召回排序模型和内存优化方法。
部署运行你感兴趣的模型镜像

诸神缄默不语-个人优快云博文目录

呃这个是我之前写的,理论上我应该搜集题目→做出解答这样的,但是我现在不再继续找工作了,所以感觉这些题目用不到了,我就直接把之前整理的这些资料发出来得了。
以后有缘分的话会继续补的,没缘分的话就这么多了。

1. SOTA LLM

lora和p-turning或者v2这几种方式,在哪些应用场景有区别,效果上,有没有了解过
训练的时候,batch是多条,那推理只有一条,batch如何推
大语言模型做微调batch假设为1的情况下能不能训练,效果咋样
粗排和精排的一致性越高越好吗?
GPT系的Decoder Only类模型,如何实现表征文档的embedding的生成?
在将来的大模型发展中,大模型生成数据是否是解决高质量数据不足的方法,如果不是有什么方法解决数据不足?
推荐算法工业界常用召回排序模型和冷启动
有哪些省内存的大语言模型训练/微调/推理方法?
什么情况用Bert模型,什么情况用LLaMA、ChatGLM类大模型,咋选?

2. 本文撰写过程中参考的网络资料

  1. 题目来源(已复制过来)
    1. 面试题收集 - 飞书云文档
  2. 题目来源(还没复制完)
    3. 面试题汇总 - 飞书云文档

您可能感兴趣的与本文相关的镜像

Llama Factory

Llama Factory

模型微调
LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型(Large Language Model)训练与微调平台。通过 LLaMA Factory,可以在无需编写任何代码的前提下,在本地完成上百种预训练模型的微调

### 字节跳动广告算法试经验 #### 自我介绍与项目经验 在字节跳动的广告算法试中,自我介绍是一个重要的环节。通常情况下,候选人会被要求用简洁的语言描述自己的背景、技能以及过往的项目经历[^1]。因此,在准备阶段应着重强调自己在数据处理、机器学习模型构建等方的实际操作能力。 当谈及具体项目时,建议选取那些能够体现你在推荐系统优化、CTR预估或者AB测试分析方的能力的例子来展示给试官看。比如可以提到如何通过改进特征工程提升点击率预测精度的具体案例[^3]。 #### 手撕代码部分 手撕代码作为评估候选者编程能力和逻辑思维的重要手段之一,在字节跳动广告算法试里占据较大比重。根据以往的经验来看,可能会遇到如下类型的题目: - **贪心算法**:这类问题往往考察的是能否快速找到局部最优解并将其扩展至全局最佳方案上。例如,“活动安排问题”,即给出一系列时间段内的活动列表,请尽可能多地选出不重叠的时间段进行参与。 - **动态规划**:此类问题是用来检测应聘人员解决多阶段决策过程中的状态转移方程定义技巧及其边界条件设定水平的有效工具。像经典的背包问题就是典型代表作之一[^2]。 以下是关于0/1背包问题的一个简单实现例子: ```python def knapsack(max_weight, weights, values): n = len(values) dp = [[0]*(max_weight+1) for _ in range(n+1)] for i in range(1,n+1): for w in range(max_weight,-1,-1): if weights[i-1]<=w: dp[i][w]= max(dp[i-1][w],dp[i-1][w-weights[i-1]]+values[i-1]) else: dp[i][w]=dp[i-1][w] return dp[-1][-1] ``` 此外还可能涉及到二叉搜索树的操作类试题,这不仅考验基本的数据结构掌握程度同时也检验了实际应用场景下的灵活运用能力。 #### 数学基础与理论知识问答 除了上述实践性强的内容之外,还会有一些针对概率统计、线性代数等相关知识点提问的机会。特别是对于从事广告投放策略制定工作的同学来说,理解A/B Test原理及其背后假设检验方法显得尤为重要;另外还需要熟悉常见的损失函数形式(如交叉熵)、评价指标体系(Precision@K,Roc-Auc Score等),这些都是日常工作中不可或缺的知识点集合体。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

诸神缄默不语

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值