大厂常考决策树模型面试题总结

最新推荐文章于 2024-12-11 10:25:53 发布
最新推荐文章于 2024-12-11 10:25:53 发布
阅读量1.4k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： 最新名企AI面试题 文章标签： 算法 机器学习 深度学习 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/julyedu_7/article/details/123663317
本文总结了大厂面试中常见的决策树模型相关问题，包括ID3、C4.5、CART树的算法思想、分裂依据、优缺点，以及随机森林的构建过程和与GBDT的区别。通过对信息增益、信息增益比和基尼指数的理解，揭示了决策树模型的内在机制。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

问题1：ID3、C4.5、CART树的算法思想

ID3算法的核心是在决策树的每个节点上应用信息增益准则选择特征，递归地构架决策树。

C4.5算法的核心是在生成过程中用信息增益比来选择特征。

（1）经验熵 刻画了对数据集进行分类的不确定性。

（2）经验条件熵 刻画了在特征 A 给定条件下，对数据集分类的不确定性。

（3）信息增益 刻画了由于特征 A 的确定，从而使得对数据集的分类的不确定性减少的程度。

信息增益：数据集 D 的经验熵与关于特征 A 的经验条件熵的差值。

问题2：ID3、C4.5、CART树分裂依据的公式

ID3算法分类依据：信息增益：经验熵 - 经验条件熵

经验熵

经验条件熵

信息增益

C4.5算法分类依据：信息增益比

其中，数据集D关于特征A的经验熵为

最低0.47元/天 解锁文章

200万优质内容无限畅学
大模型算法岗常见面试题100道
强化学习曾小健
07-07 1385
LangChain是一个用于构建和运行大型语言模型应用的开源框架。它提供了一套工具和组件，帮助开发者将大型语言模型（如 GPT-3）与其他工具和API结合，以完成更复杂的任务。1、LangChain包含哪些核心概念?Components:可重用的模块，例如API调用、数据库查询等。Chains:将多个Components链接在一起以完成特定任务的流程。Prompt Templates: 用于指导语言模型生成输出的文本模板。Output Parsers:解析语言模型输出的工具。
机器学习面试问题整理(3) — Tree树形模型
Lestat.Z.的博客
02-24 4990
文章目录概述随机森林优缺点GBDT的原理， 如何做分类和回归GBDT分类树拟合的是什么GBDT+ LR 是怎么做的CART分类回归树和ID3以及C4.5有什么区别决策树的优点和缺点RF, GBDT, XGBOOST, XGB的区别改变随机森林的训练样本数据量，是否会影响到随机森林学习到的模型的复杂度树集成模型有哪几种形式？随机森林的随机体现在哪方面决策树处理连续值的方法。决策树如何防止过拟合，过拟...
大模型常见面试题及解答
Vulcan_S的博客
03-18 8154
大模型面试常见问题与解答
机器学习面试中最常考的树模型(附答案)
算法channel
06-17 1411
树模型可以说在机器学习的面试中，是面试官最喜欢问的一类问题，今天小编就带你一起回顾一下去年校招中我所经历的树模型相关的问题，这次带答案呦～～(答案是小编的理解，如果有遗漏...
大模型（LLMs）算法工程师相关的面试题和参考答案
datayx的文章
11-13 995
向AI转型的程序员都关注了这个号????????????目录大模型（LLMs）基础面1. 目前 主流的开源模型体系 有哪些？2. prefix LM 和 causal LM 区别是什么？3. 涌现能力是啥原因？4. 大模型LLM的架构介绍？大模型（LLMs）进阶面1. llama 输入句子长度理论上可以无限长吗？1. 什么是 LLMs 复读机问题？2. 为什么会出现 LLMs 复读机问题？3. ...
决策树算法十问及经典面试问题
程序IT圈
02-18 543
简介和算法决策树是机器学习最常用的算法之一，它将算法组织成一颗树的形式。其实这就是将平时所说的if-then语句构建成了树的形式。这个决策树主要包括三个部分：内部节点、叶节点和边。内部节...
大模型经典面试题，（非常详细）收藏这一篇就够了！大模型面试题+答案！
最新发布
Everly_的博客
12-11 3258
LangChain是一个用于构建和运行大型语言模型应用的开源框架。它提供了一套工具和组件，帮助开发者将大型语言模型（如 GPT-3）与其他工具和API结合，以完成更复杂的任务。1、LangChain包含哪些核心概念?Components:可重用的模块，例如API调用、数据库查询等。Chains:将多个Components链接在一起以完成特定任务的流程。Prompt Templates: 用于指导语言模型生成输出的文本模板。Output Parsers:解析语言模型输出的工具。
20 道大模型面试问题（含答案）
2401_84033492的博客
05-26 3031
大型语言模型（LLM）是一种通过大量文本材料训练的人工智能系统，能够像人类一样理解和生成语言。通过使用机器学习技术识别训练数据中的模式和关联，这些模型能够提供逻辑上和上下文上适当的语言输出。
推荐收藏！大模型常考面试题总结（含答案）
2401_84033492的博客
04-21 2820
在原始 PLM (Pre-trained Language Model) 旁边增加一个旁路，做一个降维再升维的操作，来模拟所谓的 intrinsic rank。训练的时候固定 PLM 的参数，只训练降维矩阵A与升维矩阵B。而模型的输入输出维度不变，输出时将BA与PLM的参数叠加。用随机高斯分布初始化A ，用0矩阵初始化B，保证训练的开始此旁路矩阵依然是 0 矩阵。
大模型面试题目
u012374012的专栏
07-04 1349
检索增强生成（Retrieval-Augmented Generation，简称RAG）是一种将检索模型和生成模型结合起来的混合方法，用于提高文本生成任务的性能。这种方法利用信息检索技术从大型数据库中检索相关文档，然后利用生成模型基于这些检索到的文档生成高质量的文本。这种方法在处理需要丰富背景知识或长尾信息的问题时特别有效。RAG 的基本流程检索阶段（Retrieval Stage）给定一个输入查询（query），使用信息检索模型从大型数据库（如文档库、知识库）中检索出若干相关文档。
机器学习模型——树模型常见面试问题
行者无疆的博客
08-04 578
一、bagging和boosting的区别 1.样本选择：   bagging采用bootstraping的方式进行随机有放回的取样，各轮训练集之间是独立的；   boosting每轮训练的样本是固定的，改变的是样本的权重。 2.样本权重   bagging采取的是均匀取样，每个样本的权重相同；   boosting根据错误率调整样本权重，错误率越大的样本权重越大。 3.预测函数   bagging所有预测函数的权重相同；   boosting中误差越小的预测函数权重越大。 4.并行计算   bagging
决策树面试问题
weixin_30826761的博客
03-24 498
引自知乎——数据取经团：吕洞宾 面试官：小张同学，你好，看了你的简历，对相关算法还是略懂一些，下面开始我们的面试，有这么一个场景，在一个样本集中，其中有100个样本属于A，9900个样本属于B，我想用决策树算法来实现对AB样本进行区分，这时会遇到什么问题： 小张：欠拟合现象，因为在这个样本集中，AB样本属于严重失衡状态，在建立决策树算法的过程中，模型会更多的偏倚到B样本的性质，对A样本的...
大模型面试题快问快答！必考速记！
python1234_的博客
05-16 2193
简单来说，就是需要压缩softmax输入值，以免输入值过大，进入了softmax的饱和区，导致梯度值太小而难以训练。如果不对attention值进行scaling，也可以通过在参数初始化时将方差除以根号d ，同样可以起到预防softmax饱和的效果。1、如果Q和K一样，则矩阵乘积的结果是一个对称矩阵，这样减弱了模型的表达能力。2、如果Q和K一样，乘积结果的对称矩阵中，对角线的值会比较大，导致每个位置过分关注自己。3、使用不同的投影矩阵，参数增多，可以增强模型表达能力。
【机器学习面试题】——决策树
Heitao5200的博客
12-30 1312
文章目录1. 简单介绍决策树算法2. 决策树和条件概率分布的关系？3. 信息增益比相对信息增益有什么好处？4. ID3算法—>C4.5算法—> CART算法5. 决策树的缺失值是怎么处理的6. 决策树的目标函数是什么？7. 决策树怎么处理连续性特征？8. 决策树怎么防止过拟合？9. 如果特征很多，决策树中最后没有用到的特征一定是无用吗？10.决策树的优缺点？11. 树形结构为什么不需要...
大模型常见面试题汇总（含答案）
2401_85373691的博客
10-17 1334
LangChain是一个用于构建和运行大型语言模型应用的开源框架。它提供了一套工具和组件，帮助开发者将大型语言模型（如 GPT-3）与其他工具和API结合，以完成更复杂的任务。1、LangChain包含哪些核心概念?Components:可重用的模块，例如API调用、数据库查询等。Chains:将多个Components链接在一起以完成特定任务的流程。Prompt Templates: 用于指导语言模型生成输出的文本模板。Output Parsers:解析语言模型输出的工具。
20240323-2-决策树面试题DecisionTree
qq_24428851的博客
03-31 1161
决策树算法是一种逼近离散函数值的方法。它是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。决策树将算法组织成一颗树的形式。其实这就是将平时所说的if-then语句构建成了树的形式。决策树主要包括三个部分：内部节点、叶节点、边。内部节点是划分的特征，边代表划分的条件，叶节点表示类别。构建决策树 就是一个递归的选择内部节点，计算划分条件的边，最后到达叶子节点的过程。
决策树面试题
weixin_44414593的博客
08-03 799
1.对特征进行归一化，特征的尺度进行缩放对决策树有影响吗？ 没有。 2.决策树的损失函数是什么？ 看这个链接 3.简述决策树原理 决策树是一种拥有树形结构的监督学习分类算法模型。 结构包含根节点、内部节点和叶子节点。 根节点：代表包含数据集中所有数据的集合； 子节点：经过属性划分后产生的非叶子节点，代表经过条件划分后更加相似的样本数据； 叶子节点：代表某一个结果类别，在同一个类别的样本数据属于同一个类别。（最下面的节点） 同一叶子节点下的样本会被分类成同一类别，回归问题则是同样的回归值。 4.决策树的优缺点
大模型算法面试题（四）
m0_63997552的博客
07-17 1057
文本数据增强方法多种多样，可以从不同的层面和角度进行实施。在实际应用中，可以根据具体任务和数据集的特点选择合适的方法或组合多种方法以达到最佳效果。同时，随着NLP技术的不断发展，新的数据增强方法也在不断涌现，为文本处理任务提供了更多的可能性。LangChain由前Robust Intelligence的机器学习工程师Chase Harrison在2022年10月底推出，是一个封装了大量大语言模型(LLM)应用开发逻辑和工具集成的开源Python库。
大模型LLM相关面试题整理-位置编码-tokenizer-激活函数-layernorm
weixin_36378508的博客
10-17 2212
绝对位置编码是一种用于为序列数据中的每个位置添加绝对位置信息的技术。在自然语言处理中，绝对位置编码常用于处理文本序列，特别是在使用Transformer模型进行序列建模的任务中。在传统的Transformer模型中，位置编码使用了正弦和余弦函数的组合来表示相对位置信息，但它并没有提供绝对位置的信息。这意味着，如果将输入序列的位置进行重新排序或删除/添加元素，模型将无法正确地理解序列的新位置。为了解决这个问题，绝对位置编码被引入到Transformer模型中。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值