算法岗面试问题总结（三）

原创 已于 2023-03-06 16:40:22 修改 · 502 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法 #深度学习 #神经网络

于 2023-03-06 10:58:00 首次发布
本文介绍了神经网络的调参方法——网格搜索，Transformer的结构及其对比RNN的优势，LSTM的原理和变种，以及BPTT的工作机制。还讨论了逻辑回归使用交叉熵而非MSE的原因，CNN的优点和缺点，item-CF的推荐算法，以及TFIDF的文本分析作用。最后，概述了决策树的算法和优缺点。

文章目录

1.神经网络如何调参？

GridSearch
神经网络调参的方法一般叫网格搜索法，对所有参数进行循环遍历，尝试每一种可能性，找出最优结果。其原理就像是在数组里寻找最大值。

2. 讲一下Transformer？以及它比RNN优势在哪里？

tensorfmer使用的编码解码器原理，它将输入序列编码成一个连续表达式，在输出端将这个表达式又转换成序列。

它的编码器和解码器各有6层，在每一层后面都会接一个残差归一化层。模型中的所有子层的输出维度都是512。

  • 对于RNN来说，它当前隐藏层的输出只与上一层的隐藏层输出和当前的输入有关系，限制了模型的并行能力且无法处理长期依赖。

  • LSTM在一定程度上能够解决长期依赖问题，但是对于特别长期的依赖仍然无法处理。

  • Tensorfor将序列中任意两个位置之间的距离转换成一个常量；并且它不同于CNN的顺序结构，它能够并行处理问题。

3. LSTM的概念，LSTM有哪些变种以及BPTT（基于时间的反向传播）

LSTM是为了解决RNN无法处理长程依赖问题的，它的结构主要由输入门、遗忘门以及输出门组成。控制门开关的cell类似于信息传送工具，使得LSTM在长序列场景下不会丢失信息。
在这里插入图片描述
它的变种包括：

  1. MOGRIFIER LSTM：网络的特点是当前这一轮的输入和隐藏状态输入都是由上一轮训练的输入和隐藏状态计算得到的，这就保证了信息各层输入与隐藏状态之间产生关联，更好获取上下文信息。

  2. GRU：它的特点是只有更新门和重置门。更新门用来

最低0.47元/天 解锁文章
算法岗面试问题总结（六）
nihaomeimeiz的博客
03-07 605
算法岗面试问题总结（六）
深度学习面试1：调参绝杀技
颠沛的小丸子
04-20 782
深度学习者若调得一手好参，便可行走江湖，曾经有这样一则新闻，天桥摆摊调参一次50元，想着都很美，毕竟比贴手机膜赚的多的多，那么想要在行业混，首先会调得一手好参，什么是要调的参数，如何调参？如何评估调的参数好呢？。。。。。 什么是要调的参数？ 我想你第一反映学习率，毕竟学习率的大小决定你选择的模型是否到达局部最优，如果设置大了，模型可能越过最优值，或者在某个区间反复循环，如果设置小了，模型可能在...
算法工程师笔试面试问题汇总
XiangJiaoJun_的博客
03-14 6446
本文档记录刷题过程中做错的一些题目,并将其分类，以便于以后复习。 文章目录机器学习基础知识深度学习基础知识编程算法基础（时间复杂度计算等）操作系统与数据库NLPCV 机器学习基础知识 增加以下哪些超参数可能导致随机森林模型过拟合数据？ 1. 决策树的数量； 2. 决策树的深度； 3. 学习率。 答案: 2 在线性回归中使用正则项，你发现解的不少co...
公司算法面试笔试题目集锦，个人整理，不断更新中
IT届的小学生
06-27 4591
科技巨头问题集锦（无答案！） 通用问题 苹果 微软 Twitter Uber 领英（LinkedIn） 机器学习问题 谷歌 微软 Uber 领英 IBM Salesforce Capital One（一家美国银行） Zillow Hadoop Twitter Captial One Hive 领英 Spark 统计和概率问题 谷歌 微软 Twitter Uber Faceb...
面试整理--神经网络篇
Icevivian
04-08 4348
线性模型和神经网络的最大区别，在于神经网络的非线性导致大多数我们感兴趣的代价函数都变得非凸。因此对于前馈神经网络，将所有权重值初始化为小随机数是重要的。 训练一个前馈网络至少需要做和线性模型一样的多的设计决策：选择一个优化模型、代价函数以及输出单元的形式。 模型 神经网络不把线性模型作用与x本身，而是作用在一个变换后的输入ϕ(x)ϕ(x)\phi(x)上，这里ϕ(x)ϕ(x)\phi(x...
算法岗面试问题总结（一）
nihaomeimeiz的博客
03-01 836
python装饰器
算法岗面试问题总结（四）
nihaomeimeiz的博客
03-06 840
算法岗面试总结（四）
算法岗面试问题总结（五）
nihaomeimeiz的博客
03-06 309
算法岗面试问题总结（五）
算法岗面试问题总结（二）
nihaomeimeiz的博客
03-02 387
算法岗面试问题总结二
【机器学习面试题】——w2v+tf-idf
Heitao5200的博客
03-05 2202
Word2Vector 1.什么是词嵌入模型？ 把词映射为实数域向量的技术也叫词嵌⼊ 2.介绍一下Word2Vec 谷歌2013年提出的Word2Vec是目前最常用的词嵌入模型之一。Word2Vec实际是一种浅层的神经网络模型，它有两种网络结构，分别是连续词袋（Continues Bag of Words）和跳字(Skip-gram)模型。 3.介绍CBOW CBOW，全称Continuous B...
机器学习面试常问题目
饭饭童鞋的博客
06-24 3471
一 面试题概述 面试的时候，面试官会结合你的回答和你的简历来询问你，所以在写简历的时候，简历上所写的所有内容在写的时候必须自己反问一下自己，这个知识点懂不懂。 面试其实是一个沟通技巧的考量，在面试的时候要“灵活”； 在有一些问题上，如果不会，那么直接说不会就可以；但是在一些比较关键的问题上，如果这个算法不会，最好可以稍微的提一下相关的算法，灵活回答。 机器学习/人工智能相关岗位在招聘人员的时候，主要考量的指标有以下几个方面： ①算法的思维能力 ②基本的算法原理 ③编程能力 ④数据结构能力(扩展了解)二 机.
面试总结（2）--逻辑回归、线性回归、CNN、LSTM、GRU、激活函数
moonbaby
07-16 3103
一.LR推导 逻辑回归本质上是线性回归，只是在特征到结果的映射种加入一层逻辑函数g(z)。即先把特征线性求和，然后使用函数g(z)作为假设函数预测。g(z)为sigmoid函数 sigmoid导数如下： 逻辑回归为什么用sigmoid函数？ 优点：实现简单，Sigmoid函数是平滑的，可以无限求导。可以从（-∞，+∞）映射到（0，1），符合概率分布 缺点：导数在（0，0.25），容易出现梯度消失；只能处理二分问题 逻辑回归认为函数其概率服从伯努利分布，将其写成指数族分布的形式。能够推导
GBDT常见面试点
qy724728631的博客
08-24 2477
转自：https://www.cnblogs.com/ModifyRong/p/7744987.html 1.简介        gbdt全称梯度下降树，在传统机器学习算法里面是对真实分布拟合的最好的几种算法之一，在前几年深度学习还没有大行其道之前，gbdt在各种竞赛是大放异彩。原因大概有几个，一是效果确实挺不错。二是即可以用于分类也可以用于回归。三是可以筛选特征。这三点实在是太吸引人了，导致...
深度学习调参经验
Xwei1226的博客
06-29 8901
做dl也有一段时间了，积累了一些经验，也在网上看到一些别人的经验。 为了面试，结合知乎上面的问答，我也总结了一下，欢迎大家补充。知乎 深度学习调参有哪些技巧？一. 初始化 有人用normal初始化cnn的参数，最后acc只能到70%多，仅仅改成xavier，acc可以到98%。二.从理解CNN网络以产生直觉去调参数的角度考虑，应该使用可视化 可视化（知乎用户 杨军）1.Visualize Laye...
深度学习常见面试题（更新中）
xiaxuesong666的博客
09-11 9780
1: LSTM结构推导，为什么比RNN好？ 答案：推导forget gate，input gate，cell state， hidden information等的变化；因为LSTM有进有出且当前的cell informaton是通过input gate控制之后叠加的，RNN是叠乘，因此LSTM可以防止梯度消失或者爆炸； 2：梯度消失爆炸为什么？ 答案：略 3：为什么你用的autoencod
深度学习面试之LSTM
心向林丶的博客
06-05 2842
如何形象理解LSTM的三个门 0. 从RNN说起 循环神经网络（Recurrent Neural Network，RNN）是一种用于处理序列数据的神经网络。相比一般的神经网络来说，他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义，RNN就能够很好地解决这类问题。 1. 普通RNN 先简单介绍一下一般的RNN。 其主要形式如下图所示（图片均来自台大李宏毅教授的PPT）： 这里： x 为当前状态下数据的输入， h 表示接收到的上一个节点的输入。 y 为当前节点状态下的输出，而
深度学习-第四章 LSTM面试题（大厂必问，历经半年整理）
聪哥965
02-28 6449
文章目录1.NN2.CNN3.RNN4.LSTM遗忘门输入层门输出层门4.1 LSTM结构推导，为什么比RNN好？4.2 为什么LSTM模型中既存在sigmoid又存在tanh两种激活函数，而不是选择统一一种sigmoid或者tanh？4.3 LSTM中为什么经常是两层双向LSTM？4.4 RNN扩展改进4.4.1 Bidirectional RNNs4.4.2 CNN-LSTMs4.4.3 Bidirectional LSTMs4.4.4 GRU4.5 LSTM、RNN、GRU区别？4.6 LSTM是如何
论文笔记： MOGRIFIER LSTM
qq_40206371的博客
08-24 1420
2020 ICLR。
itemCF算法
热门推荐
lukeyyanghang的博客
02-15 1万+
什么是itemCF算法？ itemCF:ItemCollaborationFilter，基于物品的协同过滤   算法的核心思想:给用户推荐那些和他们之前喜欢的物品相似的物品   那么如何判断物品的是否相似呢？ 该算法认为，喜欢物品A的用户大都也喜欢物品B，那么我们称物品A和物品B相似。   itemCF算法流程 1.计算物品之间的相似度 2.根据物品的相似度和用户的历史行为给用...
算法岗八股文面试总结
最新发布
05-25
### 算法岗位面试常见问题总结 算法岗位的面试通常会涉及多个方面的考察，包括但不限于基础理论、编程能力以及实际应用中的解决问题的能力。以下是针对算法岗位面试的一些常见问题及其解决思路： #### 基础知识部分 基础知识是算法岗位面试的核心之一，涵盖了数据结构与算法的设计和实现。 - **链表操作** 如何反转单向链表是一个常见的问题。可以通过迭代或者递归的方式完成这一任务[^1]。 ```python class ListNode: def __init__(self, val=0, next=None): self.val = val self.next = next def reverseList(head: ListNode) -> ListNode: prev = None curr = head while curr is not None: temp = curr.next curr.next = prev prev = curr curr = temp return prev ``` - **二叉树遍历** 实现前序、中序和后序遍历也是经典问题。可以采用递归方法轻松处理这些问题[^2]。 ```python class TreeNode: def __init__(self, val=0, left=None, right=None): self.val = val self.left = left self.right = right def preorderTraversal(root: TreeNode): if root is None: return [] result = [root.val] result += preorderTraversal(root.left) result += preorderTraversal(root.right) return result ``` #### 编程实践部分 除了纯理论的知识外，还需要具备一定的实战经验，尤其是在面对具体业务场景时如何优化解决方案。 - **动态规划** 动态规划是一种重要的解题策略，在求解最短路径等问题中有广泛应用。例如斐波那契数列可以用动态规划高效计算[^3]。 ```python def fib(n: int) -> int: dp = [0]*(n+1) if n >= 1: dp[1] = 1 for i in range(2,n+1): dp[i] = dp[i-1]+dp[i-2] return dp[n] ``` - **深度优先搜索 (DFS)** 和 广度优先搜索 (BFS)** DFS/BFS 是图论中最基本的操作方式，可用于迷宫探索等多种场合。下面展示了一个简单的 BFS 示例用于寻找无权图两点间距离[^4]。 ```python from collections import deque def bfs(graph, start_node, end_node): visited = set() queue = deque([(start_node, 0)]) while queue: node, dist = queue.popleft() if node == end_node: return dist if node not in visited: visited.add(node) neighbors = graph[node] for neighbor in neighbors: if neighbor not in visited: queue.append((neighbor, dist + 1)) return -1 ``` #### 面试技巧分享 为了更好地应对算法岗面试，可以从以下几个方面入手准备： - 复习并熟练掌握常用的数据结构及相应算法； - 练习历年真题，熟悉高频考点； - 学会在有限时间内清晰表达自己的思考过程，并逐步完善答案； ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值