记录与分享AI资料与学习过程

自然语言处理NLP-seq2seq attention的提出-计算方式及pytorch实现seq2seq attention的论文出处attention机制引入要解决的问题encoder得到的固定向量直接送入decoder，不利于较长句子的信息传递 提取decoder中目标单词需要关注原文中的语义信息seq2seq decoder的构成seq2seq attention的经典形式pytorch实现Seq2Seq中dot型attention的注意力

自然语言处理NLP-RNN、RNN长程依赖导致的梯度问题、LSTM、GRU、LSTM前向代码实现RNN发生梯度消失的原因是什么？RNN中梯度问题是长程依赖导致的远距离的梯度更新问题，和DNN中的梯度消失有所不同。RNN中梯度本身不会消失，但是远距离时间步产生的梯度会消失。遇到梯度爆炸可以尝试的解决方法RNN中使用ReLU可以解决梯度消失问题吗？GRU和LSTM的差别LSTM为什么能够解决梯度消失/爆炸的问题？pytorch实现LSTM前向传播过程

机器学习项目流程、特征向量、距离公式1、简述机器学习项目的一般流程2、哪些机器学习算法需要做特征归一化，哪些不需要，为什么3、One-hot的作用是什么？为什么不直接使用数字作为表示4、什么是数据不平衡，如何解决5、请比较欧式距离与曼哈顿距离

机器学习距离公式、过拟合和欠拟合，正则化1、为什么一些场景中使用余弦相似度而不是欧式距离？2、在模型评估过程中，过拟合和欠拟合具体指什么现象？3、降低过拟合和欠拟合的方法？4、L1和L2正则先验分别服从什么分布？5、树形结构模型的输入特征为什么不需要归一化？标准化与归一化

机器学习模型评估-A/B测试1、什么是精确率？什么是召回率？2、什么是ROC曲线？3、什么是A/B测试？4、为什么要进行线上A/B测试？5、在A/B测试中如何进行流量分割？

线性回归与逻辑回归1、简述逻辑回归，并简述它与线性回归的关系2、回归问题常用的性能度量指标3、分类问题常用的性能度量指标4、逻辑回归的损失函数5、逻辑回归可以处理多标签分类问题吗？

朴素贝叶斯1、写出全概率公式&贝叶斯公式2、朴素贝叶斯为什么“朴素（naive）”？3、朴素贝叶斯有没有超参数可以调？4、朴素贝叶斯的工作流程是怎样的？5、朴素贝叶斯对异常值敏不敏感？

Kmeans原理-优缺点-如何分布式实现1.简述kmeans流程，并且简述使用场景？2.简述K-means对异常值是否敏感？3.如何评估聚类效果？超参数k如何选择？4.如何用mapreduce分布式实现K-means算法?5.kmeans算法的优缺点，如何改进K均值算法？

K近邻算法KNN，KNN与K-means之间的区别和联系，KNN平衡方差和偏差，Python实现KNN1、什么是K近邻算法(K-NN)?2、K-NN与K-means之间有什么区别和联系？3、在K-NN算法中如何平衡方差和偏差？4、在K-NN算法中如何选择K值的大小？5、请用Python实现一个简易版本的KNN分类算法？

KNN、Kmeans、层次聚类几个需要注意的点KNN监督学习算法，K-nearest neighbor。基本做法：对于输入的样本，找寻数据集中距离最近的K个样本，通过决策规则融合K个点的预测结果。K = 1时，也称为最近邻算法。层次聚类 无监督学习算法，层次聚类有聚合（自下而上）和分裂（自上而下）两种方法。Kmeans 无监督学习算法，设定K为聚类的个数 计算数据集中每个样本和聚类中心点的距离，得到一个数据集样本的类别划分。重新计算K个类的聚类中心。重复直到聚类结果收敛

SVM原理-采用间隔最大化-通过什么办法解决非线性分类问题-为什么转换为对偶问题求解-缺失数据敏感性1、请简述 SVM 原理2、SVM 为什么采用间隔最大化?3、支持向量机（SVM）可以通过什么办法解决非线性分类问题？4、为什么要将求解 SVM 的原始问题转换为其对偶问题？5、为什么SVM对缺失数据敏感

SVM算法优缺点、超参数调节、核函数选择、软硬间隔的推导过程1、SVM算法的优缺点2、SVM的超参数C如何调节3、SVM核函数如何选择4、简述SVM硬间隔推导过程5、简述SVM软间隔推导过程

经典机器学习算法-决策树-CART回归树构建1、简述决策树的构建过程2、决策树常见的决策树算法有哪些？请描述它们在进行树的生成过程中，具体的特征选择算法，以及它们的对比？3、CART回归树构建过程4、决策树的优缺点5、决策树如何防止过拟合？说说具体方法。

机器学习基础-神经网络-非线性、relu1. 为什么必须在神经网络中引入非线性？2. ReLU在零点不可导，那么在反向传播中怎么处理？3. ReLU的优缺点4. 激活函数有什么作用，常用的的激活函数有哪些？5. Softmax的原理是什么？有什么作用？

2.8-神经网络基础-模型训练与优化1. 如何理解反向传播？解释其作用机制？2. 请用Python实现MLP的正向和反向传播机制3. 什么是梯度消失和梯度爆炸？4. 怎么解决梯度消失问题？5. 模型的超参数是什么？它和参数有什么不同？

神经网络基础-模型调优1.如何寻找超参数的最优值？2.当训练深度学习模型时，Epoch、Batch 和 Iteration 概念是什么意思？3.NN的权重参数能否初始化为0？4.网络训练有哪些技巧吗？5.梯度下降与牛顿法的异同

神经网络基础-神经网络加速-automl1. 如何解决神经网络中的过拟合问题？2. 影响神经网络推理速度的因素有哪些？3. 模型压缩的常用方法有哪些？4. 什么是自动化机器学习？5. 请简述神经网络架构搜索的大致流程

深度学习基础-梯度下降方法、dropout、BN（Batch Normalization）1. 列举几个梯度下降的方法2. dropout为何能防止过拟合？3. dropout 是否用在测试集上4. BN解决了什么问题？5. 请简述BN的实现流程

集成学习1、什么是集成学习算法？2、集成学习主要有哪几种框架，并简述它们的工作过程？3、Boosting算法有哪两类，它们之间的区别是什么？4、什么是偏差和方差？5、为什么说Bagging可以减少弱分类器的方差，而Boosting可以减少弱分类器的偏差？

集成学习和随机森林1、集成学习提出的动机和解决的问题2、简述一下随机森林算法的原理3、随机森林的随机性体现在哪里？4、随机森林算法的优缺点5、随机森林为什么不能用全样本去训练m棵决策树？

随机森林&GBDT&AdaBoost工作原理1、随机森林和GBDT的区别？2、在训练每颗子树时，该如何决定最优的随机特征个数？3、随机森林算法和深度学习算法相比有哪些优势？4、如果让你在GDBT算法和随机森林算法中选择一个来解决实际问题，你通常会做哪些考量？5、简述AdaBoost算法的工作原理

GBDT原理、常用损失函数、如何用于分类、优缺点1、简述GBDT原理2、GBDT常用损失函数有哪些3、GBDT如何用于分类4、为什么GBDT不适合使用高维稀疏特征？5、GBDT算法的优缺点

XGBoost、GBDT、lightGBM、catBoost1、XGBoost和GBDT有什么不同？2、XGBoost为什么可以并行训练？3、XGBoost防止过拟合的方法？4、XGBoost为什么这么快？5、LightGBM相比于XGBoost做了哪些改进？6、CatBoost有什么特点？

ID3决策树：计算最大信息增益的特征，对样本进行划分C4.5决策树：计算最大信息增益率（也叫信息增益比）的特征，对样本进行划分CART分类树采用基尼指数作为划分条件，基尼指数越大说明不确定性越小CART回归树通过最小化损失函数的方式来选择划分点，每个叶子节点集合对应的预测值为 使得被划分集合损失函数最小的回归值xgboost在GBDT的损失函数上加了正则化项，将损失函数近似为二阶泰勒展开lightgbm采用了Histogram直方图、基于梯度的单边采样算法、互斥特征绑定算法

计算机视觉-卷积神经网络1. 当图像尺寸变为 2 倍，CNN 的参数数量变为几倍？为什么？2. CNN共享参数有什么优点?3. 卷积层的感受野指的是什么，如何计算？4. 卷积层的参数量和计算量该如何计算，请举例说明5. pooling层的作用是什么？

计算机视觉-卷积神经网络-基本网络组件1、为什么卷积核一般都是奇数？2、由哪些层组成了基本的卷积神经网络，作用分别是什么？3、卷积层和池化层有什么区别？4、什么是端到端学习end-to-end？