数据挖掘topic

2019独角兽企业重金招聘Python工程师标准>>>

1.机器学习算法

常用算法公式汇总

1. 西瓜书
2. 神经网络： neural-networks-and-deep-learning-zh
   1. 优点：准确率高，可并行计算，逼近复杂的非线性关系，做特征提取
   2. 缺点：需要大量参数，解释性差，训练时间长
   3. 种类：CNN(卷积)，RNN（循环），DNN(全连接神经元)
3. GBDT， GBDT和随机森林比较，GBDT总结
4. xgboost，公式推导，原始ppt，xgboost与gbdt区别，参数调优，运行方法
5. 神经网络算法：owlqn， SGD， Momentum
6. 神经网络分类损失函数
7. 激活函数，激活函数作用
8. logistic regression，logistic和朴素贝叶斯的区别，LR和softmax关系
9. 多分类auc计算
10. GeoHash核心原理解析
11. 决策树缺失值处理
12. 聚类-kmeans
13. 聚类-dbscan聚类算法
14. 聚类-社区发现Louvain算法 , 算法讲解
15. 生成模型vs判别模型
16. 标准线性回归，最小二乘求解，为啥线性回归使用最小二乘？
17. 概率校准--calibration
18. ROC, AUC
19. 跳出局部最小值的方法

2.概率和线性代数

1. 期望、方差、协方差及相关系数的基本运算
2. 最大似然估计
3. 梯度下降法好文章
4. 特征值分解，奇异值分解，主成分分析，有用文章，原理讲解，好文章
5. EM算法
6. 概率面试题
7. 常用概率分布
8. 蒙特卡洛抽样

3.自然语言处理

1. 统计语言模型
   1. N元文法模型：《数学之美》page54
   2. 工程技巧,平滑方法：page60
2. 分词
   1. 基于字符匹配：最长词匹配，歧义词和未登录词处理不好
   2. 基于统计：相邻的字同时出现的次数越多，就越可能构成一个词。 隐马尔科夫模型 + N-gram
3. 文本相似度计算
   1. TF-IDF + 余弦相似度： TF-IDF，余弦相似度
   2. 奇异值分解(SVD)
4. word2vec
   1. 介绍 2.原理公式

4. 工程知识

1. 特征选择

   特征选择好文章， 特征选择：卡方检验， 特征选择：信息增益， 特征选择：woe, IV，特征选择：LR

2. r2：方程的确定系数，表示X对Y的解释程度，取值在[0, 1]之间，越接近1表示对Y的解释程度越好 算法具体

3. Pearson相关系数

4. 正则化：把额外的惩罚加到已有模型上，防止过拟合并提高泛化能力

   1. L1范数：让特征稀疏，很多w变为0
   2. L2范数：岭回归，改善过拟合，让每个w都很小
   3. 通俗易懂的好文章 4. L1,L2不同效果的原因

5. 规则引擎

   • 多模式匹配：dictmatch算法
   • 单模式匹配：bm(Boyer-Moore)算法 好文章
   • 数据结构：trie树

6. 爬虫

   1. from sgmllib import SGMLParser

7. 推荐系统

   • 推荐系统入门 ,推荐系统：SVD

8. python面试题

9. 海量数据面试题

10. 防止过拟合

    1. 使用简单的模型 2. 降维 3. L2范数 4.算法本身（svm松弛变量，决策树剪枝）5.增加样本（例如复制图片） 6.drop out 7. early stop

11. 分布式神经网络训练

12. 归一化原因

    1. 过大或过小的数值可能导致计算浮点的上溢或下溢
    2. 不同的数值范围导致不同属性对模型的重要性不同，对优化造成困难，训练时间变长
    3. 机器学习常用方法（正则）都假设属性取值在以0为均值的附近

13. 连续特征离散化优势

14. 梯度消失，爆炸解决办法

转载于:https://my.oschina.net/SearchVera/blog/906929