haiyu94的博客

说明自己整理，欢迎交流～2.1 数据集包含1000个样本，其中500个正例、500个反例，将其划分为包含70%样本的训练集和30%样本的测试集用于留出法评估，试估计有多少种划分方式。答：30%用于测试集相当于要从正负样本各选500*30%=150个样本所以一共有 C500150⋅C500150C_{500}^{150}·C_{500}^{150}C500150​⋅C500150​2.2 ...

使用豆瓣的镜像pip install tensorflow -i https://pypi.douban.com/simple

首先放一下官网教程的网址：https://github.com/Microsoft/LightGBM/blob/master/docs/Installation-Guide.rst#macos1. 安装brew检查电脑是否有brew，在终端输入brew help若输出：Example usage: brew search [TEXT|/REGEX/] brew info [F...

目录原理，数学推导，优缺点？为什么要用logistic函数？ 该函数优缺点？为什么不用其他函数？求解方法，目标函数（损失函数），手写代码？为什么使用似然估计？什么要用对数似然，不用平方损失和绝对值之类？平方损失是不是凸函数？几种优化算法，梯度下降的种类LR 正则化工程方面：并行化怎么做，有几种并行化方式，读过哪些开源的实现LR为什么要对特征进行离散化31Logistic回归和其他...

1. stacking原理这里以2层stacking为例进行介绍 假设有3个基模型M1，M2， M3， 数据集： D={(x1→,y1),(x2→,y2),...,(xn→,yn)}D={(x1→,y1),(x2→,y2),...,(xn→,yn)}D = \{(\vec{x_1},y_1),(\vec{x_2},y_2),...,(\vec{x_n},y_n)\}划分数据集 ...

一、目的集成方法是通过结合几个基学习器的预测结果来改善单个学习器的通用性和鲁棒性二、分类1、bagging与随机森林几个基学习的学习过程相互独立（并行式集成学习），将其预测结果进行结合 常用方法： a. 分类（投票法） b. 回归（平均法）2、boosting基学习器串行建立，目的是减小整体学习器的偏差，可以使用几个若学习器产生强学习器三、sklearn使用3.1 Bagging meta-e

一、决策树决策树由结点和有向边组成，结点又分为内部结点和叶结点。从本质上来看，决策树的学习过程包括特征选择，决策树生成和决策树剪枝3个部分。1.1决策树特征选择所谓决策树特征选择即选择合适的特征作为结点对训练样本进行划分，通常使用信息增益或者信息增益比作为特征选择的标准。信息增益 g(D,A)=H(D)−H(D|A)=−∑k=1K|Ck||D|log2|Ck||D|+∑i=1n|Di||D|H(

安装git，下载链接git for windows安装mingw64，下载链接mingw64 直接在计算机中配置环境变量，添加名为PATH的环境变量，值为mingw64文件地址\bin\打开git bash，输入以下命令git clone --recursive https://github.com/dmlc/xgboostcd xgboostgit submodule initgit

1.scikit-learn安装pip install -U scikit-learn或conda install scikit-learn2.通用线性模型LinearRegression通过最小化数据值得最小残差和拟合出系数w=(w1,…,wp)，并通过这个模型进行预测。 示例1： sklearn.linear_model.LinearRegression(fit_intercept=

1.Multi-layer Perceptron 多层感知机MLP是一个监督学习算法，图1是带一个隐藏层的MLP模型 左边层是输入层，由神经元集合{xi|x1,x2,…,xm},代表输入特征，隐藏层的每个神经元将前一层的的值通过线性加权求和的方式表示，即w1x1+w2x2+…+wmxm,其次是一个非线性激活函数g（.):R->R,比如双曲函数，输出层接受从最后一个隐藏层输出的值并将