负负得正的博客

Titanic Data Science Solutions来自 MANAV SEHGAL 的 Titanic Data Science Solutions本笔记本的目标是遵循循序渐进的工作流程，解释我们在解决方案开发过程中做出的每一个决定的每一步和基本原理。工作流程阶段这个竞赛解决方案工作流程经历了 Data Science Solutions 中描述的七个阶段：问题的定义获取训练数据和测试数据整理、准备、清理数据分析、识别模式并探索数据。建模、预测和解决问题可视化、报告和呈现问

import numpy as np# 感知机对偶形式class Perceptron: E: float # 学习率 A: np.array([]) # alpha, A = n * E W: np.array([]) # weight, W = sum(Ai* yi * xi) B: float # b = sum(Ai * yi) Gram: np.array([]) # Gram 矩阵为 [xi · xj] n*n # 初始化

72 优化算法王木头学科学简单认识Adam优化器需要计算训练集全部 nnn 个样本的损失 L=1n∑i=1nloss(yi,y^i)L=\frac{1}{n}\sum_{i=1}^nloss(y_i, \hat{y}_i)L=n1​∑i=1n​loss(yi​,y^​i​)，进行梯度下降法优化。W→W−η∇L(W)W \to W-\eta \nabla L(W)W→W−η∇L(W)η\etaη 为学习率。由于梯度下降法每次把训练集全部样本计算损失，计算量太大，随机梯度下降法就是每次随机取一个数据

核函数1. 内容回顾上一节讲到引入了低维向高维映射 φ(x)\varphi(x)φ(x) 后的优化问题最小化：12∣∣ω∣∣2+C∑i=1nδi或12∣∣ω∣∣2+C∑i=1nδi2\begin{aligned}& \frac{1}{2}||\omega||^2+C\sum^{n}_{i=1}\delta_i \\或\\& \frac{1}{2}||\omega||^2+C\sum^{n}_{i=1}\delta_i^2\end{aligned}或​21​∣∣ω∣∣2+Ci=

SVM 线性不可分情况1. 线性不可分找不到一条直线可以将 O 和 X 分开找不到一个平面可以将 O 和 X 分开2. 解决问题2.1 放松限制条件对于线性不可分问题，在线性可分基础上需要适当放松限制条件，对每个训练样本以及标签 (xi,yi)(x_i,y_i)(xi​,yi​) 设置一个松弛变量 δi\delta_iδi​。限制条件改写：yi(ωTxi+b)≥1−δiy_i(\omega^Tx_i+b)\ge1-\delta_iyi​(ωTxi​+b)≥1−δi​只要松弛变量足够大，

SVM线性可分情况1. 线性可分存在一条直线可以将 O 和 X 分开存在一个平面可以将 O 和 X 分开如果一个数据集是线性可分的，那么存在无穷多个超平面将各个类别分开。（有个证明，我不会）2. 解决线性可分问题问：哪一条最好？答：大部分人都会认为是 2 号线比较好。其实是在假设的基础上，就是假设训练样本的位置在特征空间上有测量误差。2 号线更能抵抗训练样本位置的误差。问：2 号线怎么画？答：Vapnik 给出了一个基于最优化理论的答案。假设对于任意一条分开两类的直线，将该直线朝一

1. ML导学1.1 ML定义Arthur Samuel 1959 年对机器学习的定义：机器学习是这样的领域，它赋予计算机学习的能力，（这种学习能力）不是通过显著式编程获得的。显著式编程：告诉计算机菊花是黄色，玫瑰花是红色，计算机按照人为设定的条件去分类，这就是显著式编程。非显著式编程：只给计算机很多菊花的图片和玫瑰的图片，编写程序让计算机自己去总结菊花和玫瑰花的区别，计算机可能通过大量的图片也能总结出菊花是黄色的，玫瑰是红色的这一规律，也有可能总结出菊花花瓣长，而玫瑰花的花瓣圆等其他规律（也就

一. 汇丰学弟分享非计算机科班出身入门机器学习的经历引用 https://www.bilibili.com/video/BV1eK411n7B61. 机器学习（深度学习）的基本概念，核心1.1 概念人工智能：理想机器学习（ML）：理想实现的一种方式深度学习（DL）：机器学习的一种方式1.2 机器学习和经典程序设计的区别1.2.1 经典程序设计[Input]：规则，数据[Output]：答案1.2.2 机器学习[Input]：数据，答案[Output]：规则1.3 深度学习的出

多元线性回归使用多个特征值实现对目标的预测。多个特征值/变量Notion：nnn：特征数量x(i)x^{(i)}x(i)：第 iii 个训练样本的输入特征值xj(i)x^{(i)}_jxj(i)​：第 iii 个训练样本的第 jjj 个特征值example：房子特征与房价x(2)=[14163240]x^{(2)}= \left[ \begin{matrix} 1416 \\ 3 \\ 2 \\ 40 \end{matrix} \right]x(2)=⎣⎢⎢⎡​14163240​

机器学习定义计算机程序从经验(experience) E 中学习解决某一任务(task) T 进行某一性能度量(performance) P，通过P测定在T上的表现因经验E而提高。机器学习分类监督学习(Supervised learning)无监督学习(Unsupervised learning)其他：加强学习(reinforcement)推荐系统(recommender systems)监督学习无监督学习补充内容没有午餐定理(No Free Lunch Theorem)如果我们