<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[L1315382539的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/L1315382539</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; L1315382539]]></copyright><item><title><![CDATA[西瓜书与南瓜书chapter01-02]]></title><link>https://blog.youkuaiyun.com/L1315382539/article/details/120729341</link><guid>https://blog.youkuaiyun.com/L1315382539/article/details/120729341</guid><author>L1315382539</author><pubDate>Tue, 12 Oct 2021 20:21:22 +0800</pubDate><description><![CDATA[西瓜书与南瓜书CHAPTER01-02前两章内容总结第一章第二章
前两章内容总结
第一章的内容主要是对于机器学习中常见的基本概念比如说“模型”、“数据”、“假设空间”等进行了介绍，而第二章则是从模型评估与选择的层面进行了讲解。
第一章
涉及到的基础概念：

数据集：记录的集合
样本：对一个事件或者对象的描述
属性：反映事件或者对象在某方面的表现或者性质
属性空间：属性形成的空间
特征向量：属性空间中每个点对应的坐标向量
分类问题：预测的是离散值
回归问题：预测的是连续值
学习任务：监督学习+无监督学习
泛化]]></description><category></category></item><item><title><![CDATA[【集成学习-组队学习】4.对模型超参数进行调优(调参)]]></title><link>https://blog.youkuaiyun.com/L1315382539/article/details/115185342</link><guid>https://blog.youkuaiyun.com/L1315382539/article/details/115185342</guid><author>L1315382539</author><pubDate>Wed, 24 Mar 2021 20:23:41 +0800</pubDate><description><![CDATA[对模型超参数进行调优(调参)：
之前的讨论中，对模型的优化都是对模型算法本身的改进，比如：岭回归对线性回归的优化在于在线性回归的损失函数中加入L2正则化项从而牺牲无偏性降低方差。但是对于这其中参数的选取并没有给出很好的解决方法，那么能不能找到一种方法找到最优的参数λ\lambdaλ？这实际上涉及到最优化内容。
首先要区分参数与超参数，如果要用一句话概括：

模型参数是模型内部的配置变量，可以用数据估计模型参数的值；
模型超参数是模型外部的配置，必须手动设置参数的值。

以我接触过的高斯分布混合模型（GMM）]]></description><category></category></item><item><title><![CDATA[【集成学习-组队学习】3.优化基础模型]]></title><link>https://blog.youkuaiyun.com/L1315382539/article/details/115101764</link><guid>https://blog.youkuaiyun.com/L1315382539/article/details/115101764</guid><author>L1315382539</author><pubDate>Mon, 22 Mar 2021 22:15:20 +0800</pubDate><description><![CDATA[优化基础模型
在回归问题的基本算法中，我们使用数据集去估计模型的参数，如线性回归模型中的参数w，那么这个数据集我们称为训练数据集，简称训练集。我们在回归问题中使用训练集估计模型的参数的原则一般都是使得我们的损失函数在训练集达到最小值，其实在实际问题中我们是可以让损失函数在训练集最小化为0，如：
在线性回归中，我加入非常多的高次项，使得我们模型在训练集的每一个数据点都恰好位于曲线上，那这时候模型在训练集的损失值也就是误差为0。

那么这样我们的模型是否就可以预测任意情况呢？答案是显然否定的。
我们建立机器学习]]></description><category></category></item><item><title><![CDATA[【集成学习-组队学习】2.使用sklearn构建完整的机器学习项目流程]]></title><link>https://blog.youkuaiyun.com/L1315382539/article/details/114992468</link><guid>https://blog.youkuaiyun.com/L1315382539/article/details/114992468</guid><author>L1315382539</author><pubDate>Thu, 18 Mar 2021 22:27:27 +0800</pubDate><description><![CDATA[使用sklearn构建完整的机器学习项目流程
一般来说，一个完整的机器学习项目分为以下步骤：

1.明确项目任务：回归 / 分类
2.收集数据集并选择合适的特征。
3.选择度量模型性能的指标。
4.选择具体的模型并进行训练以优化模型。
5.评估模型的性能并调参。

下面我们以一个例子来进行上述步骤的实践：
1.明确项目任务：回归 / 分类
本次实践我们进行回归分析
2.收集数据集并选择合适的特征：
在数据集上使用导论中提到的Boston房价数据集，因为简单容易操作。
如下导入数据：
from sklearn]]></description><category></category></item><item><title><![CDATA[【集成学习-组队学习】导论]]></title><link>https://blog.youkuaiyun.com/L1315382539/article/details/114846393</link><guid>https://blog.youkuaiyun.com/L1315382539/article/details/114846393</guid><author>L1315382539</author><pubDate>Tue, 16 Mar 2021 00:47:53 +0800</pubDate><description><![CDATA[从机器学习算法本身来看，可分为监督学习、非监督学习、半监督学习、增强学习。
针对于本次自学的内容，主要以回归、分类的集成学习问题为主，因此主要学习监督学习：
监督学习：给机器的训练数据拥有标记或标签的学习方式是监督学习。监督学习主要处理分类、回归问题，最常见的监督学习算法主要有以下几种：

1. 朴素贝叶斯(Naive Bayes Classifier)
朴素贝叶斯算法(NBC) 是应用最为广泛的分类算法之一。NBC假设了数据集属性之间是相互独立的，常用于文本分类。
2. 决策树(Decision Tree]]></description><category></category></item><item><title><![CDATA[异常检测——TASK 05 高维数据的异常检测]]></title><link>https://blog.youkuaiyun.com/L1315382539/article/details/113097033</link><guid>https://blog.youkuaiyun.com/L1315382539/article/details/113097033</guid><author>L1315382539</author><pubDate>Sun, 24 Jan 2021 23:37:38 +0800</pubDate><description><![CDATA[1、引言
在实际场景中，很多数据集都是多维度的。随着维度的增加，数据空间的大小（体积）会以指数级别增长，使数据变得稀疏，这便是维度诅咒的难题。维度诅咒不止给异常检测带来了挑战，对距离的计算，聚类都带来了难题。
例如基于邻近度的方法是在所有维度使用距离函数来定义局部性，但是，在高维空间中，所有点对的距离几乎都是相等的（距离集中），这使得一些基于距离的方法失效。在高维场景下，一个常用的方法是子空间方法。

一个物体可能有几个被测量的量，这个物体的显著异常行为可能只反映在这些量的一小部分中。
也即，一小部分的测量]]></description><category></category></item><item><title><![CDATA[异常检测——TASK 04 基于相似度的方法]]></title><link>https://blog.youkuaiyun.com/L1315382539/article/details/112972630</link><guid>https://blog.youkuaiyun.com/L1315382539/article/details/112972630</guid><author>L1315382539</author><pubDate>Thu, 21 Jan 2021 23:05:07 +0800</pubDate><description><![CDATA[这里画图解释一下上面说的L1,L2邻居：

我们可以根据以上的一些人为定义，结合上面的图观察到以下三条性质：


单元格中两点之间的距离最多为D/2 。（如下图d=2时）



一个点与 L1邻接点之间的距离最大为 D。


一个点与它的 Lr 邻居(其中 r &gt;2)中的一个点之间的距离至少为 D。









下面是代码部分：



...]]></description><category></category></item><item><title><![CDATA[异常检测——TASK 03 线性模型]]></title><link>https://blog.youkuaiyun.com/L1315382539/article/details/112794499</link><guid>https://blog.youkuaiyun.com/L1315382539/article/details/112794499</guid><author>L1315382539</author><pubDate>Mon, 18 Jan 2021 21:38:14 +0800</pubDate><description><![CDATA[2.以breast-cancer-unsupervised-ad数据集为例做一些简单的数据可视化。
import warnings 
warnings.filterwarnings('ignore') 
import pandas as pd 
import numpy as np 
import matplotlib.pyplot as plt 
import seaborn as sns 
import missingno as msno

## 1) 载入训练集和测试集；
f=open('breas.]]></description><category></category></item><item><title><![CDATA[异常检测——TASK 02 基于统计学的方法]]></title><link>https://blog.youkuaiyun.com/L1315382539/article/details/112667241</link><guid>https://blog.youkuaiyun.com/L1315382539/article/details/112667241</guid><author>L1315382539</author><pubDate>Fri, 15 Jan 2021 17:28:35 +0800</pubDate><description><![CDATA[找了个图帮助理解https://blog.youkuaiyun.com/qq_40771567/article/details/108400598

下面是对应的一元异常点检测的编程实现：
（部分代码修改自上面链接中）
import numpy as np 
import seaborn as sns 
import matplotlib.pyplot as plt 
# 随机生成的数据
data = np.random.randn(50000)*50  + 20 
sns.boxplot(data=data)


.]]></description><category></category></item><item><title><![CDATA[异常检测——TASK 01异常检测概述]]></title><link>https://blog.youkuaiyun.com/L1315382539/article/details/112509306</link><guid>https://blog.youkuaiyun.com/L1315382539/article/details/112509306</guid><author>L1315382539</author><pubDate>Tue, 12 Jan 2021 11:36:59 +0800</pubDate><description><![CDATA[1、什么是异常检测
异常检测（Outlier Detection），顾名思义，是识别与正常数据不同的数据，与预期行为差异大的数据。识别如信用卡欺诈，工业生产异常，网络流里的异常（网络侵入）等问题，针对的是少数的事件。
1.1 异常的类别
点异常：指的是少数个体实例是异常的，大多数个体实例是正常的，例如正常人与病人的健康指标；
上下文异常：又称上下文异常，指的是在特定情境下个体实例是异常的，在其他情境下都是正常的，例如在特定时间下的温度突然上升或下降，在特定场景中的快速信用卡交易；
群体异常：指的是在群体集合]]></description><category></category></item><item><title><![CDATA[动手学数据分析第三章模型建立和评估---评价]]></title><link>https://blog.youkuaiyun.com/L1315382539/article/details/108243094</link><guid>https://blog.youkuaiyun.com/L1315382539/article/details/108243094</guid><author>L1315382539</author><pubDate>Wed, 26 Aug 2020 16:53:22 +0800</pubDate><description><![CDATA[第三章 模型搭建和评估-评估
加载下面的库
import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt
from IPython.display import Image
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier

%m]]></description><category></category></item><item><title><![CDATA[动手学数据分析第三章模型建立和评估--建模]]></title><link>https://blog.youkuaiyun.com/L1315382539/article/details/108242978</link><guid>https://blog.youkuaiyun.com/L1315382539/article/details/108242978</guid><author>L1315382539</author><pubDate>Wed, 26 Aug 2020 16:48:47 +0800</pubDate><description><![CDATA[第三章 模型搭建和评估–建模
经过前面的两章的知识点的学习，我可以对数数据的本身进行处理，比如数据本身的增删查补，还可以做必要的清洗工作。那么下面我们就要开始使用我们前面处理好的数据了。这一章我们要做的就是使用数据，我们做数据分析的目的也就是，运用我们的数据以及结合我的业务来得到某些我们需要知道的结果。那么分析的第一步就是建模，搭建一个预测模型或者其他模型；我们从这个模型的到结果之后，我们要分析我的模型是不是足够的可靠，那我就需要评估这个模型。今天我们学习建模，下一节我们学习评估。
我们拥有的泰坦尼克号的数]]></description><category></category></item><item><title><![CDATA[动手学数据处理第二章：第四节数据可视化]]></title><link>https://blog.youkuaiyun.com/L1315382539/article/details/108211747</link><guid>https://blog.youkuaiyun.com/L1315382539/article/details/108211747</guid><author>L1315382539</author><pubDate>Tue, 25 Aug 2020 00:17:52 +0800</pubDate><description><![CDATA[2 第二章：数据可视化
开始之前，导入numpy、pandas以及matplotlib包和数据
# 加载所需的库
# 如果出现 ModuleNotFoundError: No module named 'xxxx'
# 你只需要在终端/cmd下 pip install xxxx 即可
%matplotlib inline
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

%matplotlib具体作用是当你调用ma]]></description><category></category></item><item><title><![CDATA[动手学数据分析第二章：第三节数据重构2]]></title><link>https://blog.youkuaiyun.com/L1315382539/article/details/108190083</link><guid>https://blog.youkuaiyun.com/L1315382539/article/details/108190083</guid><author>L1315382539</author><pubDate>Sun, 23 Aug 2020 22:37:13 +0800</pubDate><description><![CDATA[开始之前，导入numpy、pandas包和数据
# 导入基本库
import numpy as np
import pandas as pd

# 载入上一个任务保存的文件:result.csv，并查看这个文件
text = pd.read_csv('result.csv')
text.head()




  
    
      
      Unnamed: 0
      PassengerId
      Survived
      Pclass
      Name
      Sex
  ]]></description><category></category></item><item><title><![CDATA[动手学数据分析第二章：第二节数据重构1]]></title><link>https://blog.youkuaiyun.com/L1315382539/article/details/108190063</link><guid>https://blog.youkuaiyun.com/L1315382539/article/details/108190063</guid><author>L1315382539</author><pubDate>Sun, 23 Aug 2020 22:35:55 +0800</pubDate><description><![CDATA[开始之前，导入numpy、pandas包和数据
# 导入基本库
import numpy as np
import pandas as pd

# 载入data文件中的:train-left-up.csv
text = pd.read_csv('data/train-left-up.csv')
text.head()




  
    
      
      PassengerId
      Survived
      Pclass
      Name
    
  
  
    
    ]]></description><category></category></item><item><title><![CDATA[动手学数据分析：第二章task1_数据清洗及特征处理-课程]]></title><link>https://blog.youkuaiyun.com/L1315382539/article/details/108152683</link><guid>https://blog.youkuaiyun.com/L1315382539/article/details/108152683</guid><author>L1315382539</author><pubDate>Fri, 21 Aug 2020 17:57:46 +0800</pubDate><description><![CDATA[开始之前，导入numpy、pandas包和数据
#加载所需的库
import numpy as np
import pandas as pd

#加载数据train.csv
train=pd.read_csv('train.csv')
train.head()




  
    
      
      PassengerId
      Survived
      Pclass
      Name
      Sex
      Age
      SibSp
      Parch
     ]]></description><category></category></item><item><title><![CDATA[数据分析第一章task1_探索性数据分析]]></title><link>https://blog.youkuaiyun.com/L1315382539/article/details/108111706</link><guid>https://blog.youkuaiyun.com/L1315382539/article/details/108111706</guid><author>L1315382539</author><pubDate>Wed, 19 Aug 2020 21:52:27 +0800</pubDate><description><![CDATA[1 第一章：探索性数据分析
开始之前，导入numpy、pandas包和数据
#加载所需的库
import numpy as np
import pandas as pd

#载入之前保存的train_chinese.csv数据，关于泰坦尼克号的任务，我们就使用这个数据
text = pd.read_csv('train_chinese.csv')
text.head()




  
    
      
      乘客ID
      是否幸存
      仓位等级
      姓名
      性别]]></description><category></category></item><item><title><![CDATA[数据分析第一章task1_pandas基础]]></title><link>https://blog.youkuaiyun.com/L1315382539/article/details/108111686</link><guid>https://blog.youkuaiyun.com/L1315382539/article/details/108111686</guid><author>L1315382539</author><pubDate>Wed, 19 Aug 2020 21:51:39 +0800</pubDate><description><![CDATA[1 第一章：数据载入及初步观察
1.4 知道你的数据叫什么
我们学习pandas的基础操作，那么上一节通过pandas加载之后的数据，其数据类型是什么呢？
开始前导入numpy和pandas
import numpy as np
import pandas as pd

1.4.1 任务一：pandas中有两个数据类型DateFrame和Series，通过查找简单了解他们。然后自己写一个关于这两个数据类型的小例子????[开放题]
#写入代码
data1={'tom':2500,'jack':4500,'m]]></description><category></category></item><item><title><![CDATA[数据分析task1数据载入及初步观察]]></title><link>https://blog.youkuaiyun.com/L1315382539/article/details/108111597</link><guid>https://blog.youkuaiyun.com/L1315382539/article/details/108111597</guid><author>L1315382539</author><pubDate>Wed, 19 Aug 2020 21:49:57 +0800</pubDate><description><![CDATA[在这里我直接导入的jupyter notebook文件
1 第一章：数据载入及初步观察
1.1 载入数据
数据集下载 https://www.kaggle.com/c/titanic/overview
1.1.1 任务一：导入numpy和pandas
#写入代码
import numpy as np
import pandas as pd

【提示】如果加载失败，学会如何在你的python环境下安装numpy和pandas这两个库
1.1.2 任务二：载入数据
(1) 使用相对路径载入数据
(2) 使用绝对]]></description><category></category></item><item><title><![CDATA[mysql报错记录]]></title><link>https://blog.youkuaiyun.com/L1315382539/article/details/107929334</link><guid>https://blog.youkuaiyun.com/L1315382539/article/details/107929334</guid><author>L1315382539</author><pubDate>Tue, 11 Aug 2020 10:19:41 +0800</pubDate><description><![CDATA[# 使用预处理语句创建表
sql= """CREATE TABLE JINGDONG(
         TITLE  VARCHAR(100),
         BRAND  CHAR(20),
         URL CHAR(50),  
         DETAIL longtext(500))
        """

报错：
ProgrammingError: (1064, “You have an error in your SQL syntax; check the manual th]]></description><category></category></item></channel></rss>