<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[T_RNA75的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/T_RNA75</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; T_RNA75]]></copyright><item><title><![CDATA[零基础入门数据挖掘之心电图分类 Task5 建模融合]]></title><link>https://blog.youkuaiyun.com/T_RNA75/article/details/115280366</link><guid>https://blog.youkuaiyun.com/T_RNA75/article/details/115280366</guid><author>T_RNA75</author><pubDate>Sun, 28 Mar 2021 15:03:11 +0800</pubDate><description><![CDATA[此次学习是整个学习的最后一节。收获颇丰！感谢datawhale提供的平台！
模型融合
在前面的特征工程中，特征融合也是一个重要的环节，而对于模型的融合也是一个相当重要的环节。俗话说：三个臭皮匠顶个诸葛亮
常见的模型融合有以下三大类型的方法

简单的加权融合：这部分比较好理解，光看名字就可以理解例如
回归（分类概率）：算术平均融合（Arithmetic mean），几何平均融合（Geometric mean）；
分类：投票（Voting)
综合：排序融合(Rank averaging)，log融合
stack]]></description><category></category></item><item><title><![CDATA[零基础入门数据挖掘 - 心电图分类预测 建模与调参]]></title><link>https://blog.youkuaiyun.com/T_RNA75/article/details/115218467</link><guid>https://blog.youkuaiyun.com/T_RNA75/article/details/115218467</guid><author>T_RNA75</author><pubDate>Thu, 25 Mar 2021 21:19:33 +0800</pubDate><description><![CDATA[目标
学习建模过程，并了解调参的过程。
总结
由于自身机器的原因无法对特征进行提取并做工程，以至于影响到了此次学习的代码实践。所以此次学习我主要是用自己的理解对这些建模过程和调参的流程进行重述和总结。
经过此次学习，我对模型的优化和调参有了更深刻的理解，明白了什么是调参侠。如何对模型逼近最优解，选择一个合适的模型也尤为关键。但似乎此次学习给的参数几乎是最优的了，无法对其进行更优的调参，等下次学习看是否可以提高模型效果
此次学习的文章链接
逻辑回归模型
参考链接
逻辑回归虽说是回归模型，但是做的较多的是分类任]]></description><category></category></item><item><title><![CDATA[2021-03-20]]></title><link>https://blog.youkuaiyun.com/T_RNA75/article/details/115023915</link><guid>https://blog.youkuaiyun.com/T_RNA75/article/details/115023915</guid><author>T_RNA75</author><pubDate>Sat, 20 Mar 2021 10:53:42 +0800</pubDate><description><![CDATA[目标
学习时间序列数据的特征预处理方法
学习时间序列特征处理工具 Tsfresh（TimeSeries Fresh）的使用
数据预处理
时间序列数据格式处理
加入时间步特征time
特征工程
时间序列特征构造
特征筛选
使用 tsfresh 进行时间序列特征处理
# 包导入
import pandas as pd
import numpy as np
import tsfresh as tsf
from tsfresh import extract_features, select_features
fro]]></description><category></category></item><item><title><![CDATA[datawhale——EDA]]></title><link>https://blog.youkuaiyun.com/T_RNA75/article/details/114950830</link><guid>https://blog.youkuaiyun.com/T_RNA75/article/details/114950830</guid><author>T_RNA75</author><pubDate>Wed, 17 Mar 2021 21:31:14 +0800</pubDate><description><![CDATA[EDA目标

EDA的价值主要在于熟悉数据集，了解数据集，对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。
当了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。
引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠。
完成对于数据的探索性分析，并对于数据进行一些图表或者文字总结并打卡。

这次学习的EDA




总结
由于数据比较干净，因此EDA需要的工作较少。可以进入特征工程这个步骤

...]]></description><category></category></item><item><title><![CDATA[零基础入门心电图心跳信号多分类预测挑战赛——赛题理解]]></title><link>https://blog.youkuaiyun.com/T_RNA75/article/details/114811000</link><guid>https://blog.youkuaiyun.com/T_RNA75/article/details/114811000</guid><author>T_RNA75</author><pubDate>Mon, 15 Mar 2021 19:05:38 +0800</pubDate><description><![CDATA[Task1 赛题理解
学习目标
理解赛题数据和目标，对评分体系进行理解
在阿里云完成报名，并下载好数据熟悉比赛过程（baseline）
1.1 赛题概况
比赛要求参赛选手根据给定的数据集，建立模型，预测不同的心跳信号。赛题以预测心电图心跳信号类别为任务，数据集报名后可见并可下载，该该数据来自某平台心电图数据记录，总数据量超过20万，主要为1列心跳信号序列数据，其中每个样本的信号序列采样频次一致，长度相等。为了保证比赛的公平性，将会从中抽取10万条作为训练集，2万条作为测试集A，2万条作为测试集B，同时会对心]]></description><category></category></item><item><title><![CDATA[异常检测——高维数据异常检测]]></title><link>https://blog.youkuaiyun.com/T_RNA75/article/details/113051993</link><guid>https://blog.youkuaiyun.com/T_RNA75/article/details/113051993</guid><author>T_RNA75</author><pubDate>Sat, 23 Jan 2021 15:48:24 +0800</pubDate><description><![CDATA[主要内容
Feature Bagging
孤立森林
引言
在实际场景中，很多数据集都是多维度的。随着维度的增加，数据空间的大小（体积）会以指数级别增长，使数据变得稀疏，这便是维度诅咒的难题。维度诅咒不止给异常检测带来了挑战，对距离的计算，聚类都带来了难题。例如基于邻近度的方法是在所有维度使用距离函数来定义局部性，但是，在高维空间中，所有点对的距离几乎都是相等的（距离集中），这使得一些基于距离的方法失效。在高维场景下，一个常用的方法是子空间方法。
集成是子空间思想中常用的方法之一，可以有效提高数据挖掘算法精度]]></description><category></category></item><item><title><![CDATA[异常检测——基于相似度的方法]]></title><link>https://blog.youkuaiyun.com/T_RNA75/article/details/112931018</link><guid>https://blog.youkuaiyun.com/T_RNA75/article/details/112931018</guid><author>T_RNA75</author><pubDate>Thu, 21 Jan 2021 14:26:02 +0800</pubDate><description><![CDATA[主要内容包括：
基于距离的度量
基于密度的度量
概述
“异常”通常是一个主观的判断，什么样的数据被认为是“异常”的，需要结合业务背景和环境来具体分析确定。实际上，数据通常嵌入在大量的噪声中，而我们所说的“异常值”通常指具有特定业务意义的那一类特殊的异常值。噪声可以视作特性较弱的异常值，没有被分析的价值。噪声和异常之间、正常数据和噪声之间的边界都是模糊的。异常值通常具有更高的离群程度分数值，同时也更具有可解释性。
  在普通的数据处理中，我们常常需要保留正常数据，而对噪声和异常值的特性则基本忽略。但在异常检测]]></description><category></category></item><item><title><![CDATA[异常检测_线性相关方法]]></title><link>https://blog.youkuaiyun.com/T_RNA75/article/details/112769507</link><guid>https://blog.youkuaiyun.com/T_RNA75/article/details/112769507</guid><author>T_RNA75</author><pubDate>Mon, 18 Jan 2021 13:40:54 +0800</pubDate><description><![CDATA[线性模型内容
引言
真实数据集中不同维度的数据通常具有高度的相关性，这是因为不同的属性往往是由相同的基础过程以密切相关的方式产生的。在古典统计学中，这被称为——回归建模，一种参数化的相关性分析。   一类相关性分析试图通过其他变量预测单独的属性值，另一类方法用一些潜在变量来代表整个数据。前者的代表是 线性回归，后者一个典型的例子是 主成分分析。本文将会用这两种典型的线性相关分析方法进行异常检测。
需要明确的是，这里有两个重要的假设：
假设一：近似线性相关假设。线性相关假设是使用两种模型进行异常检测的重要理论]]></description><category></category></item><item><title><![CDATA[异常检测——基于统计学的方法（学习blog））]]></title><link>https://blog.youkuaiyun.com/T_RNA75/article/details/112630219</link><guid>https://blog.youkuaiyun.com/T_RNA75/article/details/112630219</guid><author>T_RNA75</author><pubDate>Fri, 15 Jan 2021 13:47:25 +0800</pubDate><description><![CDATA[异常检测——基于统计学方法
概述
统计学方法对数据的正常性做出假定。**它们假定正常的数据对象由一个统计模型产生，而不遵守该模型的数据是异常点。**统计学方法的有效性高度依赖于对给定数据所做的统计模型假定是否成立。
异常检测的统计学方法的一般思想是：学习一个拟合给定数据集的生成模型，然后识别该模型低概率区域中的对象，把它们作为异常点。
即利用统计学方法建立一个模型，然后考虑对象有多大可能符合该模型。
根据如何指定和学习模型，异常检测的统计学方法可以划分为两个主要类型：参数方法和非参数方法。
参数方法假定正常]]></description><category></category></item><item><title><![CDATA[2021-01-12]]></title><link>https://blog.youkuaiyun.com/T_RNA75/article/details/112503654</link><guid>https://blog.youkuaiyun.com/T_RNA75/article/details/112503654</guid><author>T_RNA75</author><pubDate>Tue, 12 Jan 2021 01:09:21 +0800</pubDate><description><![CDATA[天池学习第一阶段–异常检测概述
异常检测（Outlier Detection），顾名思义，是识别与正常数据不同的数据，与预期行为差异大的数据。
识别如信用卡欺诈，工业生产异常，网络流里的异常（网络侵入）等问题，针对的是少数的事件。
异常的类别
点类别
指的是少数个体实例是异常的，大多数个体实例是正常的，例如正常人与病人的健康指标；
上下文异常
又称上下文异常，指的是在特定情境下个体实例是异常的，在其他情境下都是正常的，例如在特定时间下的温度突然上升或下降，在特定场景中的快速信用卡交易
群体异常
指的是在群体]]></description><category></category></item><item><title><![CDATA[2020-09-20]]></title><link>https://blog.youkuaiyun.com/T_RNA75/article/details/108699654</link><guid>https://blog.youkuaiyun.com/T_RNA75/article/details/108699654</guid><author>T_RNA75</author><pubDate>Sun, 20 Sep 2020 22:08:36 +0800</pubDate><description><![CDATA[python画图时需要对坐标用中文时 需加下面代码才能显示
注意坐标轴处的名称为英文状态，当修改为中文时，是无法显示的，那么在代码中加入两行代码plt.rcParams['font.sans-serif']=['SimHei'] plt.rcParams['axes.unicode_minus']=False如下所示：

...]]></description><category></category></item><item><title><![CDATA[第三章 模型搭建和评估--建模]]></title><link>https://blog.youkuaiyun.com/T_RNA75/article/details/108199106</link><guid>https://blog.youkuaiyun.com/T_RNA75/article/details/108199106</guid><author>T_RNA75</author><pubDate>Mon, 24 Aug 2020 15:13:38 +0800</pubDate><description><![CDATA[复习
经过前面的两章的知识点的学习，我可以对数数据的本身进行处理，比如数据本身的增删查补，还可以做必要的清洗工作。那么下面我们就要开始使用我们前面处理好的数据了。这一章我们要做的就是使用数据，我们做数据分析的目的也就是，运用我们的数据以及结合我的业务来得到某些我们需要知道的结果。那么分析的第一步就是建模，搭建一个预测模型或者其他模型；我们从这个模型的到结果之后，我们要分析我的模型是不是足够的可靠，那我就需要评估这个模型。今天我们学习建模，下一节我们学习评估。
内容
导入库和一些预先的准备
import pa]]></description><category></category></item><item><title><![CDATA[天池学习数据可视化]]></title><link>https://blog.youkuaiyun.com/T_RNA75/article/details/108197835</link><guid>https://blog.youkuaiyun.com/T_RNA75/article/details/108197835</guid><author>T_RNA75</author><pubDate>Mon, 24 Aug 2020 14:13:25 +0800</pubDate><description><![CDATA[以下代码都在jupyter notebook 运行过
复习
回顾学习完第一章，我们对泰坦尼克号数据有了基本的了解，也学到了一些基本的统计方法，第二章中我们学习了数据的清理和重构，使得数据更加的易于理解；今天我们要学习的是第二章第三节：数据可视化，主要给大家介绍一下Python数据可视化库Matplotlib，在本章学习中，你也许会觉得数据很有趣。在打比赛的过程中，数据可视化可以让我们更好的看到每一个关键步骤的结果如何，可以用来优化方案，是一个很有用的技巧。
数据可视化
导入文件
text = pd.read]]></description><category></category></item><item><title><![CDATA[数据重构]]></title><link>https://blog.youkuaiyun.com/T_RNA75/article/details/108190976</link><guid>https://blog.youkuaiyun.com/T_RNA75/article/details/108190976</guid><author>T_RNA75</author><pubDate>Sun, 23 Aug 2020 23:54:36 +0800</pubDate><description><![CDATA[数据重构
先将数据载入，利用head()方法查看数据的信息
利用concat方法：将数据train-left-up.csv和train-right-up.csv横向合并为一张表，并保存这张表为result_up
list_up = [text_left_up,text_right_up]
result_up = pd.concat(list_up,axis=1)
result_up.head()

使用concat方法：将train-left-down和train-right-down横向合并为一张表，并保]]></description><category></category></item><item><title><![CDATA[学习打卡]]></title><link>https://blog.youkuaiyun.com/T_RNA75/article/details/108145591</link><guid>https://blog.youkuaiyun.com/T_RNA75/article/details/108145591</guid><author>T_RNA75</author><pubDate>Fri, 21 Aug 2020 14:17:24 +0800</pubDate><description><![CDATA[学习目的：

内容
分析数据的周期性


方法一：
除以周均值，然后按列取中位数

方法二：
季节指数的计算方式，获得每日（工作日或周末）均值，再除以整体均值

预测
1.乘以base
2.去周期后再平均

预测下一个月每一天的情况
step1：
获得每日的均值
step2：
统计每日为周一周日的频次
step3：
基于星期周期因子获得的加权均值
step4：
根据因子和每日均值预测
由于是刚入门还看不懂代码只能课后自己继续研究

...]]></description><category></category></item><item><title><![CDATA[第二章：数据清洗及特征处理]]></title><link>https://blog.youkuaiyun.com/T_RNA75/article/details/108144445</link><guid>https://blog.youkuaiyun.com/T_RNA75/article/details/108144445</guid><author>T_RNA75</author><pubDate>Fri, 21 Aug 2020 13:24:43 +0800</pubDate><description><![CDATA[总结
1.对缺失值观察
有以下两种方法
df.info()  #可以直接看到不缺失的值的数量
df.isnull().sum() # 统计缺失值的数量

单独提取	Age	Cabin	Embarked这三个特征
df[['Age','Cabin','Embarked']].head(3)

2.对缺失值的处理
两种比较优劣
df[df['Age'] == np.nan] = 0
df[df['Age']==None]=0

数值列读取数据后，空缺值的数据类型为float64所以用None一般索引不到，比较的]]></description><category></category></item><item><title><![CDATA[数据探索性分析]]></title><link>https://blog.youkuaiyun.com/T_RNA75/article/details/108124432</link><guid>https://blog.youkuaiyun.com/T_RNA75/article/details/108124432</guid><author>T_RNA75</author><pubDate>Thu, 20 Aug 2020 15:47:40 +0800</pubDate><description><![CDATA[前言
本次学习以天池比赛为背景进行。赛题链接添加链接描述
开始先对赛题的数据进行分析和理解。
出现的问题和疑惑
由于对python 的库的知识掌握不是很充分所以对一些方法和属性的运用很不熟练也很吃力，连最基础的数据拼接等都有所困惑
所以得花更长的时间进行处理和学习。所以还看不出问题 希望可以考虑一下初学者的基础 嘻嘻

...]]></description><category></category></item><item><title><![CDATA[Task01：数据加载及探索性数据分析]]></title><link>https://blog.youkuaiyun.com/T_RNA75/article/details/108091577</link><guid>https://blog.youkuaiyun.com/T_RNA75/article/details/108091577</guid><author>T_RNA75</author><pubDate>Wed, 19 Aug 2020 02:56:58 +0800</pubDate><description><![CDATA[第一章
以下代码都运行过
1.1数据载入与观察
import numpy as np
import pandas as pd

先导入库
后利用库函数载入数据
分为用绝对路径载入和相对路径载入
df = pd.read_csv('train.csv')  # 相对
df = pd.read_csv('C:/Users/10464/Desktop/动手学数据分析-组队学习版/第一单元项目集合/train.csv')  #  绝对

知道数据加载的方法后，试试pd.read_csv()和pd.read_tabl]]></description><category></category></item><item><title><![CDATA[文件与文件系统]]></title><link>https://blog.youkuaiyun.com/T_RNA75/article/details/107819415</link><guid>https://blog.youkuaiyun.com/T_RNA75/article/details/107819415</guid><author>T_RNA75</author><pubDate>Wed, 05 Aug 2020 16:59:32 +0800</pubDate><description><![CDATA[#1. 文件与文件系统
open(file, mode=‘r’, buffering=None, encoding=None, errors=None, newline=None, closefd=True) Open file and return a stream. Raise OSError upon failure.
file: 必需，文件路径（相对或者绝对路径）。
mode: 可选，文件打开模式
buffering: 设置缓冲
encoding: 一般使用utf8
errors: 报错级别
new]]></description><category></category></item><item><title><![CDATA[模块和datetime]]></title><link>https://blog.youkuaiyun.com/T_RNA75/article/details/107817747</link><guid>https://blog.youkuaiyun.com/T_RNA75/article/details/107817747</guid><author>T_RNA75</author><pubDate>Wed, 05 Aug 2020 16:32:57 +0800</pubDate><description><![CDATA[模块
在前面我们脚本是用 Python 解释器来编程，如果你从 Python 解释器退出再进入，那么你定义的所有的方法和变量就都消失了。
为此 Python 提供了一个办法，把这些定义存放在文件中，为一些脚本或者交互式的解释器实例使用，这个文件被称为模块（Module）。
模块是一个包含所有你定义的函数和变量的文件，其后缀名是.py。模块可以被别的程序引入，以使用该模块中的函数等功能。这也是使用 Python 标准库的方法。
什么是模块
容器 -&gt; 数据的封装
函数 -&gt; 语句的封装
类 -&g]]></description><category></category></item></channel></rss>