weixin_43559291的博客

原创 第九章

原创 第七章

原创 第六章读取数据

各个CSV语支的参数以关键字的形式提供给csv.reader，而无需定义子类

原创 pandas

原创 numpy包各种函数和统计方法

原创 数据竞赛（五）-模型融合

sklearn 交叉验证K折交叉验证：sklearn.model_selection.KFold(n_splits=3, shuffle=False, random_state=None)思路：将训练/测试数据集划分n_splits个互斥子集，每次用其中一个子集当作验证集，剩下的n_splits-1个作为训练集，进行n_splits次训练和测试，得到n_splits个结果注意点：对于不能均...

原创 数据竞赛（四）-模型选择

使用lightGBM为例，相对于XGBoost算法，降低了运行速度。Lightgbm基本原理介绍具体代码展示：from __future__ import print_functionimport lightgbm as lgbimport sklearnimport numpyimport hyperoptfrom hyperopt import hp, fmin, tpe, S...

原创 数据竞赛（三）-- 特征工程

特征工程的构建参考资料：竞赛专题（四）特征工程-竞赛中的必杀技特征合并：希望能够用少的特征能表现出正确的事物类型。主要根据现实经验来进行处理。对不同的问题有不同的处理方法。下面为详细代码：def newfeature(data): # 将houseType转为'Room'，'Hall'，'Bath' def Room(x): Room = int(x....

原创 数据竞赛（二）-数据清洗

缺失值分析及处理缺失值出现的原因分析采取合适的方式对缺失值进行填充异常值分析及处理根据测试集数据的分布处理训练集的数据分布使用合适的方法找出异常值对异常值进行处理深度清洗分析每一个communityName、city、region、plate的数据分布并对其进行数据清洗参考资料：一文带你探索性数据分析(EDA)分割线正文主要思路分析虽然这步骤是缺失值处理，但...

原创 2019未来杯高校AI挑战赛 > 城市-房产租金预测（第一部分赛题分析和对数据做EDA）

赛题说明认识数据(赛题说明)了解比赛的背景（比赛要求选手根据给定数据集，建立模型，预测房屋租金）分类问题还是回归问题（租金是个连续值，所以是回归问题）熟悉比赛的评分函数：对比赛数据做EDA数据分析缺失值分析（有缺失值的话要进行补充，比如用中位数、众数）特征值分析（看看有没有异常值等等）是否有单调特征列(单调的特征列很大可能是时间)特征nunique分布出现在测试集中...

原创 用python生成矩阵并运算的提示

我们用python生成2*3的矩阵martix = [[0]*3]*2martixOut[40]: [[0, 0, 0], [0, 0, 0]]以这种方式生成的矩阵在我们进行运算或赋值的时候会发生直接进行一列的赋值martix[0][1] = 1martixOut[42]: [[0, 1, 0], [0, 1, 0]]但是我们使用另一种生成方式martix = [[0]*...

原创 机器学习中特征空间、欧式空间、希尔伯特空间以及特征空间

首先有一个博主已经写的通俗易懂的空间定义：一片文章带你理解再生核希尔伯特空间（RKHS）以及各种空间再补充一个特征空间：特征顾名思义就是机器学习中描述事物的属性，如 学生（学号、姓名、性别、年龄）这就是学生特征，特征空间就是以这些特征为集合的空间。...

原创 pandas 入门 5.1 章

pandas 经常是和其他数值计算工具一起使用，比如 Numpy 和 SciPy 以及数据可视化工具比如 matplotlib。pandas 数据结构介绍两个常用的工具数据结构：Series 和 DataFrameSeriesSeries 是一种一维的数组型对象，它包含了一个值序列，并且包含了数据标签。In [1]: import pandas as pdIn [2]: obj = ...

原创 梦芸

梦芸，近况如何，算来已有十月未见你，甚是思念，此刻我能闻见漫天火药味道，我随军藏身长江边一暗无天日的地窖底，埋首台灯下写这些字却不知把心绪给寄向何地，我爱你，如磐石般坚毅，我问营长我们何时上何班飞机，他总在逃避我的话语，可曾记得你我初次相遇？你是第一批留洋教师到海宁，我大概知晓西方人所说的天使射中了凡人之心，若没有你我的人生必将难觅知音，你说分离是神的考验我誓必铭记于心，可苍白的文字如何穿透江水踏...