Simone_future-优快云博客

原创 Datawhale CV--Task5 模型集成

模型集成集成学习方法、深度学习中的集成学习和结果后处理思路。集成学习方法在机器学习中的集成学习可以在一定程度上提高预测精度，常见的集成学习方法有Stacking、Bagging和Boosting，同时这些集成学习方法与具体验证集划分联系紧密。由于深度学习模型一般需要较长的训练周期，如果硬件设备不允许建议选取留出法，如果需要追求精度可以使用交叉验证的方法。下面假设构建了10折交叉验证，训练得到10个CNN模型。那么在10个CNN模型可以使用如下方式进行集成：对预测的结果的概率值进行平均，然后解码

2020-06-02 23:53:29 315

原创 Datawhale CV--Task4 模型训练与验证

学习来源：https://github.com/datawhalechina/team-learning/blob/master/03%20计算机视觉/计算机视觉实践%EF%BC%88街景字符编码识别%EF%BC%89/Datawhale%20零基础入门CV%20-%20Task%2004%20模型训练与验证%20.md 一个成熟合格的深度学习训练流程至少具备以下功能：在训练集上进行训练，并在验证集上进行验证；模型可以保存最优的权重，并读取权重；记录下训练集和验证集的精度，便于调参。模型训练与验

2020-05-30 22:23:43 418

原创 Datawhale CV--Task3 字符识别模型

主要利用卷积神经网络（Convolutional Neural Network, CNN），搭建一个字符识别模型。学习来源：https://github.com/datawhalechina/team-learning/blob/master/03%20计算机视觉/计算机视觉实践%EF%BC%88街景字符编码识别%EF%BC%89/Datawhale%20零基础入门CV%20-%20Task%2003%20字符识别模型.md CNN介绍卷积神经网络（简称CNN）是一类特殊的人工神经网络，是深度学习中重要

2020-05-26 23:05:58 355

原创 Datawhale CV--Task2 数据读取与扩增

接上次import pytorch 失败使用命令： conda install torchvision=0.2.1 就成功啦数据读取与数据扩增 1 数据扩增介绍在深度学习中数据扩增方法非常重要，数据扩增可以增加训练集的样本，同时也可以有效缓解模型过拟合的情况，也可以给模型带来的更强的泛化能力。数据扩增为什么有用？在深度学习模型的训练过程中，数据扩增是必不可少的环节。现有深度学习的参数非常多，一般的模型可训练的参数量基本上都是万到百万级别，而训练集样本的数量很难有这么多。其次数据扩增可以扩展样本空

2020-05-23 22:44:44 273

原创 Datawhale CV--Task1 赛题理解

网页地址：https://github.com/datawhalechina/team-learning/blob/master/03%20%E8%AE%A1%E7%AE%97%E6%9C%BA%E8%A7%86%E8%A7%89/%E8%AE%A1%E7%AE%97%E6%9C%BA%E8%A7%86%E8%A7%89%E5%AE%9E%E8%B7%B5%EF%BC%88%E8%A1%97%E6%99%AF%E5%AD%97%E7%AC%A6%E7%BC%96%E7%A0%81%E8%AF%86%E5%8

2020-05-20 23:27:19 332

原创 Joyful Pandas--综合练习

习题答案参考来源：https://blog.youkuaiyun.com/qq_43654994/article/details/105882917 https://blog.youkuaiyun.com/KF_Guan/article/details/105879341 部分代码： import numpy as np import pandas as pd 一、2002 年-2018 年上海机动车拍照拍卖 df = ...

2020-05-01 23:14:25 591

原创机器学习算法基础--Task5 SVM

学习来源：https://github.com/datawhalechina/team-learning/blob/master/机器学习算法基础/Task5%20svm.md 学习内容： SVM 硬间隔原理 SVM 软间隔 SMO 求解SVM 代码设计使用SVM对鸢尾花数据集进行分类 from sklearn import svm from sklearn.svm import SVC fro...

2020-05-01 21:36:19 271

原创 Joyful pandas——Task05合并

学习来源：https://nbviewer.jupyter.org/github/GYHHAHA/Joyful-Pandas/blob/master/第5章%20合并.ipynb 一、append与assign append方法（a）利用序列添加行（必须指定name） df_append = df.loc[:3,['Gender','Height']].copy() df_append s ...

2020-04-30 21:51:04 301

原创 Joyful pandas--Task04 变形

学习来源：https://nbviewer.jupyter.org/github/GYHHAHA/Joyful-Pandas/blob/master/第4章%20变形.ipynb 一、透视表 1. pivot 一般状态下，数据在DataFrame会以压缩（stacked）状态存放，例如上面的Gender，两个类别被叠在一列中，pivot函数可将某一列作为新的cols： df.pivot(index...

2020-04-28 22:59:59 317 1

原创机器学习基础——Task4 条件随机场

学习来源：https://nbviewer.jupyter.org/github/datawhalechina/team-learning/blob/master/机器学习算法基础/Task4%20条件随机场.ipynb 参考资料：https://blog.youkuaiyun.com/dcx_abc/article/details/78319246 条件随机场马尔可夫过程定义隐马尔科夫算法定义条件...

2020-04-27 22:47:21 288

原创 Joyful Pandas--Task03分组

学习来源：https://nbviewer.jupyter.org/github/GYHHAHA/Joyful-Pandas/blob/master/第3章%20分组.ipynb 一、SAC过程内涵 SAC指的是分组操作中的split-apply-combine过程其中split指基于某一些规则，将数据拆成若干组，apply是指对每一组独立地使用函数，combine指将每一组的结果组合成某一...

2020-04-27 11:30:58 319

原创机器学习基础-Task3 EM算法

EM算法是机器学习十大算法之一，它很简单，但是也同样很有深度，简单是因为它就分两步求解问题： E步：求期望（expectation） M步：求极大（maximization) 深度在于它的数学推理涉及到比较繁杂的概率公式等。 EM算法引入概率模型有时候既含有观测变量，又含有隐变量或潜在变量，如果概率模型的变量都是观测变量，那么给定数据，可以直接用极大似然估计法，或贝叶斯估计方法估计模型参数，但是...

2020-04-25 22:29:54 330

原创 Joyful pandas--Task02 索引

这章内容太多了（哭唧唧），先这样，往后来补充吧。。理论部分熟练掌握多种单层索引方式及其异同掌握和理解多级索引操作熟悉常用索引设定方法及其区别掌握索引函数、去重函数和抽样函数练习部分 UFO数据集分析口袋妖怪数据集分析一、单级索引 loc方法、iloc方法、[]操作符最常用的索引方法可能就是这三类，其中iloc表示位置索引，loc表示标签索引，[]也具有很大的便利性，各有特点...

2020-04-23 22:30:58 276

原创机器学习基础-Task2 Bayes_plus

学习来源：https://github.com/datawhalechina/team-learning/blob/master/机器学习算法基础/Task2%20bayes_plus.ipynb 知识点梳理： 1.相关概念（生成模型、判别模型) 2.先验概率、条件概率 3.贝叶斯决策理论 4.贝叶斯定理公式 5.极值问题情况下的每个类的分类概率 6.下溢问题如何解决 7.零概率问题如何解决？ 8...

2020-04-23 16:51:35 264

原创机器学习算法基础-Task1 Linear Regression

学习来源：https://github.com/datawhalechina/team-learning/tree/master/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%AE%97%E6%B3%95%E5%9F%BA%E7%A1%80 https://github.com/datawhalechina/team-learning/blob/master/机器...

2020-04-21 11:32:55 340

原创 Task01：Pandas基础

理论部分：常见文件格式的读写操作理解并熟悉 Series 和 DataFrame 的重要属性和重要方法掌握各类排序（索引排序和值排序、单级排序和多级排序练习部分： 4. 《权利的游戏》剧本数据集分析 5. 科比投篮数据集分析拿到数据必然先要读取它，分析完了数据必然是要保存它，读取了数据之后，我们面对了怎样的对象（Series? or Dataframe?）是第一重要的课题，因此了解序...

2020-04-20 22:24:18 246

原创二手车交易价格预测：模型融合

模型融合听起来高大上，感觉其实是三个臭皮匠顶个诸葛亮的意思（弱弱弱弱地说）之前用过加权平均法，但是没有完整地学习模型融合方法，由此结合赛题整理一些资料打卡如下：资料来源：https://tianchi.aliyun.com/notebook-ai/detail?spm=5176.12586969.1002.15.1cd8593aDCDfxr&postId=95535 学习内容模型融合...

2020-04-04 21:45:05 704

原创二手车交易价格预测：建模调参

学习内容 1.线性回归模型：线性回归对于特征的要求；处理长尾分布；理解线性回归模型； 2.模型性能验证：评价函数与目标函数；交叉验证方法；留一验证方法；针对时间序列问题的验证；绘制学习率曲线；绘制验证曲线； 3.嵌入式特征选择： Lasso回归； Ridge回归；决策树； 4.模型对比：常用线性模型；常用非线性模型； 5.模型调参：贪心调参方法；网格调参方法；贝叶斯调...

2020-04-01 21:50:13 485

原创二手车交易价格预测：特征工程

首先解决下第一篇博客中遗留的小问题： “打印结果时，由于行数太多，中间省略号的数据如何让查看？” pandas.set_option() 可以设置pandas相关的参数，从而改变默认参数。打印pandas数据时，默认是输出100行，多的话会输出…省略号。可加入下面的代码解决 #显示所有列 pd.set_option('display.max_columns', None) #显示所有行 pd....

2020-03-28 21:34:18 379

原创二手车交易价格预测：EDA-数据探索性分析

昨日学习了： pandas读取csv的数据 head()–用于简单浏览数据形式，前五行 info()–可以看到每列名称，查询数据大小，类型及是否含有缺失值 describe()–数据的统计信息，包括mean,min,max,25%,50%,75%，及std 今日用法学习：通过’.columns’ ,得到各列名称通过‘.shape’得到矩阵大小 fillna（-1）将缺省值用-1代替定义了一个统...

2020-03-24 20:52:12 340

原创二手车交易价格赛题及数据初步分析

二手车交易价格预测数据初步分析赛题分析数据分析赛题分析训练集共有15万条数据，测试集A有5万条。包含31个变量，Index([‘SaleID’, ‘name’, ‘regDate’, ‘model’, ‘brand’, ‘bodyType’, ‘fuelType’,‘gearbox’, ‘power’, ‘kilometer’, ‘regionCode’, ‘seller’, ‘offerTy...

2020-03-21 17:34:06 476

Simone_future的博客