liyang3462-优快云博客

原创 python 读写数据框到mysql（执行含有变量的动态mysql）

我们用python读写sql时，通常需要参数变量，也就是执行动态sql，sql语句中的插入变量可以用format函数来实现转化，例如给一个含有时间序列的数据集，给定三个参数，数据集名称tablename，开始时间startDate，结束时间endDate，删除某数据集起始时间的数据，核心代码如下tablename='user_train01_copy'startdate='2018-07-...

2019-07-29 15:30:06 659

原创 python 实现数据集随机空值

任务描述：有一个完整的数据集，大概30000行，45列，里面有若干空值，现在要去掉有空值的所有行，筛选非空值行，并随机将某些值赋值为空。import numpy as npimport pandas as pddata = pd.read_csv('user.csv',encoding='GBK')#读取含有空值的CSV文件col=data.columns.values.tolist(...

2019-07-08 17:11:00 1531 1

原创 ubuntu 16.04 安装 Teamviewer方法步骤

Teamviewer是一款很优秀的远程工具，有时我们需要在windows系统下远程ubuntu服务器，那么就需要在两个电脑分别装上Teamviewer，ubuntu如何安装流程如下：Step1:打开网址 https://www.teamviewer.com/en/download/linux/ 选择ubuntu版本的TeamviewerStep2:下载.deb文件后，在该文件目录下打开终...

2018-10-25 11:48:59 1701 1

原创优快云我的收藏路径（查看收藏的文章）

当然首先要登录优快云账号了，但在界面上很难找到自己之前收藏的文章（我是没找到），百度得来查看个人收藏路径，如下：my.youkuaiyun.com/my/favoritehttp://my.youkuaiyun.com/my/follow...

2018-10-18 10:28:09 955

我们在用统计软件工具，比如SPSS、R、python在做多元线性回归时，通常会看其系数的P值，但你真的理解这个P值吗？关于这个问题，我们首先需要了解什么是假设检验、假设检验的两类错误以及P值的含义。假设性检验的定义：提出检验假设又称无效假设，也称为原假设，符号是H0；备择假设的符号是H1。H0：样本与总体或样本与样本间的差异是由抽样误差引起的；H1：样本与总体或样本与样本间存在本质差异；预先设...

2018-10-16 10:33:44 56709 4

原创将python训练好的模型保存为pmml文件供java调用

1、PMLL概述用python训练好的机器学习模型如果上线部署，被java调用，可以将模型保存为pmml文件，那么什么是pmml呢？PMML是数据挖掘的一种通用的规范，它用统一的XML格式来描述我们生成的机器学习模型。这样无论你的模型是sklearn,R还是Spark MLlib生成的，都可以将其转化为标准的XML格式来存储。当我们需要将这个PMML的模型用于部署的时候，可以使用目标...

2018-10-10 15:45:20 9314 3

原创 python 将数据框写到MySQL数据库中

将python处理后的数据写回到mysql数据库一般有两种，一种是按照记录（行数）一条一条的写入数据库中；另一种是将数据框全部写回数据库中。两种方法处理逻辑不一样，前面一种需要先建数据库表，然后采取insert 方式循环写入；后一种库里不需要建表，如果没表就先建表stock，有就追加写进去，两种方法代码如下：import pymysqlimport pandas as pdfrom s...

2018-08-30 17:18:01 2353

原创将CSV文件数据导入Oracle数据库

当CSV文件数据很多时，可以使用cmd命令方法导入，此方法速度十分快，具体方法如下：材料工具：PLSQL Developer Oracle Win7Step1:建立一个文件夹，此处叫JDATA用户购买时间预测_A榜，将所要导入的所有CSV文件放入该文件夹Step2:在所要导进的数据库建立table,此处我们建立表名为JDATA_SKU_BASIC_INFO的空表，字段要和CSV文件对应step...

2018-04-27 10:50:43 30919 7

转载 Oracle实现一张表根据另一张表更新（有则更新无则插入）

如果在Oracle 有表value_dazong_index_mom_day（在table里存起来了），它所有字段值的更新依据表DZWWW_MOM（根据原始数据建立起的视图），这里假设这两张表的结构完全一样（事实上可以不一样，只需第一个表要更新的字段能匹配第二个表的字段，且两张表唯一索引对应即可，例如根据唯一id,对两张表其他字段进行匹配更新），其结构如下：其中表DZWWW_MOM视图是依据原始数...

2018-03-27 14:22:47 1347

原创将标签进行One-hot编码

在利用机器学习或者深度学习解决分类问题时，我们需要将标签进行编码，有时也需要将离散的自变量进行分类编码，特别是做神经网络或回归预测时，对离散的自变量也进行One-hot编码扩维是一种很好办法，例如我们预测租房市场单个房源的价钱时，假设装修程度是影响其价格的因素，有豪装、精装、中装、简装四种，如果我们将其视为一个变量X1不同的值，即分别编码维1,2,3,4,那么做神经网络预测时给予这一个变量权重，就...

2018-03-23 17:55:01 8113

liyang3462的博客