彩虹柠檬水

最近有一个数据分析的需求，需要对两张表进行匹配分析，一张几十万条数据，另一张几百万条数据。 如果不加思考，直接开始写sql进行匹配，发现数据处理速度非常慢，一度以为mysql卡死了。尝试在匹配字段上建立索引后，某一条数据与百万级千万级数据匹配也是几秒内出结果。 mysql默认会对主键列建立索引，查看现有索引的方法： show index from tableName 在已有表上对某一列建立新的索...

大数据时代，不同机构、部门之间数据共享越来越频繁。常见的一种数据共享方式是推送明细数据的操作记录，即一条数据发生变化时就推送，比较适合增量数据的共享。这时，共享的数据流更像是一种操作记录，除业务字段外还有“操作”字段，标识这条数据是insert、update 或者delete。 对这种数据的清洗，更接近于一种还原，即还原成数据原本的样子。本文介绍一种清洗此类数据的思路和方法。 首先，为了便于记录，...

业务需求：有时我们希望所有字段A的值相同的数据行，字段B的值也相同。这里并不要求字段B的值是什么，只是要求保持统一即可。 示例数据表：testtable iid snum sname 1 10 A 2 12 A 3 18 A 4 20 B 5 25 ...

1.首先查看MySQL event事件是否开启 执行SQL语句如下： show variables like '%sche%'; 查看event_scheduler是否为ON，如果不是，执行如下SQL语句开启： set global event_scheduler = 1; 2.创建事件执行任务 执行SQL语句如下： DELIMITER | DROP event IF E...

操作系统：windows 7（64位版本） python环境：python 2.7（32位版本） 1.安装python-2.7.14.msi 2.安装VCForPython27.msi 3.安装python依赖包，将相应的包下载下来，然后使用pip命令安装： pip install six-1.9.0.tar.gz pip install bitarray-0.8.1.tar.gz pi...

操作系统：windows 7 或者 windows server 2012（这两个试过确实可行） 请按如下顺序安装软件，无论windows是32位还是64位的，下列软件都选择32位的安装。推荐使用附带的百度云链接下载，也可自行下载。 安装软件： python 2.7 VCForPython27.msi mysql-connector-c MySQL-python-1.2.5

1.打开navicat for mysql，打开某个数据库，点击工具栏“计划”——“新建批处理作业”。 2.对话框中的可用任务，一般是Backup+数据库的名字，双击该任务，并点击“保存”，输入名称。 3.点击备份任务名，再选择工具栏的“设置计划任务”。 4.在对话框中选择“计划”——新建，可以设置定时任务。 5.最后点击“应用”，需要输入开机密码，再点确定就可以了。

1.修改mysql配置 进入mysql命令行模式，输入如下命令： grant all privileges on *.* to 'root'@'%' identified by 'password' with grant option; flush privileges; 注：命令中的password替换成你的mysql密码。 2.修改防火墙配置 控制面板-防火墙-高级设置-入...

MySQL timestamp字段插入问题 mysql的timestamp字段可以设置默认值current_timestamp，如果该字段设置成not null（不允许空），那么插入时会自动写入当前的时间；如果该字段设置成null（允许空），插入时不要指定该字段，那么系统会自动设置成默认值current_timestamp.