Jesszen-优快云博客

原创 mysql 笔记

use job;alter table company_data change companyLabelList companyLabelList varchar(255),change companyShortName companyShortName varchar(255),change companySize companySize varchar(255),change ...

2018-09-25 01:04:15 473

原创 mmmy

show processlist; show status; alter table star.user_info change iidenx idenx int primary key; alter table star.order_info change iidenx idenx2 int primary key; desc star.order_info; -- 求分组条件...

2018-09-25 01:03:24 1134

原创 MYSQL 笔记【回购数】

1、group by语句select userid,date_format(paytime,'%Y-%m-%d')from dash.order_infowhere userid is not nullgroup byuserid,date_format(paytime,'%Y-%m-%d'); group by A ,B; a、select查询后面确定的...

2018-09-23 23:14:15 890

原创 python的元类与类继承的区别

类的继承，主要涉及类之间关系。元类metaclass，某种意思上可以理解为类的父类；类是元类的实例。第一：type函数创建类在python中，类也是对象。既然是类是对象，必然有个存在生成它。那么什么东西创建了类？答案是type。怎么去理解？eg：str，这个可以创建字符串，类比下type可以创建类。type函数可以查看某个对象，属于哪个类。type(str)...

2018-09-04 17:40:48 4497

原创 python的类的继承

-----------------------------------------------------------------------------------------------------------------------------------------------面向对象编程 (OOP) 语言的一个主要功能就是“继承”。派生类/子类 ----------->基...

2018-09-04 15:04:17 479

原创【数据可视化】matplotlib、seaborn、pycharts

数据分析第一件事就是数据审查。内容包括，特征变量的含义、类型、分布、缺失值、异常值等，方便下一步的数据预处理和特征的构造。数据可视化在这个阶段，很方便展示。第一：数据的特征选取的数据是，电商相关数据。第二：查看类型、统计变量raw_data.describe()raw_data.dtypesraw_data.columnsraw_data.sample(10)...

2018-09-02 15:38:22 2781

原创【warning】本地计算机上的MySQL服务启动后停止。某些服务在未由其他服务或程序使用时将自动

背景：写入数据库，报错 LookupError: unknown encoding: utf8mb4第一：修改my.ini，新加语句 default-character-set=utf8 第二：这个作死操作后就开始报错：本地计算机上的MySQL服务启动后停止。某些服务在未由其他服务或程序使用时将自动第三...

2018-08-25 23:54:17 565

原创【warning】 pandas 写入MySQL错误

背景：pandas 利用sqlalchemy 存入数据到mysql 数据，有中文字符；//////////////////////////////////////////////////////针对linux////////////////////////////////////////////////////第一：错误码(pymysql.err.Interna...

2018-08-25 23:26:45 2138

转载【Warning】pandas sqlalchemy报错

第一：报错内容报错代码：sqlalchemy Warning: (1366, "Incorrect string value: '\\xD6\\xD0\\xB9\\xFA\\xB1\\xEA第二：怎么出现？在保存dataframe格式至mysql时，出现报错。但是，数据仍旧写入mysql，并没有出现什么乱码。第三：怎么处理？百度了，说时字符串格式不对导致的，然而，设置了字符...

2018-08-20 15:24:44 1666

原创【数据库】利用python的pandas库读取csv文件保存至mysql

第一：pandas.read_csv读取本地csv文件为数据框形式data=pd.read_csv('G:\data_operation\python_book\chapter5\\sales.csv')第二：如果存在日期格式数据，利用pandas.to_datatime()改变类型data.iloc[:,1]=pd.to_datetime(data.iloc[:,1])注意：...

2018-08-19 16:44:19 4062

原创训练模型的持久化保存

第一：算法对象复杂的模型训练训练耗时太长，避免重复劳动，有必要保存下来第二：pickle这个包主要的功能：序列化对象为字符串，反序列化第三：dump方法和load方法import pickle#保存至本地pickle.dump(model_kmeans,file=open('G:\data_operation\python_book\chapter4\model_clus...

2018-08-07 22:47:12 1052

原创【线性回归】线性代数角度解释最小二乘法

第一：背景问题：广告和销量之间的关系？数据集：特征包含三块：电视广告xt，网络广告xm，楼宇广告xf，因变量销量记作y。数据集样本数为m。第二：拟合线性回归模型 y’ = β0 + β1 * xt + β2 * xm + β3 * xf 写成矩阵形式：Xβ=y‘ ...

2018-08-05 18:21:31 4558

原创【模拟登陆】github模拟登陆，打印信息流

目的：动态获取cookie第一：分析登陆过程1、打开开发者工具，查看各自请求2、可以看到name为session的请求【方式post，传入的data】3、查看name为login的请求，源码中获得token，作为上一个请求中的data的一部分第二：登陆以后，解析页面信息流数据查看信息流请求的url，自行构建对应的url，解析 1、这里有个技巧 /d...

2018-07-31 17:43:31 523

原创【爬虫】利用selenium爬取淘宝并保存到mongodb数据库

背景：淘宝的Ajax加密处理，不方便直接解析Ajax请求数据，所以利用selenium库实现模拟爬取架构：第一：主要的思路第二：定义mongodb是类，实现数据存储主要注意的是，mongodb用户名和密码的问题。第三：爬取产品搜索结果页面第四：解析具体的product第五：源码import pymongofrom selenium.webdr...

2018-07-31 15:48:21 1734

原创【数据库】mongodb 安装/账号管理/python连接

第一：安装1、新建文件夹 data文件夹下新建db文件夹 log文件夹下新建mongodb.log【非强求】 bin同级目录新建mongodb.config文件2、运行mongodb服务mongod.exe dbpath H:/mongo/data/db3、配置成系统服务【A 直接运行命令】管理员权限运行cmdmon...

2018-07-31 14:54:05 447

原创【爬虫】python爬取微信公众号文章

背景：利用代理池爬取微信公众号文章并保存架构：巨坑：实例的名不可于类的名重复。第一：请求及请求队列1、为什么要创建weixinrequest()？因为Sogou微信搜索反爬虫能力强，response.status_code容易出现302，也就是需要输入验证码。当然解决这个问题有两个途径，一个是调用验证码自动识别，另一个是将该302连接重新放回请求队列，更好代...

2018-07-21 15:27:07 5304 1

原创【正则表达式】python 中的re模块及正斜杠/ 反斜杠

第一：转义字符：改变原有字符的意义，一般都以反斜杠\作为起始。\n 意思是换行，不再表示字母n。第二：python中，反斜杠\本身就是个转义字符。1、\\，第一个反斜杠表示转义，意思是第二反斜杠不再视为一个转义字符。print('\\')打印输出单独一个\。2、加一个r【r是原始字符的简写：raw string】，就表示废掉python中\的转义能力。...

2018-07-19 23:32:20 12347

原创日常笔记【不定时更新】

1、python if else 简写data = [] if data is None else data如果data为None，那么就设置为空列表，否则就是data。 2、继承父类super class weixinrequest(Request): def __init__(self,url,method,headers,need_proxy=False,fa...

2018-07-19 22:55:52 419

原创【学习笔记】python爬虫---代理池

背景：崔庆才的爬虫学习笔记整体架构：获取模块【各大网址爬取代理】----->存储模块【redis有序集合存储】<==========>检测模块 || ...

2018-07-19 22:48:04 5994 5

原创【统计学习3】线性回归：R方（R-squared）及调整R方（Adjusted R-Square）

第一：R方（R-squared）定义：衡量模型拟合度的一个量,是一个比例形式，被解释方差/总方差。公式：R-squared = SSR/TSS =1 - RSS/TSS其中：TSS是执行回归分析前，响应变量固有的方差。 RSS残差平方和就是，回归模型不能解释的方差。 SSR回归模型可以解释的方差。综上，R-...

2018-07-12 16:54:27 182352 4

原创【统计学习2】线性回归：RSS，TSS，T检测，F检测，假设检验

第一：假设检验以抛硬币来说H0 假设【假设】：硬币是公平【出现正反概率各为1/2】Ha 假设【检验】：硬币是有问题整个假设检验过程，是在H0假设条件下，进行试验，如果推导出自相矛盾的结论，那么就拒绝H0假设。【所谓的自相矛盾，试验结果，在H0假设条件下，出现的概率极小。】p值：在假设原假设（H0）正确时，出现现状或更差的情况的概率。1.1 H0假设下，我们知道抛硬币，出现正面的次数，符合二项式分...

2018-07-11 00:47:06 38124 1

原创【统计学习1】方差、协方差、相关系数与向量内积

第一：方差定义：随机变量或者一组数据离散情况的度量。为啥分母 n-1？a、目的：方差的估计是无偏的。b、原因：实际工作中，总体均数难以得到时，只能应用样本统计量代替总体参数。c、解释：分子上求期望【理解为求样本均值】已经用掉所有的自由度n；事实上，如果分母n，因为第n个数，已经由n-1个数，和期望决定了，所有其没有信息量，所有要n-1。简...

2018-07-09 17:35:03 6920

原创【学习笔记】腾讯云安装配置redis，并redis desktop manager 远程连接

服务器：Centos 7.2 64位本地电脑：windows 10 64位登陆方式：mobaxterm第一：redis 数据库的介绍定义：redis 主要基于内存存储和运行的，能够快速响应键值数据库产品。应用场景：少量数据存储，高速读写访问。TRDS、Mongodb、Redis比较比较项TRDB【关系型数据库】Mongodbredis读写速度1一般较快最快读写速度2基于硬盘读写，强约束基于硬盘读...

2018-07-04 19:04:11 1679

原创 MySQL学习笔记之四：多表查询

第一：连接【join】定义：将两张以上的表中的数据整合在一起的机制，称为连接。1、笛卡儿积定义：两张表以上所有的置换。原因是没有指定连接。两张表如下：employee表，department表，employee.dept_id是department表的外键。查询雇员的全名和其所在的部门名，涉及到两张表。查询语句:select e.fname,e.lname,d.name from `employ...

2018-07-01 13:58:41 409

原创【学习笔记】本地数据导入腾讯云mysql

第一：使用MySql_Front应用程序1、创建连接2、在服务器mysql新建一个数据库bank13、在bank1数据库下，执行导入操作4、不出意外，即可将本地sql导入服务器第二：使用MobaXterm上传本地sql脚本，云端执行脚本1、配置MobaXterm登陆使用SSH密钥登陆，简单设置即可登陆。2、在sftp面板下可以，上传/下载文件3、上传本地脚本至对应的文件夹，然后在MySQL中执行以...

2018-06-27 21:50:29 2509

原创【学习笔记】腾讯云服务器配置及连接mysql

服务器：Centos 7.2 64位本地电脑：windows 10 64位登陆方式：使用webshell方式第一：服务器安装mysql 1、直接安装提示 yum install mysql-server，centos 提示无mysql的源。需要下载mysql 的repo源 wget https://repo.mysql.com/mysql57-community-r...

2018-06-24 20:52:21 4244 1

原创【数据库】MySQL学习笔记之三：过滤

where语句第一：条件评估1、多个过滤条件，使用圆括号select * from `employee`where end_date is null and(title='Teller' or start_date <'2007-1-1');where 语句中第一个条件为True，圆括号中两个条件满足一个，就可以被选中。2、not操作符设计到关系运算，与或非的否定语句select * f...

2018-06-23 22:26:05 277

原创【数据库】MySQL 学习笔记之二：查询语句

第一：select 语句包含的对象select 表中存在的列、内置函数【upper（），round（）等】、逻辑运算【+-*/等】、新加列【‘’单引号内引用名】 from 表名；select emp_id ,'ACTIVE',emp_id * 3.14,upper(lname) from `employee`;注意：from 表名；语句可以省略，例如：执行一个内建函数，或者简单表达事selec...

2018-06-21 22:45:58 273

原创【数据库】mysql学习笔记之一：表的创建和操作

MySQL基础操作。终端命令行，输入mysql，进去交互环境。1、查看当前所有数据库。 show databases;2、选定数据库，eg：选中python_data1use python_data1;3、显示该数据库下的所有表show tables；4、显示当前时间select now();5、查看表前10行 select * from `order` limit 10; 6、查看列数selec...

2018-06-19 21:45:34 492

原创【学习笔记】mysql基础操作

MySQL基础操作。终端命令行，输入mysql -u 用户名 -p进去交互环境。1、查看当前所有数据库。 show databases;2、选定数据库，eg：选中python_data1use python_data1;3、显示该数据库下的所有表show tables；4、显示当前时间select now();5、查看表前10行 sele...

2018-06-17 13:47:48 234

原创【学习笔记】MYSQL 用户设置

平台：windows 10 mysql：5.7.22第一：不需要密码直接进入mysql。安装mysql，windows 默认不设置密码，以ODBC@默认用户名，直接登陆。通过命名SELECT USER()；看已看到用户名：ODBC@ 。但是SELECT user FROM mysql.user;可以看到只有这三个用户：==========================...

2018-06-16 16:10:58 334

原创【学习笔记】git之四：标签管理

标签是版本库的一个快照，方便以后查找，其实标签类似于提交commit，只不过更方便。1、执行语句git tag v1.0默认打的标签是打在最新提交的commit id 上，如果要打之前已经commit 上怎么操作。2、第一查看log找到对应的commit idgit log --pretty=oneline --abbrev-commit 打对应commit id git tag v0.8 f...

2018-06-09 15:36:08 267

原创【学习笔记】git 之三：分支管理

第一：主分支master 本地版本库中，每一次add，commit等操作，git会自动把这些操作串成一条时间线，这条时间线这也称之为分支，默认情况，为主分支master。每次提交commit，实质提交至当前工作的分支，HEAD相当于状态标记，指向当前工作的分支。git branch 查看所有分支，加*号的为当前的工作的分支。 *mater ...

2018-06-09 15:03:46 364

原创【学习笔记】git 之二：关联远程仓库

第一：创建SSH key 目的：github.com需要识别推送的人是本人，需要在其账户添加密钥key a、创建ssh keygit -keygen -t rsa -C "star@169.com" 本地生成名为.ssh的文件夹，其中有两个文件：id_rsa, id_rsa.pub。其中：id_rsa.pub是公钥，我们添加到...

2018-06-07 21:36:47 235

原创【学习笔记】git之一：安装及本地库操作

文章基于window 10平台，主要是谬雪峰git学习笔记，梳理一下。第一：安装git首先，官网下载安装文件，初始化设置默认已经注册了GitHub的账户，注册邮箱是star@169.com，昵称是star。 git config --global user.name "star"git config --global user.email "star@1...

2018-06-04 22:59:51 240

原创【学习笔记】python 元类

穿越到无限流中的女娲世界。此世界存在两种关系，一种继承关系，子类继承父类，另一种类型实例关系，表现为某个类型的实例化。第一：继承关系。继承关系只发生在类型之间，而非实例。女娲（object）------->人类（human)女娲是创世神，是女娲世界一切的源头。其也创造了人类，而人类继承了女娲的样子，在这里，我们只强调继承关系class human(object)...

2018-06-03 15:10:52 593

原创【学习笔记】python 日志logging（二）

第一：脚本--函数配置简单的脚本，可以直接采用函数配置import logginglogging.basicConfig(level=logging.INFO,filename='G:/web/test.log',format="%(levelname)s:%(message)s",filemode='w')logger = logging.getLogger('weather')strea...

2018-05-30 23:13:30 398

原创【学习笔记】python 日志logging（一）

第一：为什么使用logging模块灵活性好，方便配置输出或保存不同级别日志第二：logging模块结构logging 在源码中有三个文件,结构如下:├── config.py├── handlers.py└── __init__.py_int.py中实现了基础功能,主要的逻辑就在这个文件中handlers.py 是一些Handlers用起来很方便的.config.py 是对配置做处理的方法.第...

2018-05-30 21:28:08 2178

空空如也

空空如也