- 博客(66)
- 收藏
- 关注
RSS订阅
原创 python可视化图表
import matplotlib.pyplot as pltimport numpy as np#没有以下两句，就不会显示中文，识别不出来plt.rcParams['font.sans-serif']=['SimHei']plt.rcParams['axes.unicode_minus'] = Falseplt.subplot(1,1,1)x=np.array([1,2,3,4,5,6,7,8,9])y=np.array([886,2335,5710,6482,6120,1605,3813
2020-09-01 17:26:39
2043
转载 2021-05-17on和where在inner join通用，但是外连接不通用
由于内连接是从结果表中删除与其他被连接表中没有匹配行的所有行，所有在内连接时on和where的结果是相同的。而左外、右外与全连接由于它的特殊性，on和where造成的差别大小取决于表达式和表中的数据。ON和where都表示筛选条件，on先执行，where后执行。区别：外连接时，on条件是在生成临时表时使用的条件，它不管on中的条件是否为真，都会返回左边表中的记录。而where条件是在临时表生成好后，再对临时表进行过滤的条件。如：SELECT * FROM emp e LEFT JOIN d.
2021-05-17 17:57:56
597
原创 2021-05-12
SQL SERVER创建临时表的方式：create table #tmp(name varchar(255),id int)注意两点：1.int不能写成int（10）来限制长度，否则就会报错。（不确定原因）2.临时表的名称必须以#开头CREATE TABLE ##student(xh INT,bj CHAR(10),cj INT);INSERT INTO #student VALUES (20001 ,'一班', 510);INSERT INTO #student VALUES (200
2021-05-12 13:54:59
197
原创 2020-12-25
在python中写sql语句需要注意的问题可以用于检查因sql语句错误而报错的python1.断行的情况需要以\结尾2.不能有空行空行也需要以\结尾3.每行前面都要有空格4
2020-12-25 11:40:59
167
原创 2020-12-25
1.写目标sql2.python连接数据库，并运行sql，sql运行结果保存为excel格式存储在目标文件夹下3.发件人、收件人信息4.发送邮件
2020-12-25 11:36:01
131
原创 对RFM模型的理解
客户价值可以衡量客户对企业的相对重要性，是企业进行差异化决策的重要标准。 由此，通过客户价值分类可以为企业进行差异化营销策略奠定基础。RFM模型对客户价值分类时非常简单的一种模型以下从几大模块说一下个人对RFM模型的理解。1.RFM模型是什么按照客户的消费情况，先把客户分为流失客户，不活跃客户，回流客户，活跃客户，新客户五类RFM三个维度都是对这五类客户的划分，根据相互独立又不重不漏的原则,来计算三个指标的值。同时也能在计算过程中发现这个模型的不足之处。R：最近一次交易时间距今天的天数该
2020-09-18 11:07:49
2606
原创 常用的数据分析方法
常用的数据分析方法常用的数据分析方法有对比分析法、分组分析法、结构分析法、交叉分析法、漏斗图分析法、矩阵分析法、综合评价分析法、5W1H分析法、相关分析法、回归分析法、聚类分析法、判别分析法、主成分分析法、因子分析法、时间序列、方差分析等。➢ 对比分析对比分析法，也叫比较分析法，是将两个或者两个以上的数据进行比较，分析它们的差异，从而揭示数据代表的事物的发展变化和规律性。对比分析可分为静态比较和动态比较两大类。静态比较也叫横向对比，是同一时间下对不同指标的对比；动态比较也叫纵向对比，是同
2020-08-10 17:07:09
2485
原创 数据清洗
1.数据概况df.info()2.判断数据的缺失情况df.isnull()：返回布尔值true1 false0df.isnull().sum()：返回每个字段缺失值的数量df.isnull().any()：返回哪些列有缺失值3.缺失值处理：删、补、不处理根据缺失值的分布将缺失值分为：完全随机缺失：对其他变量无影响：eg：家庭住址随机缺失：非随机缺失：高收入对于随机缺失和非随机缺失，不可以直接删除。删 ：除非数据量非常大，否则不建议直接删除df.dropna(how=‘any’)
2020-08-10 16:12:39
188
原创 python将文件夹中所有文件合并成一个csv文件
背景文件夹2019 的文件为csv文件，文件夹2020的文件为excel文件目的将两个文件夹中所有的文件合并成一个表格，以便进行后续的数据分析反思因为是不同的文件格式，只能将文件分成两个文件夹，分两次遍历文件。步骤a：先遍历excel2020文件夹所有的文件，合并一个csv表至2019文件夹b：遍历2019文件夹所有的文件名，合并csv终表。#合并数据到Alldata文件夹下的Alldata文件import osimport pandas as pdimport numpy as n
2020-08-10 14:33:19
3383
1
原创 按照周分组mysql
mysql按照周分组select yearweek（date_format,1),…from table group by yearweek（date_format,1)yearweek（date_format,1)或者WEEK(date,mode)
2019-12-02 14:09:01
284
原创 网络爬虫与信息提取--正则表达式之实际案例--股票数据定向爬虫
目标：获取上交所和深交所所有股票的名称和交易信息输出：保存到文件中技术路线：requests-bs4-re网站选取的原则：股票信息静态存在于html中，非js代码生成 没有robots协议限制方法：F12 源代码查看等心态:多找信息源尝试...
2019-09-16 13:38:31
419
原创 网络爬虫与信息提取--正则表达式---淘宝商品比价定向爬虫
淘宝商品比价定向爬虫本实例爬取时间2019.9.11由于淘宝代码的不断完善更新，本爬取代码已经不能爬取出商品信息内容原因：结果为空；打印html看到，需要登录淘宝在网上找解决方法，可以复制cookies但是发现 没找到cookies虽然爬取最终失败了，但是逻辑还是很受用哒~【https://www.jianshu.com/p/4359137776c0 可以看这篇讲解详细从众多的文...
2019-09-11 15:22:10
1212
原创 网络爬虫与信息提取--正则表达（三）
（一）正则表达式的概念以下图片来源于中国大学mooc嵩天老师的课件regular expression regex Re用来简洁表达一组表达式的方式；通用的字符串表达框架；针对字符串表达“简洁”和“特征”思想的工具在文本处理中十分常用：1.表达文本类型的特征（病毒、入侵等）2.同时查找或替换一组字符串3.匹配字符串的全部或者部分正则表达式的使用：编译：将符合正则表达式语法的字...
2019-09-06 09:40:29
243
原创 python网络爬虫与信息提取（二）解析html页面的方法
小结：(一)bs4库的基本元素：tag 标签name 标签名称attributes 标签属性navigablestring 字符串comment 注释信息bs库的遍历功能：下行遍历【.contents】[.children].[.descendants]上行遍历【.parents】【.parent】平行遍历【.next.sibling】【.previous_sibli...
2019-08-30 18:39:47
3141
原创 python
python基础的学习仅仅看书是不牢固的，通过案例学习并实操不仅仅让我们巩固基础，还可以更好的运用到实际应用中。 案例来自书籍《python带我起飞》（1）if函数（2）切片（3）简单for循环，实现冒泡排序（4）break（5）模拟人机对话的控制流程。 while循环 if语句输入“hello” 进入主程序输入“bye”或者“ go away” 退出程序·输入“p...
2019-08-28 17:51:10
212
原创 python网络爬虫与信息提取（一）了解request库
本笔记是看北理工崇天老师的视频课程记录，来源于中国大学mooc（一）前言Requests库robots.txt 协议beatiful soup 解析html页面Projeets 实战项目a/bre 正则表达式 提取我们最关键信息本课程实例京东商品页面爬取亚马逊商品页面爬取百度/360搜索关键词提取网络图片的爬取和存储ip地址归属地的自动查询中国大学排名定向爬虫淘宝商品...
2019-08-28 17:45:41
1307
原创 python 错误与异常
开发人员在编写程序的时候难免会遇到错误，那遇到错误要如何找到错误并处理异常呢？本篇主要实现异常的处理方法。（一）错误分类1.语法错误 syntaxerror2.运行时错误 这种包括很多异常的类型，eg：NameError zerodivisionerror等（二）异常处理的基本语法try： #运行代码。1.代码出现异常，在异常处中断，执行except；2.无异常，执行elseexc...
2019-08-27 17:17:28
189
原创 break continue pass的区别
Break 跳出并结束当前整个循环 执行循环后的语句Continue 结束档次循环 继续执行后续次数循环Break continue 可以与 for 和 while 搭配使用pass:该语句什么也不做 是为了保持程序结构的完整性。常用在语法上需要一条语句但是不需要任何操作的情况。例如：if elif elif…else pass else后面没有任何条件或结果，可以使用pass...
2019-08-23 11:36:55
3284
原创 python变量
**（一）**1.变量的本质是对象。对象：身份（id）、类型、值2.可以同时定义多个变量var1，var2，var3=1,2，33.变量类型help(str)dir(str)（二）（1）number数值类型注意的问题is 代表指针a=1000b=1000a is b 返回的false因为指针不一样（2）intprint（id（a)）print（id（b)）两个id...
2019-08-21 18:37:43
192
原创 Python列表中+、append、extend的区别
区别及注意事项：#1."+"连接的两个列表可以得到一个新的列表#2.append和extend连接的两个列表不会生成新的列表，但是会在原来的列表上直接更新#3.append会把list4作为一个整体追加到list3上#4.extend会把list4的元素追加到list3上#5.所以千万不能降extend放在等式的右侧...
2019-08-21 18:01:19
352
转载 数据库、数据库管理系统、数据库系统有什么区别和联系？
数据库、数据库管理系统、数据库系统有什么区别和联系？转载连接：https://blog.youkuaiyun.com/it_ito/article/details/800354032018年04月22日 01:20:33 IT小飞猪 阅读数：6957数据库系统（DataBase System）简称DBS，包括数据库（DataBase）简称DB、数据库管理系统（DataBase Management Sy...
2019-08-21 14:39:04
530
原创 图表展示
数据分析的很多问题要用图表展示出来，但是图表的罗列不容易看出数据之间的关联，所以要思考多个图表或者要展示的数据之间有什么关联，可以选择复合图展示。在ISV和微信服务商的数据分析中，第一次是分别展示了多个图表，领导觉得看不出图表间的关联。第二次用了复合饼图展示，复合饼图的缺点在于，复合图二和图一展示的是同一类的数据，相同维度的数据。复合图二可以用饼图，可以用条形图。第三次用的对称条形图，对...
2019-08-21 14:38:09
160
原创 Python自定义函数需要注意的问题
Python自定义函数需要注意的问题：1.缩进。一个语句块要用相同的缩进，两个缩进相同的逻辑行可以看做可以并列的关系，不可能是所属关系。return需要跟for对齐，否则2.遍历。range（n） 代表的是从0开始，遍历到n-1，步长为1range（1，n+1） 代表从1开始，遍历到n 步长为1range（1，n+1，2）代表从1开始，遍历到n 步长为2、3.自定义函数后可以返回...
2019-08-21 14:32:13
6328
转载 SQL模糊查询的方法--可提高工作效率
SQL模糊查询的语法为“SELECT column FROM table WHERE column LIKE ‘pattern’”。SQL提供了四种匹配模式：1. % 表示任意0个或多个字符。如下语句： SELECT * FROM user WHERE name LIKE '%三%'将会把name为“张三”，“三脚猫”，“唐三藏”等等有“三”的全找出来；2. _ 表示任意单个字...
2019-08-20 15:35:26
1840
转载 SQL自定义函数function
转载自：https://blog.youkuaiyun.com/qq_23833037/article/details/53170789sql自定义函数：1、标量函数（返回一个值或者一条数据）2、表格值函数（返回多条数据，可输出一个带条件的表格）自定义函数主要应用于 利用函数在数据库中生成一个表格或一条数据的情况。以下为转载内容：https://blog.youkuaiyun.com/qq_23833037/...
2019-08-20 15:15:28
1319
转载 转载：MYSQL编写两日期之间的工作日函数
感谢原链接：https://blog.youkuaiyun.com/adayan_2015/article/details/79624387#commentBox#公式的内容不一定准确 但是逻辑一定要搞清楚 以后不可以运行这个，条件语句不一定正确哈哈哈DROP FUNCTION IF EXISTS workdaynum ; #注意分号delimIter #是告诉MySQL解释器，该段命令是...
2019-08-20 11:32:31
848
原创 arange 和range的区别
arange 必须import numpy 返回的是array对象（数组）Python 3.x里range返回的是一个iterator，tuple不能直接修改元素
2019-07-12 16:14:10
325
原创 python实现可视化 基础（全）
import matplotlib.pyplot as plt#导入matplotlib库%matplotlib inline#让图标直接在juper notebook中展示plt.rcParams[“font.sans-serif”]=‘SimHei’#解决中文乱码问题plt.rcParams[‘axes.unicode_minus’]=False#解决负号无法正常显示的问题%c...
2019-07-12 15:29:34
5617
原创 python的数据类型返回object 不能进行我们想要的运算操作怎么办
参考一下链接：https://blog.youkuaiyun.com/a18312800683/article/details/80428315#commentBox导入微信服务商的数据后，想要进行data[‘申请退款金额’]-data[‘订单金额’]发现几个坑1.数据都带有单引号，而直接用替换data.replace(" ’ “,” ")不能解决问题2.替换后 还是不能直接将两项相减主要原因是：...
2019-06-27 20:39:44
5705
2
原创 `python基础
prompt 迅速的 提示 激励cluster 群集configurable 可配置的append 附加; 添加; 贴上; 签（名）;pip 是一个现代的，通用的 Python 包管理工具。提供了对 Python 包的查找、下载、安装、卸载的功能。index 获取·值出现的位置zip 将对应的元素打包成一个个元组lista=[‘1’,‘2’,‘3’,‘4’]listb=[‘...
2019-04-23 09:47:51
167
原创 SQL 新建表
DROP TABLE IF EXISTS REGION1;#如果此语句已经运行表已经存在了 ，需要删除旧表才能运行新表,注意加;CREATE TABLE REGION1#建表(salename VARCHAR(32),REGION VARCHAR(32));注意括号起来 加;INSERT INTO REGION1 VALUES(‘A’,‘华北区’);INSERT INTO R...
2018-12-27 15:38:21
2576
原创 SQL如何将数据导出到EXCEL中
问题1SQL导数据时总是出现乱码、一条记录堆到一个单元格中，数据多了双引号等问题，导致数据没办法分析如何将数据快速且高效导出到EXCEL中数据 导出到 TEXT 文件中1.直接复制粘贴到EXCEL2.有时候复制粘贴后出现一条记录堆到一个单元格中，并且数据多了**双引号*，此时可以打开新的excel-----选择数据-----自文本-----分隔符号可以默认TAB键，如果有引号可以ta...
2018-12-13 18:06:39
4484
原创 pms全部客户数数据导出的反思
pms全部客户数数据导出的反思：（1）问题WHERE条件不能是B表的条件 因为LEFT JION 只有a表,A表的数据B表可能没有，导致数据丢失。例如酒店名称X在酒店明细表A中，但是酒店合同B表没有X的合同。此时WHERE若设置B的条件 会导致部分数据丢失原因A有B无的数据查询的数据结果B字段为NULL解决方法1.将数据结果分为Null 和 not null2.设置为A表的条件...
2018-12-13 17:09:14
633
原创 SQL server删除某属性数据时 同时删除了null值数据
https://www.cnblogs.com/lvxiangjack/p/5466358.html需求：SQL server 查询删除产品类型为“中央预订系统”的数据，但保留null值数据在WHERE 客户等级 in (‘3’,‘6’,‘8’,‘9’,‘10’,‘1’,‘2’,‘A’,‘B’)基础上修改语句：WHERE 客户等级 in (‘3’,‘6’,‘8’,‘9’,‘10’,‘1’,...
2018-12-12 14:11:38
897
原创 sql server中的日期函数
转自https://www.cnblogs.com/zhangpengnike/p/6122588.html常用函数当前日期select getdate() 2018-12-06 10:13:44.840select convert(varchar(10),getdate(),120) 2018-12-06select convert(varchar(8),getdate()...
2018-12-06 11:46:45
231
原创 SQL查询中 AND 和OR 的使用注意事项（转载）
转载自http://blog.163.com/sunshengleissl%40126/blog/static/108698504201752644944390/AND、OR运算符的组合使用在WHERE子句中，通过AND、OR运算符可以同时连接多个条件，当然AND、OR运算符也可以同时使用。但是当AND、OR运算符同时存在时，其优先级如何确定呢？与大多数语言一样，SQL语言认为AND运算符的运...
2018-11-30 14:35:55
5491
原创 无效的句法+语句没有缩进 导致返回的结果错误
1.在shell界面input 后还没有输入下面的条件语句就直接执行了 ？？？why2.# 程序计时import timestart =time.perf_counter()print (start)end=time.perf_counter()print (end)print(end-start)eg2计算文本进度条时 没有按照进度条形式出现 而是仅返回100%进度？？...
2018-11-26 15:18:08
381
原创 python 不能复制整串语句
SyntaxError: multiple statements found while compiling a single statement这是因为整体复制过去运行而产生的错误；解决方案如下：python 不能复制整串语句，只能复制粘贴一行按个回车键方法一：先将第一行复制，敲一下回车，再将剩下的部分复制过去，运行；方法二：Ctrl+N，新建一个，这时直接将代码复制进来，就不会产生这个...
2018-11-23 11:14:59
7818
原创 python 入门出现的问题
1.win+r 运行文件式脚本出现中文乱码现象，未找到原因解决方案：用sheel 打开 运行 run module，也可以直接按 F5 直接运行。百度搜索看到中文乱码是编码的问题，中文乱码的现象以及解决方式见以下链接：python2版本：http://tieba.baidu.com/p/2895248881python3版本http://www.cnblogs.com/feng18/p/56...
2018-11-21 17:26:02
135
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人