- 博客(27)
- 收藏
- 关注
RSS订阅
原创 python操作mysql
准备工作安装mysql安装Navicat for mysql导入第三方库pymysql和mysqlclientpip install pymysqlpip install mysqlclient链接数据库db=pymysql.connect(host='127.0.0.1',port=3306,user="root",password="123456789",database...
2020-01-13 16:16:59
199
原创 一文教你绘制多图---由低级到高级
01前言前面学习了一系列基础图形的绘制，但是有时我们需要将多个图放在一个画布上。干货奉上，一文教你绘制多图。代码实现import plotly as pyfrom plotly import toolsimport pandas as pdfrom plotly import graph_objs as gopyplt=py.offline.plotdef read_csv...
2020-03-10 18:13:05
446
原创 一文搞定Plotly绘制面积图和直方图
面积图简介！面积图又称区域图，强调数量随时间而变化的程度，也可用于引起人们对总值趋势的注意。堆积面积图和百分比堆积面积图还可以显示部分与整体的关系。使用Plotly绘制面积图的方法与绘制折线图与散点图和折线图的方法相同，都是使用Scatter函数，不同之处在于fill参数的设置，fill=None表示无填充效果，使用mode属性可以隐藏面积图的边界线。在绘制堆积面积图时是不需要设置stack模...
2020-03-04 19:09:11
3327
原创 将爬虫和Plotly结合基本练习-韩红基金会数据
前言！前段时间微博上有人举报韩红基金会啥啥啥的，我只想劝那些举报者善良。我的这个小案例就是和韩红慈善基金会有关系。案例任务！爬取韩红基金会信息公示栏下的捐赠项目，捐赠金额。对每日各项目基金会受捐情况进行统计，我选择的就是柱状图来展示，以项目为x轴，以捐款金额作为y轴。案例目的！掌握一种反反爬虫的解决方法。巩固Plotly绘图的知识。通过查看韩红各项目受捐情况，可以大致上分清各...
2020-03-04 18:53:18
303
原创 Plotly之饼图
饼图简介饼图显示一个数据系列 （数据系列：在图表中绘制的相关数据点，这些数据源自数据表的行或列。图表中的每个数据系列具有唯一的颜色或图案并且在图表的图例中表示。可以在图表中绘制一个或多个数据系列。饼图只有一个数据系列。）中各项的大小与各项总和的比例。饼图中的数据点 （数据点：在图表中绘制的单个值，这些值由条形、柱形、折线、饼图或圆环图的扇面、圆点和其他被称为数据标记的图形表示。相同颜色的数据标记...
2020-02-29 17:15:10
5141
原创 Pandas(一)
Pandas简介Pandas 是python的一个数据分析包，最初由AQR Capital Management于2008年4月开发，并于2009年底开源出来，目前由专注于Python数据包开发的PyData开发team继续开发和维护，属于PyData项目的一部分。Pandas最初被作为金融数据分析工具而开发出来，因此，pandas为时间序列分析提供了很好的支持。Pandas的名称来自于面...
2020-02-29 15:09:07
402
原创 一文搞定大众点评字体加密
大众点评字体加密类型数字加密店铺类型加密店铺地址加密店铺电话加密店铺评论加密以上这些加密都是对以下这些字体进行加密1234567890店中美家馆小车大市公酒行国品发电金心业商司超生装园场食有新限天面工服海华水房饰城乐汽香部利子老艺花专东肉菜学福饭人百餐茶务通味所山区门药银农龙停尚安广鑫一容动南具源兴鲜记时机烤文康信果阳理锅宝达地儿衣特产西批坊州牛佳化五米修爱北养卖建材三会鸡室红站...
2020-02-21 19:35:56
1023
原创 selenium基本使用之获取12306车票信息
Selenium简介Selenium是一个用于Web应用程序自动化测试工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。主要功能包括：测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功...
2020-02-12 08:37:11
849
1
原创 python中的堆队列操作
前言堆队列是一棵二叉树，并拥有如下特点：它的父节点的值小于或者等于它的任何子节点的值。方法在python中对堆这种数据结构进行了模块化heapqheapq.heappush(heap,item):将一个item压入heap，同时维持堆的排序要求heapq.heappop(heap):弹出并返回堆的heap中值最小的项，并调整堆排序，如果堆为空，就抛出IndexError异常heapq...
2020-02-03 17:11:35
205
原创 多线程爬取代理并验证
前言在反爬虫中最常见的一种手段就是，判断你的请求频率。如果你在短时间内发送了大量的请求，不管你是不是人，先封你账号或者ip一段时间。这时为了达到自己爬虫的目的就需要使用代理IP，用它来伪装自己。下面就用多线程爬取代理ip并且验证。分析本次的免费代理ip的来源是西刺免费代理IP,请看下图：源码分析：由下图，我选择用xpath直接提取，和BeautifulSoup相比，xpath不但快而且还...
2020-01-30 12:53:44
252
原创 python算法之线性表操作
前言线性表是最基本、最简单、也是最常用的一种数据结构。线性表（linear list）是数据结构的一种，一个线性表是n个具有相同特性的数据元素的有限序列。线性表中数据元素之间的关系是一对一的关系，即除了第一个和最后一个数据元素之外，其它数据元素都是首尾相接的（注意，这句话只适用大部分线性表，而不是全部。比如，循环链表逻辑层次上也是一种线性表（存储层次上属于链式存储，但是把最后一个数据元素的尾指针...
2020-01-28 17:51:57
861
1
原创 python算法之迭代算法
前言迭代法也叫辗转法，是一种不断用变量的旧值递推新值的过程，在解决问题时总是重复利用的一种方法。迭代算法基础确认迭代变量在可以使用迭代算法解决的值中至少存在一个迭代变量。可以直接或者间接的用旧值推出新值。建立迭代关系式迭代关系式是指如何从变量的前一个值推出下一个值的公式或者关系。对迭代过程进行控制所需的迭代次数是确定的，可以计算出来，可以构建一个固定次数的循环来实现对迭代过程的控...
2020-01-26 21:24:55
10762
原创 python算法之试探算法
前言试探算法也叫回溯法，试探算法的处事方式比较委婉，他先暂时放弃关于问题规模大小的限制，并将问题的候选解按照某种顺序逐一枚举和检验。当发现当前候选解一定不是正确的解时，就选择下一个候选解。如果当前候选解除不满足问题规模要求外，其余都满足，则扩大当前候选解的范围，并继续试探。如果当前候选解满足包括问题规模在内的所有要求时，该候选解就是问题的一个解。试探算法基础针对所有问题，定义问题的解空间。...
2020-01-25 18:12:20
406
原创 python算法之贪心算法
前言贪心算法在解决问题时总想着用当前看来最好的方法来实现。其不从整体最优上考虑问题，仅考虑某种意义上的局部最优来求解问题。贪心算法的有点是：当面对范围比较大的问题时，能产生整体最优解或整体最优解的近似值。贪心算法的存在问题不能保证最后的解是最优的。不能用来求最大解或者最小解问题。只能求满足某种约束条件的可行解的范围。贪心算法的基本思路建立数学模型来描述问题。把求解的问题分解成...
2020-01-22 16:28:08
1009
原创 python算法之分治算法
基本思想当我们求解某些问题时，由于这些问题要处理的数据相当多，或求解过程相当复杂，使得直接求解法在时间上相当长，或者根本无法直接求出。对于这类问题，我们往往先把它分解成几个子问题，找到求出这几个子问题的解法后，再找到合适的方法，把它们组合成求整个问题的解法。如果这些子问题还较大，难以解决，可以再把它们分成几个更小的子问题，以此类推，直至可以直接求出解为止。这就是分治策略的基本思想。我的理解就是...
2020-01-21 15:09:41
1158
原创 多线程下载王者荣耀高清壁纸
目标网址：https://pvp.qq.com/web201605/wallpaper.shtml分析网页源码先上图首先搜索目标网页找到高清壁纸所在区域随机点击一个壁纸，然后点击“检查”，查看网页源代码，会发现所有壁纸所在的源码区域然后点击壁纸源码所在区域，详细查看目标壁纸的url如下图所示：但是这是腾讯的网站，批量获取网页源码是获取不到的。查看网页源代码。这**注意：...
2020-01-14 22:51:42
727
原创 Queue线程安全队列
前言在线程中，访问一些全局变量，加锁是一个经常的过程。python中的queue模块中提供了同步的，线程安全的队列类，包括FIFO（先进先出）队列Queue,LIFO（后入先出）队列LifoQueue。这些队列实现了锁原语，能够在多线程中直接使用，可以使用队列实现线程间的同步。初始化Queue(maxsize):创建一个先进先出的队列。qsiz():返回队列的大小empty():判断队列...
2020-01-13 23:13:42
680
原创 Condition版的生产者和消费者模式
前言lock版生产者和消费者模式可以正常运行，但是存在一个缺点，在消费者中，总是通过while True循环并且上锁判断钱够不够，这很消耗cpu资源。threading.Condition可以在没有数据的情况下处于阻塞等待状态。一旦有合适的数据，还可以使用notify相关函数来通知其他处于等待状态的线程。这样可以减少一些不必要的操作，提高程序的性能。acquire:上锁release:解锁...
2020-01-13 18:37:34
167
原创 多线程之生产者和消费者模式
生产者和消费者模式是多线程开发者经常见到的一种模式，生产者用来生产数据，然后将生成的数据放到中间容器，而消费者这是从中间容器中取出数据进行消费处理。消费者和生产者模式可以让代码达到高内聚低耦合的目的。import threadingimport randomgMoney=0gLock=threading.Lock()class Producer(threading.Thread):...
2020-01-13 17:49:00
313
原创 爬取微博全部一级评论（简单有效）
要爬取的import requests,jsonfrom lxml import etreeimport xlwtwookbook=xlwt.Workbook(encoding='utf-8')sheet=wookbook.add_sheet('sheet',cell_overwrite_ok=True)sheet.write(0,0,'昵称')sheet.write(0,1,'...
2019-11-28 21:38:08
3395
14
原创 使用scrapy爬取北京3000条二房信息
网站：https://bj.lianjia.com/ershoufang/pg1/部署itemsimport scrapyclass HomeItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() hkind=scrapy.Field() ...
2019-11-27 21:34:04
365
原创 自制听书程序
听书简介：听书不仅可以让我们获得知识，灵感，还可以节省我们的时间。现在听书软件很多，文章不一定是我们喜欢的。自制听书程序，选一本自己喜欢的文章来听听吧。用以下两种方式来实现：一：爬虫获取文章链接和文章名import requestsfrom bs4 import BeautifulSoupimport speechurl='http://www.rensheng5.com/zx/on...
2019-11-06 20:27:52
1052
原创 python time模块
Python time.time()返回当前时间的时间戳（1970纪元后经过的浮点秒数）import timeprint(time.time())1572839630.5366814Python time localtime()time.localtime() 函数类似gmtime()，作用是格式化时间戳为本地的时间。 如果sec参数未输入，则以当前时间为转换标准。 DST (Day...
2019-11-04 12:13:54
171
原创 聚合函数/分组聚合查询
本博客前文链接，点击查看，便于理解代码的来龙去脉聚合函数MAX() MIN() COUNT() SUM() AVG()from student.models import *def showsql(): from django.db import connection print connection.queries[-1]['sql'] #求最高成绩f...
2019-10-17 19:58:00
209
原创 django多表插入 重写save方法
准备工作：创建应用 python manage.py startapp stu配置应用配置数据库(如果不加配置，则默认为django自带的数据库，db.sqlite3,这不影响后面操作)创建模型from django.db import models# Create your models here.class Clazz(models.Model): cname=mo...
2019-10-17 19:26:20
604
原创 django自定义Manager方法
前言：管理器是向Django模型提供数据库查询操作的接口。Django应用程序中每个模型至少有一个管理器。默认情况下管理器名称为objects;这个是可以根据自己的业务需求进行自定义的。类名.objects.all()默认返回全表数据...
2019-10-15 18:46:17
246
原创 python可变参数和参数解包
欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设计 ，将会带来全新的写作体...
2019-10-13 15:00:58
348
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人