
python
文章平均质量分 71
Jesszen
这个作者很懒,什么都没留下…
展开
-
【学习笔记】python 元类
穿越到无限流中的女娲世界。此世界存在两种关系,一种继承关系,子类继承父类,另一种类型实例关系,表现为某个类型的实例化。第一:继承关系。继承关系只发生在类型之间,而非实例。女娲(object)------->人类(human)女娲是创世神,是女娲世界一切的源头。其也创造了人类,而人类继承了女娲的样子,在这里,我们只强调继承关系class human(object)...原创 2018-06-03 15:10:52 · 594 阅读 · 1 评论 -
python的类的继承
-----------------------------------------------------------------------------------------------------------------------------------------------面向对象编程 (OOP) 语言的一个主要功能就是“继承”。派生类/子类 ----------->基...原创 2018-09-04 15:04:17 · 480 阅读 · 0 评论 -
【Warning】pandas sqlalchemy报错
第一:报错内容报错代码:sqlalchemy Warning: (1366, "Incorrect string value: '\\xD6\\xD0\\xB9\\xFA\\xB1\\xEA第二:怎么出现?在保存dataframe格式至mysql时,出现报错。但是,数据仍旧写入mysql,并没有出现什么乱码。第三:怎么处理?百度了,说时字符串格式不对导致的,然而,设置了字符...转载 2018-08-20 15:24:44 · 1668 阅读 · 0 评论 -
【数据库】利用python的pandas库读取csv文件保存至mysql
第一:pandas.read_csv读取本地csv文件为数据框形式data=pd.read_csv('G:\data_operation\python_book\chapter5\\sales.csv')第二:如果存在日期格式数据,利用pandas.to_datatime()改变类型data.iloc[:,1]=pd.to_datetime(data.iloc[:,1])注意:...原创 2018-08-19 16:44:19 · 4065 阅读 · 0 评论 -
【模拟登陆】github模拟登陆,打印信息流
目的:动态获取cookie第一:分析登陆过程1、打开开发者工具,查看各自请求2、可以看到name为session的请求【方式post,传入的data】3、查看name为login的请求,源码中获得token,作为上一个请求中的data的一部分 第二:登陆以后,解析页面信息流数据 查看信息流请求的url,自行构建对应的url,解析 1、这里有个技巧 /d...原创 2018-07-31 17:43:31 · 529 阅读 · 0 评论 -
【爬虫】利用selenium爬取淘宝并保存到mongodb数据库
背景:淘宝的Ajax加密处理,不方便直接解析Ajax请求数据,所以利用selenium库实现模拟爬取架构:第一:主要的思路第二:定义mongodb是类,实现数据存储主要注意的是,mongodb用户名和密码的问题。第三:爬取产品搜索结果页面第四:解析具体的product第五:源码import pymongofrom selenium.webdr...原创 2018-07-31 15:48:21 · 1735 阅读 · 0 评论 -
【数据库】mongodb 安装/账号管理/python连接
第一:安装1、新建文件夹 data文件夹下新建db文件夹 log文件夹下新建mongodb.log【非强求】 bin同级目录新建mongodb.config文件2、运行mongodb服务mongod.exe dbpath H:/mongo/data/db3、配置成系统服务【A 直接运行命令】 管理员权限运行cmdmon...原创 2018-07-31 14:54:05 · 447 阅读 · 0 评论 -
【正则表达式】python 中的re模块及正斜杠/ 反斜杠
第一:转义字符:改变原有字符的意义,一般都以反斜杠\作为起始。\n 意思是换行,不再表示字母n。 第二:python中,反斜杠\本身就是个转义字符。1、\\,第一个反斜杠表示转义,意思是第二反斜杠不再视为一个转义字符。print('\\')打印输出单独一个\。2、加一个r【r是原始字符的简写:raw string】,就表示废掉python中\的转义能力。...原创 2018-07-19 23:32:20 · 12362 阅读 · 0 评论 -
日常笔记【不定时更新】
1、python if else 简写data = [] if data is None else data如果data为None,那么就设置为空列表,否则就是data。 2、继承父类super class weixinrequest(Request): def __init__(self,url,method,headers,need_proxy=False,fa...原创 2018-07-19 22:55:52 · 420 阅读 · 0 评论 -
【学习笔记】python爬虫---代理池
背景:崔庆才的爬虫学习笔记整体架构: 获取模块【各大网址爬取代理】----->存储模块【redis有序集合存储】<==========>检测模块 || ...原创 2018-07-19 22:48:04 · 6006 阅读 · 5 评论 -
【学习笔记】python 日志logging(一)
第一:为什么使用logging模块灵活性好,方便配置输出或保存不同级别日志第二:logging模块结构logging 在源码中有三个文件,结构如下:├── config.py├── handlers.py└── __init__.py_int.py中实现了基础功能,主要的逻辑就在这个文件中handlers.py 是一些Handlers用起来很方便的.config.py 是对配置做处理的方法.第...原创 2018-05-30 21:28:08 · 2180 阅读 · 0 评论 -
【学习笔记】python 日志logging(二)
第一:脚本--函数配置简单的脚本,可以直接采用函数配置import logginglogging.basicConfig(level=logging.INFO,filename='G:/web/test.log',format="%(levelname)s:%(message)s",filemode='w')logger = logging.getLogger('weather')strea...原创 2018-05-30 23:13:30 · 399 阅读 · 0 评论 -
python的元类与类继承的区别
类的继承,主要涉及 类之间关系。元类metaclass,某种意思上可以理解为类的父类;类是元类的实例。第一:type函数创建类在python中,类也是对象。既然是类是对象,必然有个存在生成它。那么什么东西创建了类?答案是type。怎么去理解?eg:str,这个可以创建字符串,类比下type可以创建类。type函数可以查看某个对象,属于哪个类。type(str)...原创 2018-09-04 17:40:48 · 4505 阅读 · 0 评论