Python
关注
分享
扫一扫
Python 是一种面向对象、解释型计算机程序设计语言。
赈川
Android Framework工程师
展开
-
Python爬虫学习记录——8.使用自动化神器Selenium爬取动态网页
文章目录Selenium实战Selenium什么是SeleniumSelenium 是一个用于浏览器自动化测试的框架，可以用来爬取任何网页上看到的数据。Selenium的下载与安装安装：在终端输入 pip install selenium下载：http://chromedriver.storage.googleapis.com/index.html，解压后放在…\Google...原创 2019-10-26 17:51:45 · 1116 阅读 · 0 评论 -
Python爬虫学习记录——7.数据入库之MongoDB
文章目录MongoDB实战MongoDB什么是MongoDBMongoDB是一个高性能，开源，无模式的文档型数据库MongoDB 将数据存储为一个文档，数据结构由键值(key=>value)对组成MongoDB相关的安装这里仅列出Windows系统的安装方法。推荐博客：https://zhuanlan.zhihu.com/p/29986675，博客中给出了详细的Mon...原创 2019-10-26 15:13:55 · 320 阅读 · 0 评论 -
Python爬虫学习记录——6.浏览器抓包及headers设置
文章目录爬虫的一般思路分析具体网页请求实战爬虫的一般思路抓取网页、分析请求解析网页、寻找数据储存数据、多页处理本节博客主要讲授如何通过谷歌浏览器开发者工具分析真实请求的方法。分析具体网页请求观察以下网址翻页后的URLhttp://www.zkh360.com/zkh_catalog/3.html可以发现翻页后URL并没有发生变化，思考：翻页后URL不变该如何寻找请求？...原创 2019-10-25 22:39:50 · 1075 阅读 · 0 评论 -
Python爬虫学习记录——5.使用pandas保存豆瓣短评数据
文章目录保存数据的方法使用open函数保存数据使用pandas保存数据实战保存数据的方法open函数保存pandas包保存（重点）csv模块保存numpy包保存使用open函数保存数据open函数用法使用with open()新建对象写入数据mport requestsfrom lxml import etreeurl = 'https://book.doub...原创 2019-10-25 20:36:09 · 653 阅读 · 0 评论 -
Python爬虫学习记录——4.使用Xpath解析豆瓣短评
文章目录解析神器XpathXpath的使用实战解析神器Xpath什么是XpathXPath即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。XPath基于XML的树状结构，提供在数据结构树中找寻节点的能力。起初XPath的提出的初衷是将其作为一个通用的、介于XPointer与XSL间的语法模型。但是XPath很快的被开发者采用来当作...原创 2019-10-24 17:48:05 · 1149 阅读 · 0 评论 -
Python爬虫学习记录——3.使用Requests爬取豆瓣短评
文章目录Requests库介绍Requests库安装Requests库的简单用法实战爬虫协议Requests库介绍Requests库官方的介绍有这么一句话：Requests，唯一的一个非转基因的 Python HTTP 库，人类可以安全享用。这句话直接并霸气地宣示了Requests库是python最好的一个HTTP库。想要深入学习Requests库，可以参考官方文档：http://cn.p...原创 2019-10-24 16:48:16 · 1703 阅读 · 0 评论 -
Python爬虫学习记录——2.初识Python爬虫
文章目录环境搭建创建一个简单实例爬虫的步骤环境搭建Python版本：Python 3.7操作系统：Windows 7IDE：PyCharm浏览器：Google Chrome创建一个简单实例爬虫的第一步，是需要获取数据。在Python中，可以通过urllib包或者Requests包来进行数据的获取。urllib包推荐阅读urllib官方文档：https://docs.py...原创 2019-10-24 15:37:31 · 320 阅读 · 0 评论 -
Python爬虫学习记录——1.什么是爬虫
什么是爬虫？本节博客的内容是介绍什么是爬虫？爬虫有什么用？以及爬虫是如何实现的？从这三点来全面剖析爬虫这一工具。爬虫的定义网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。爬虫有什么用市场分析：电商分析、商圈分析、一二级市场分析等市场监控：电商、新闻、房源监控等商机发现：招投标情...原创 2019-10-22 21:16:04 · 279 阅读 · 0 评论 -
Python学习记录——14.os模块,sys模块,time模块,loging模块
文章目录1.os模块2.sys模块3.time模块4.logging模块1.os模块os 模块提供了非常丰富的方法用来处理文件和目录。常用的方法如下表所示：序号方法及描述1os.access(path, mode) 检验权限模式2os.chdir(path) 改变当前工作目录3os.chflags(path, flags) 设置路径的标记为数字标记。...原创 2019-10-22 14:22:34 · 279 阅读 · 0 评论 -
Python学习记录——13.正则表达式
文章目录1.正则表达式简介2.正则表达式使用3.re模块4.切分字符串5.分组6.贪婪匹配7.编译1.正则表达式简介字符串是编程时涉及到的最多的一种数据结构，对字符串进行操作的需求几乎无处不在。比如判断一个字符串是否是合法的Email地址，虽然可以编程提取@前后的子串，再分别判断是否是单词和域名，但这样做不但麻烦，而且代码难以复用。正则表达式是一种用来匹配字符串的强有力的武器。它的设计思想是...原创 2019-10-22 13:24:37 · 136 阅读 · 0 评论 -
Python学习记录——12.文件处理
1.文件处理读写文件是最常见的IO操作。Python内置了读写文件的函数，用法和C是兼容的。读写文件前，先必须了解一下，在磁盘上读写文件的功能都是由操作系统提供的，现代操作系统不允许普通的程序直接操作磁盘，所以，读写文件就是请求操作系统打开一个文件对象（通常称为文件描述符），然后，通过操作系统提供的接口从这个文件对象中读取数据（读文件），或者把数据写入这个文件对象（写文件）。读文件要以读文...原创 2019-10-21 22:39:33 · 854 阅读 · 0 评论 -
Python学习记录——11.异常处理
文章目录1.异常2.异常处理3.断言1.异常什么是异常异常即是一个事件，该事件会在程序执行过程中发生，影响了程序的正常执行。一般情况下，在Python无法正常处理程序时就会发生一个异常。异常是Python对象，表示一个错误。当Python脚本发生异常时我们需要捕获处理它，否则程序会终止执行。常见异常异常名称描述BaseException所有异常的基类Sy...原创 2019-10-21 22:19:25 · 204 阅读 · 0 评论 -
Python学习记录——10.面向对象编程
文章目录1.面向对象前导2.类的创建3.类的继承4. 类属性与方法1.面向对象前导Python从设计之初就已经是一门面向对象的语言，正因为如此，在Python中创建一个类和对象是很容易的。接下来先来简单的了解下面向对象的一些基本特征。类(Class): 用来描述具有相同的属性和方法的对象的集合。它定义了该集合中每个对象所共有的属性和方法。对象是类的实例。**类变量：**类变量在整个实例...原创 2019-10-21 21:26:06 · 199 阅读 · 0 评论 -
Python学习记录——9.模块
1.模块简介模块让你能够有逻辑地组织你的Python代码段。把相关的代码分配到一个模块里，能让你的代码更好用、更易懂。模块也是Python对象，具有随机的名字属性用来绑定或引用。简单地说，模块就是一个保存了Python代码的文件。模块能定义函数，类和变量。模块里也能包含可执行的代码。示例如下：def print_func( par ): print "Hello : ", par...原创 2019-10-20 15:23:47 · 191 阅读 · 1 评论 -
Python学习记录——8.列表生成式，迭代器，生成器，装饰器
文章目录1.列表生成式2.迭代器3.生成器4.装饰器1.列表生成式列表生成式即List Comprehensions，是Python内置的非常简单却强大的可以用来创建list的生成式。举个例子，要生成list [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]可以用list(range(1, 11))：>>> list(range(1, 11))[1, 2,...原创 2019-10-20 14:27:57 · 167 阅读 · 0 评论 -
Python学习记录——7.函数
1.函数前导函数是组织好的，可重复使用的，用来实现单一，或相关联功能的代码段。函数能提高应用的模块性，和代码的重复利用率。我们已经知道Python提供了许多内建函数，比如print()。但也可以自己创建函数，这被叫做用户自定义函数。2.函数定义你可以定义一个由自己想要功能的函数，以下是简单的规则：函数代码块以def关键词开头，后接函数标识符名称和圆括号()。任何传入参数和自变量必须放...原创 2019-10-19 21:27:41 · 275 阅读 · 0 评论 -
Python学习记录——6.循环语句
1.循环前导循环语句允许我们执行一个语句或语句组多次，在Python中提供了for循环和while循环（在Python中没有do…while循环）:循环类型描述while 循环在给定的判断条件为 true 时执行循环体，否则退出循环体。for 循环重复执行语句嵌套循环你可以在while循环体中嵌套for循环而循环控制语句可以更改语句执行的顺序，Pyt...原创 2019-10-19 18:26:15 · 372 阅读 · 0 评论 -
Python学习记录——5.列表，元组，字典
文章目录1.列表2.元组3.字典1.列表List（列表） 是 Python 中使用最频繁的数据类型。列表可以完成大多数集合类的数据结构实现。它支持字符，数字，字符串甚至可以包含列表（所谓嵌套）。列表用[ ]标识。是python最通用的复合数据类型。列表中的值得分割也可以用到变量[头下标:尾下标]，就可以截取相应的列表，从左到右索引默认0开始的，从右到左索引默认-1开始，下标可以为空表示取...原创 2019-10-19 17:41:00 · 425 阅读 · 0 评论 -
Python学习记录——4.input()函数
文章目录1.input()函数2.综合复习3.练习3.1 哈利波特的宠物3.2 罗恩的减肥计划1.input()函数input()函数的使用示例如下：input('请在以下四个选项【格兰芬多；斯莱特林；拉文克劳；赫奇帕奇】中，输入你想去的学院名字:')input()函数是输入函数。就上面例子来讲，它需要你输入针对括号内**‘请在以下四个选项【格兰芬多；斯莱特林；拉文克劳；赫奇帕奇】...原创 2019-10-16 14:43:25 · 4254 阅读 · 0 评论 -
Python学习记录——3.条件判断与条件嵌套
1.条件判断在Python宇宙，条件判断语句总共有三种表现形式，先从最简单的单向判断：if开始说起：单向判断：if示例如下：# 为宝石数量赋值stonenumber=6# 条件：如果你拥有的宝石数量大于等于6个if stonenumber>=6: # 结果：显示‘你拥有了毁灭宇宙的力量’的结果 print('你拥有了毁灭宇宙的力量') 首...原创 2019-10-15 22:11:32 · 3774 阅读 · 1 评论 -
Python学习记录——2.数据类型与转换
1.数据类型在Python里，最常用的数据类型有三种——字符串(str)、整数(int)和浮点数(float)。字符串首先，来认识一下字符串，字符串英文string，简写str示例如下：name='千寻'print("Let's play")字符串的识别方式非常简单——有层名为【引号】的皮，只要是被【单/双/三引号】这层皮括起来的内容，不论那个内容是中文、英文、数字甚至火星文。...原创 2019-10-15 19:20:34 · 2425 阅读 · 0 评论 -
Python学习记录——1.print()函数与变量
1. print()函数示例如下：import timeprint ('在'+time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())+'，我写了人生中第一行Python代码\n它的内容虽然简单，不过是平凡的一句print(520)\n但我知道：我的编程之路，将从最简单的520开始\n在我点击运行的同时，一切在这一刻起开始变得不同\n以下，是这...原创 2019-10-15 16:14:32 · 3192 阅读 · 0 评论