lizoe_的博客

1.requests模块发送POST请求1.1 哪些地方我们会用到POST请求：登录注册（ POST 比 GET 更安全）需要传输大文本内容的时候（ POST 请求对数据长度没有要求）所以同样的，我们的爬虫也需要在这两个地方回去模拟浏览器发送post请求1.2 使用requests模块发送post请求用法：response = requests.post(“http://w...

1.前提由于把json数据转化为python内建数据类型很简单，所以爬虫中，如果我们能够找到返回json数据的URL，就会尽量使用这种URL，而很多地方也都会返回json2. 什么是jsonJSON(JavaScript Object Notation) 是一种轻量级的数据交换格式，它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台...

1. 什么是数据提取简单的来说，数据提取就是从响应中获取我们想要的数据的过程2. 爬虫中数据的分类结构化数据：json，xml等- 处理方式：直接转化为python类型非结构化数据：HTML- 处理方式：正则表达式、xpath下面以今日头条的首页为例，介绍结构化数据和非结构化数据结构化数据例子：非结构化数据：XML数据：<bookstore>...

1. requests模块获取cookierequests.utils.dict_from_cookiejar:把cookiejar对象转化为字典import requestsurl = "http://www.baidu.com"response = requests.get(url)print(type(response.cookies))cookies = requests....

1. 为什么要重点学习requests模块，而不是urllibrequests的底层实现就是urllibrequests在python2 和python3中通用，方法完全一样requests简单易用Requests能够自动帮助我们解压(gzip压缩的等)网页内容2.requests的作用作用：发送网络请求，返回响应数据中文文档 ： http://docs.python-reque...

1. http和https的概念HTTP- 超文本传输协议 默认端口号:80- 默认端口号:80HTTPS- HTTP + SSL(安全套接字层) 默认端口号：443- 默认端口号：443HTTPS比HTTP更安全，但是性能更低2.浏览器发送HTTP请求的过程浏览器会主动请求js，css等内容，js会修改页面的内容，js也可以重新发送请求，最后浏览器渲染出来的内容在e...

1. 爬虫的分类根据被爬网站的数量的不同，我们把爬虫分为：通用爬虫 ：通常指搜索引擎的爬虫聚焦爬虫 ：针对特定网站的爬虫2.爬虫的流程请思考：如果自己要实现一个和百度新闻一样的网站需要怎么做？2.1 聚焦爬虫的工作流程如下：2.2 搜索引擎的工作流程如下：但是搜索引擎类似的通用爬虫的工作流程有些不同2.3 搜索引擎的局限性通用搜索引擎所返回的网页里90%的内容...

爬虫：模拟浏览器的行为，向服务器发送请求，获取响应中的数据。往白了说就是模拟浏览器的行为。掌握要点 : 如何更像的模拟浏览器的行为.总结 : 浏览器能拿到的数据，就一定可以爬到；浏览器拿不到的数据，就一定爬不到。...

您可能听说过，带有 yield 的函数在 Python 中被称之为 generator（生成器），何谓 generator ？我们先抛开 generator，以一个常见的编程题目来展示 yield 的概念。如何生成斐波那契數列斐波那契（Fibonacci）數列是一个非常简单的递归数列，除第一个和第二个数外，任意一个数都可由前两个数相加得到。用计算机程序输出斐波那契數列的前 N 个数是一个非常...

1. lxml的认识在前面学习了xpath的语法，那么在代码中我们如何使用xpath呢，对应的我们需要lxml安装方式：pip install lxml2. lxml的使用2.1 lxml模块的入门使用1.导入lxml 的 etree 库 (导入没有提示不代表不能用) `from lxml import etree`2.利用etree.HTML，将字符串转化为Element对象,E...

1. xpath和lxmllxml是一款高性能的 Python HTML/XML 解析器，我们可以利用XPath，来快速的定位特定元素以及获取节点信息2. 什么是xpathXPath (XML Path Language) 是一门在 HTML\XML 文档中查找信息的语言，可用来在 HTML\XML 文档中对元素和属性进行遍历。W3School官方文档：http://www.w3schoo...

1.使用requests处理cookie相关的请求1.1 回顾cookie和session的区别cookie数据存放在客户的浏览器上，session数据放在服务器上。cookie不是很安全，别人可以分析存放在本地的cookie并进行cookie欺骗。session会在一定时间内保存在服务器上。当访问增多，会比较占用你服务器的性能。单个cookie保存的数据不能超过4K，很多浏览器都限制...

1. 什么是正则表达式用事先定义好的一些特定字符、及这些特定字符的组合，组成一个规则字符串，这个规则字符串用来表达对字符串的一种过滤逻辑。2. 正则表达式的常见语法知识点正则中的字符正则中的预定义字符集正则中的数量词正则的语法很多，不能够全部复习，对于其他的语法，可以临时查阅资料，比如:表示或还能使用|练习： 下面的输出是什么？string_a = '<meta ht...