
Python爬虫
文章平均质量分 55
94v587
这个作者很懒,什么都没留下…
展开
-
什么是爬虫?有哪些用途
数据的来源:去第三方的公司购买数据(比如企查查)去免费的数据网站下载数据(比如国家统计局)通过爬虫爬取数据人工收集数据(比如问卷调查)爬虫的概念: 模拟浏览器发送网络请求,接收请求响应爬虫的用途: 12306抢票,网络投票等爬虫的分类: 分为通用爬虫(搜索引擎、聚焦爬虫(12306抢票) 、增量式网络爬虫(Incremental Web Crawler)和深层网络爬虫爬虫获取的数据的用途...原创 2018-07-11 11:44:51 · 22440 阅读 · 2 评论 -
HTTP和HTTPS
在发送请求,获取响应的过程中 就是发送http或https的请求,获取http或https的响应HTTP: 超文本传输协议, 默认端口号80HTTP + SSL(安全套接字层),即带有安全套接字层的超本文传输协议 默认端口: 443浏览器发送HTTP请求的过程浏览器先向地址栏中的url发起请求,并获取相应在返回的响应内容(html)中,会带有css、js、图片等url地址,以及ajax代码,浏览...原创 2018-07-11 14:05:49 · 467 阅读 · 0 评论 -
requests和urllib模块
requests模块的介绍: 能够帮助我们发起请求获取响应response常见的属性: response.text 响应体 str类型 respones.content 响应体 bytes类型 response.status_code 响应状态码 response.request.headers 响应对应的请求头 response.headers 响应头 response.request._...原创 2018-07-13 09:33:51 · 1942 阅读 · 0 评论