
爬虫
onceYoung
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
3.1爬虫的基本知识点
数据来源 ·第三方公司购买 ·免费网站下载 ·人工收集 ·爬虫爬取数据定义 模拟浏览器发送网络请求, 接收请求响应, 一种按照一定规则, 自动抓取网络信息的程序。爬虫分类 ·通用爬虫, ·聚焦爬虫 ·流程 ·向起始url发送请求, 并获取响应, ·对响应进行提取, ·如果提取url, 则继续发送请求获取响应 ·如果提取数据, 则将数据保存 ·http: 超文本传输协议 ·https:H...原创 2018-07-11 11:09:59 · 251 阅读 · 0 评论 -
3.2 requests 模块--帮助我们发起请求获取响应
一、基本使用 request.get(url)# 方式一:利用params参数发送带参数的请求, hearders发送时自带请求头伪装浏览器 import requests headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrom...原创 2018-07-11 11:28:25 · 405 阅读 · 0 评论 -
爬虫--基础
request 模块使用 一、参数设置 import request url = "https://www.baidu.com" headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ...原创 2018-09-03 23:31:41 · 337 阅读 · 0 评论