
爬虫
weixin_43382980
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Chrome WebDriver
http://chromedriver.storage.googleapis.com/index.html?path=2.45/ text 可以查阅对应的版本转载 2019-01-29 17:05:08 · 303 阅读 · 0 评论 -
python使用requests时报错requests.exceptions.SSLError: HTTPSConnectionPool
python使用requests时报错requests.exceptions.SSLError: HTTPSConnectionPool 2017年08月13日 14:23:13 win_turn 阅读数:33488 版权声明:文为昔日之积累,常忘食废寝而得,望友传之时注以源。 https://blog.youkuaiyun.com/win_turn/article/details/77142100 报错信息...转载 2019-02-03 22:34:55 · 2194 阅读 · 0 评论 -
[Python3网络爬虫开发实战] -使用pyquery
https://cuiqingcai.com/5551.html转载 2019-02-03 21:17:33 · 224 阅读 · 0 评论 -
requests使用说明
Requests: 让 HTTP 服务人类 虽然Python的标准库中 urllib2 模块已经包含了平常我们使用的大多数功能,但是它的 API 使用起来让人感觉不太好,而 Requests 自称 “HTTP for Humans”,说明使用更简洁方便。 Requests 唯一的一个非转基因的 Python HTTP 库,人类可以安全享用:) Requests 继承了urllib2的所有特性。Re...转载 2019-01-29 09:58:29 · 714 阅读 · 0 评论 -
HTTP响应状态码参考:
1xx:信息 100 Continue 服务器仅接收到部分请求,但是一旦服务器并没有拒绝该请求,客户端应该继续发送其余的请求。 101 Switching Protocols 服务器转换协议:服务器将遵从客户的请求转换到另外一种协议。 2xx:成功 200 OK 请求成功(其后是对GET和POST请求的应答文档) 201 Created 请求被创建完成,同时新的资源被创建。 202 Accepte...转载 2019-01-29 09:51:25 · 201 阅读 · 0 评论 -
爬虫
一、urllib、urllib2 ①request = urllib2.Request(url=url,data=data,headers=headers) response = urllib2.urlopen(request) response.read() # 通过urllib.urlencode()方法,将字典键值对按URL编码转换,从而能被web服务器接受。 word = {“a”:“2”...原创 2019-01-29 09:50:27 · 152 阅读 · 0 评论 -
HTTP代理神器Fiddler
HTTP代理神器Fiddler Fiddler是一款强大Web调试工具,它能记录所有客户端和服务器的HTTP请求。 Fiddler启动的时候,默认IE的代理设为了127.0.0.1:8888,而其他浏览器是需要手动设置。 工作原理 Fiddler 是以代理web服务器的形式工作的,它使用代理地址:127.0.0.1,端口:8888 Fiddler抓取HTTPS设置 启动Fiddler,打开菜单栏中...转载 2019-01-29 08:43:42 · 160 阅读 · 0 评论 -
linux下chrome和chromedriver的安装
linux下chrome和chromedriver的安装 1、安装chrome 用下面的命令安装最新的 Google Chrome yum install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm 也可以下载到本地再安装 wget https://dl.google.com/linux/di...转载 2019-01-26 17:29:28 · 3313 阅读 · 0 评论 -
selenium chromedriver与bs4配合使用爬取斗鱼信息
#**!/usr/bin/env python -- coding:utf-8 -- python的测试模块 import unittest from selenium import webdriver from bs4 import BeautifulSoup class douyuSelenium(unittest.TestCase): # 初始化方法 def setUp(self): sel...原创 2019-01-29 19:58:31 · 721 阅读 · 0 评论