yangbenhao的博客

from selenium import webdriverimport timeimport requestsfrom lxml import etreeimport base64#操作浏览器def getheaders(): driver = webdriver.Chrome() #这是要访问的网站 url = 'https://accounts.douba...

import scrapy import json import re import datetime import time from w3lib.html import remove_tags import math from my_project.items import WeiboItem class WeiboSpider(scrapy.Spider): nam...

## 文章开头做个说明，拉勾网的反爬机制为利用scrapy框架的cookie来识别你的身份，所以要在settings里面的COOKIES_ENABLED = False的注释打开,然后再全局里面加上拉勾网自己的cookie信息,然后程序就能运行起来了DEFAULT_REQUEST_HEADERS = { ‘Accept’: ‘text/html,application/xhtml+...