LittleDragorse的博客

目录BeautifulSoup基础方法基本元素TagNameAttributesNavigableStringComment下行遍历tag.contentstag.childrentag.descendants上行遍历tag.parenttag.parents访问平行节点tag.next_siblingtag.next_...

针对以下各反爬手段的反制措施Headers最基本的反爬手段，一般被关注的变量是UserAgent和Refer，可以考虑使用浏览器里的。其中的ContentLength字段requests包会填写，可以不用。Content-Type字段是post表单的格式，必须和网站的一样。UA待续拉黑高频访问IP数据量大用IP池（伪装成多个访问者），爬取速度要求低用sleep()（伪装成人...

常用正则表达式from re import compilepercent = compile('([1-9]?[0-9]|100)%’) # 百分比date = compile(r'20\d{2}-(0[1-9]|1[012])-(0[1-9]|[12]\d|3[01])’)time = compile("([01]\d|2[0-3]):([0-5]\d):([0-5]\d)")w...

目录五大模块DownloaderSpiderItemPipelineScheduleEngine四个配置参数三个对象scrapy.http.Request常用属性常用方法Response常用属性常用方法Item两类中间件DownloaderMiddlewareSpiderMiddleware五大模块Downloa...

创建使用代理的无头浏览器def get_driver(proxy={'ip': ip, 'port': port}): chrome_options = webdriver.ChromeOptions() chrome_options.add_argument('--headless') chrome_options.add_argument('--proxy-server=h...