m0_63860007的博客

如果有多个URL等待我们爬取，我们通常是一次只能爬取一个，爬取效率低，异步爬虫可以提高爬取效率，可以一次多多个URL同时同时发起请求异步爬虫方式：一、多线程、多进程（不建议）：可以为爬取阻塞（多个URL等待爬取）单独开启线程或进程，多个爬取URL异步执行（不能开启无限多个）二、线程池、进程池：可以降低系统对进程或者线程创建和消除的频率，从而降低系统的开销，池中进程或线程的数量是有上限的一、单线程串行爬取用时间延时模拟爬取每个网址的耗时时间。

1.selenium交互。无页面浏览器速度更快。

【代码】python爬虫4。

静态cookie可视绕过登录的限制。1.异常处理，使代码更加健壮。快代理是一个代理平台。

1.table 是表格，tr是行，td是列 ul li是无序列标签用的较多，ol li是有序列标签。请求对象定制，现在国际统一编码-unicode。2.urllib库的基本使用。

2：使用程序模拟浏览器，去向服务器发送请求，获取响应信息。爬取网页：爬取整个网页 包含了网页中所有得内容。解析数据：将网页中你得到的数据 进行解析。进行爬取网页，获取有用信息。难点：爬虫和反爬虫之间的博弈。：通过一个程序，根据。