本文详细介绍了爬虫技术的基础操作与性能优化方案，包括伪造浏览器行为、并发策略及异步I/O技术如gevent、Twisted和aiohttp的应用。深入探讨了Scrapy框架的异步IO机制，并指导如何基于其源码自定义爬虫框架。同时，文章还涵盖了Tornado框架的使用技巧及其源码分析，最后展示了如何利用select实现自定义异步非阻塞框架。
阶段大纲
一.爬虫
1.基本操作
-登录任意网站（伪造浏览器的任何行为）
2.性能相关
-并发方案：
-异步I/O：gevent/Twisted/asyncio/aiohttp
-自定义异步IO模块
-IO多路复用：select
3.Scrapy框架
介绍：异步IO：Twisted
-基于Scrapy源码自定义爬虫框架
-使用Scrapy
二.Tornada框架（异步非阻塞）
1.Tornada的基本使用
-小示例
-自定义组件
2.Tornada源码剖析
3.自定义异步非阻塞框架 select实现
Python爬虫的阶段大纲
最新推荐文章于 2023-10-13 17:27:10 发布
扫一扫
509
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
