本文介绍了使用Python进行网络爬虫的基本方法，包括第三方库的安装步骤、常用的爬虫库如requests的安装方式、URL的解析格式及robots协议的介绍。此外，还提供了处理访问限制的技巧和基本的爬虫框架。
首先基础语法，python第三方库的安装
1 下载第三方包，解压
2 在命令提示符里输入cmd，然后用cd进入到第三方包的路径下
3 输入python setup.py build
4 输入python setup.py install
看到包内的文件在安装即可……。
pip install 库
爬虫requests。所有的爬虫为解析url格式，例：url=“www.baidu.com?q=”。robots协议。绕过访问限制的方法。基本爬虫框架，try.......except............
beautifulsoup格式解析
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
