python爬虫搜索引擎学习心得

最新推荐文章于 2025-07-06 15:13:09 发布

原创

最新推荐文章于 2025-07-06 15:13:09 发布 · 1.5k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#python

本文分享了使用Python构建搜索引擎的学习过程，包括创建虚拟环境、安装Django、Scrapy项目创建、爬取网站如jobbole.com、应对反爬虫策略、使用代理IP、Selenium以及部署和分布式爬虫的优势。还提到了安装requests、fake-useragent等库，以及数据抓取后的处理和存储。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

pyton爬虫打造搜索引擎的学习心得

1.创建虚拟机：virtualenv scrapytest
2.启动虚拟机:进入虚拟机：cd scrapytest然后cd Scripts然后执行activate.bat,如果退出虚拟机则执行deactivate.bat
3.用python3.5创建虚拟机：在虚拟环境scrapytest下Scripts下运行virtualenv -p D:\WorkSpace\python3.5.3\python.exe scrapypy3
4.创建python项目：在进入虚拟机的情况下，执行scrapy startproject ArticleSpider创建python项目
5.镜像：https://pypi.douban.com/simple/
6.安装django:先下载压缩包，解压到与python同目录下，进入django目录，执行命令：python setup.py
7.创建python项目：在进入虚拟机的情况下，执行scrapy startproject ArticleSpider创建python项目
8.爬取网站：进入项目根目录，然后执行scrapy genspider jobbole blog.jobbole.com
9.启动spider:例如启动jobbole,需要进入项目根目录，然后安装pypiwin32,执行命令pip install pypiwin32,然后执行scrapy crawl jobbole
10.要在命令行爬取数据，例如爬取http://www.jobbole.com/网页的数据，执行命令scrapy shell http://www.jobbole.com/
11.安装requests库，进入项目根目录，执