本项目利用request+selenium技术，爬取多个网站数据，包括XXX、XXX等，每月定期抓取特定数据，应用于XXX场景。采用linux环境，结合PyCharm、MongoDB、Redis等工具，实现数据存储、定时任务及URL去重，通过代理IP池和Cookie管理应对反爬措施，借助Selenium解析JS生成数据，提升爬虫效率。
爬虫项目
项目名字
request+selenium爬虫
项目周期
项目介绍
爬了XXXXX，XXX，XXX，等网站，获取网站上的XXX，XXX，XXX，数据，每个月定时抓取XXX数据，使用该数据实现了XXX，XXX，XX，
开发环境
linux+pycharm+requests+mongodb+redis+crontab+scrapy_redis+ scarpy + mysql+gevent+celery+threading
使用技术
使用requests...把数据存储在mongodb中
使用crontab实现程序的定时启动抓取
url地址的去重
使用redis的集合，把request对象的XXX字段通过sha1生成指纹，放入redis的集合中进行去重，实现基于url地址的增量式爬虫
布隆过滤
对数据的去重
把数据的XXX字段通过sha1生成指纹，放入redis的集合中进行去重，实现增量式爬虫
反扒
代理ip
购买了第三的代理ip，组成代理ip池，其中的ip没两天更新一次，同时使用单独的程序来检查代理ip的可用
cookie
准备了XX个账号，使用requests获取账号的对应的cookie，存储在redis中，后续发送请求的时候随机选择cookie
使用selenium来进行模拟登陆，获取cookie，保存在Redis中
数据通过js生成
分析js，通过chrome浏览器定位js的位置，寻找js生成数据的方式
通过selenium来模拟页面的加载内容，获取页面动态加载后的数据
提高爬虫效率
使用多线，线程池，协程，celery来完成爬虫
使用scrapy框架来实现爬虫，
不能断点续爬，请求过的url地址不能持久化
使用scrapy_redis
不能对数据进行去重
把数据的XXX字段通过sha1生成指纹，放入redis的集合中进行去重，实现增量式爬虫
scrapy_redis
domz实现增量式，持久化的爬虫
实现分布式爬虫
项目名字
scarpy爬虫
项目周期
项目介绍
爬了XXXXX，XXX，XXX，等网站，获取网站上的XXX，XXX，XXX，数据，每个月定时抓取XXX数据，使用该数据实现了XXX，XXX，XX，
开发环境
linux+pycharm+requests+mongodb+redis+crontab+scrapy_redis+ scarpy + mysql+gevent+celery+threading
使用技术
使用requests...把数据存储在mongodb中
使用crontab实现程序的定时启动抓取
url地址的去重
使用redis的集合，把request对象的XXX字段通过sha1生成指纹，放入redis的集合中进行去重，实现基于url地址的增量式爬虫
布隆过滤
对数据的去重
把数据的XXX字段通过sha1生成指纹，放入redis的集合中进行去重，实现增量式爬虫
反扒
代理ip
购买了第三的代理ip，组成代理ip池，其中的ip没两天更新一次，同时使用单独的程序来检查代理ip的可用
cookie
准备了XX个账号，使用requests获取账号的对应的cookie，存储在redis中，后续发送请求的时候随机选择cookie
使用selenium来进行模拟登陆，获取cookie，保存在Redis中
数据通过js生成
分析js，通过chrome浏览器定位js的位置，寻找js生成数据的方式
通过selenium来模拟页面的加载内容，获取页面动态加载后的数据
提高爬虫效率
使用多线，线程池，协程，celery来完成爬虫
使用scrapy框架来实现爬虫，
不能断点续爬，请求过的url地址不能持久化
使用scrapy_redis
不能对数据进行去重
把数据的XXX字段通过sha1生成指纹，放入redis的集合中进行去重，实现增量式爬虫
scrapy_redis
domz实现增量式，持久化的爬虫
实现分布式爬虫
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
