Python爬虫入门教程 78-100 用Scrapy+BloomFilter再写个增量爬虫

最新推荐文章于 2024-06-03 10:06:09 发布
最新推荐文章于 2024-06-03 10:06:09 发布
阅读量1.9w 收藏 18
点赞数 7
CC 4.0 BY-SA版权
分类专栏： 爬虫100例教程 文章标签： python 编程语言 Scrapy爬虫百例教程 Python爬虫入门教程 BloomFilter爬虫
梦想橡皮擦-独家版权，禁止转载
本文链接：https://blog.youkuaiyun.com/hihell/article/details/108225659
本文介绍了如何使用Python的Scrapy框架和BloomFilter实现增量爬虫。通过pybloom_live库处理布隆过滤器，解决网络爬虫的去重问题。文章详细讲解了BloomFilter的应用场景，如邮件黑名单和KV系统快速判断Key。还提供了Scrapy爬虫代码示例，并指导如何设置定时任务来运行爬虫。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Python爬虫入门教程 78-100

写在前面

今天是第78篇Python爬虫博客了，在这里立个Flag，争取在10月1日之前把爬虫百例写完，如果你从第一篇看到现在，你应该是一个合格的爬虫Coder了，继续加油！！

继续搞定增量爬虫，本文涉及两个Python模块，一个为Scrapy，另一个是BloomFilter

BloomFilter（布隆过滤器）使用场景

关于BloomFilter是谁发明的以及为什么发明，本文就不在赘述了，下面主要给大家分享一下BloomFilter使用的场景

  1. 黑名单应用（邮件黑名单）
  2. 网络爬虫去重（和我们要学的增量爬虫产生了关联）
  3. KV系统快速判断Key是否存在
  4. 减少缓存穿透（具体没尝试过，不做过多的解释，可以参照：http://blog.itpub.net/31561269/viewspace-2639083/ 博客内容）

今天需要掌握的一个库叫做pybloom_live 关于它的源码，最新的版本参照 https://pypi.org/project/pybloom_live/

首先去github查阅一下依赖库，这个地方蛮重要的，如果不注意后续很容易翻车https://github

了解本专栏 订阅专栏 解锁全文
使用BloomFilter优化scrapy-redis去重
Kosmoo的博客
12-27 1万+
使用BloomFilter优化scrapy-redis去重1. 背景 做爬虫的都知道，scrapy是一个非常好用的爬虫框架，但是scrapy吃内存非常的厉害。其中有个很关键的点就在于去重。 “去重”需要考虑三个问题：去重的速度和去重的数据量大小，以及持久化存储来保证爬虫能够续爬。 去重的速度：为了保证较高的去重速度，一般是将去重放到内存中来做的。例如python内置的set( )，redis的se
【愚公系列】《Python网络爬虫从入门到精通》049-了解Scrapy爬虫框架
最新发布
时光隧道
04-13 8785
大家好，欢迎来到《Python网络爬虫从入门到精通》系列教程的第48篇文章。经过前面几十篇的学习，我们已经掌握了使用 requests、BeautifulSoup、Selenium 等工具进行数据抓取的基本方法。然而，随着项目的复杂度提升，这些工具在面对大型、高并发、高可维护性的爬虫任务时，往往力不从心。这时候，专业的爬虫框架——Scrapy，就该登场了。Scrapy 是一个由 Python 编写的、功能强大的异步爬虫框架，它具备高性能、模块化、易扩展等诸多优点，被广泛应用于各种数据采集任务中。
scrapy中使用布隆过滤器BloomFilter
Awesome_py的博客
04-15 1742
布隆过滤器 BloomFilter 1.前言 ​ “去重”是日常工作中会经常用到的一项技能，在爬虫领域更是常用，并且规模一般都比较大。 ​ 去重需要考虑两个点：去重的数据量、去重速度。为了保持较快的去重速度，一般选择在内存中进行去重。数据量不大时，可以直接放在内存里面进行去重，例如python可以使用set()进行去重。当去重数据需要持久化时可以使用redis的set数据结构。当数据量再大一点时，可以用不同的加密算法先将长字符串压缩成16/32/40个字符，再使用上面两种方法去重；当数据量达到亿(甚至十亿
doc_scrapy_BloomFilter
FeelUps--The more U Give,The More U Have
11-10 352
Bloom Filter是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法。通常应用在一些需要快速判断某个元素是否属于集合，但是并不严格要求100%正确的场合。   一. 实例  　　为了说明Bloom Filter存在的重要意义，举一个实例： 　　假设要你写一个网络蜘蛛（web crawler）。由于网络间的链接错综复杂，蜘蛛在网络间爬行很可能会形成“环”。
ScrapyRedisBloomFilter:Scrapy Redis Bloom过滤器
05-11
Scrapy-Redis-BloomFilter 这是一个支持Scrapy-Redis的BloomFilter的软件包。 安装 您可以使用pip轻松安装此软件包： pip install scrapy-redis-bloomfilter 依赖关系： Scrapy-Redis> = 0.6.8 用法 将此设置添加到settings.py ： # Ensure use this Scheduler SCHEDULER = "scrapy_redis_bloomfilter.scheduler.Scheduler" # Ensure all spiders share same duplicates filter through redis DUPEFILTER_CLASS = "scrapy_redis_bloomfilter.dupefilter.RFPDupeFilter" #
推荐使用：Scrapy-Redis-BloomFilter - 超级强大的去重利器
gitblog_00021的博客
06-03 398
推荐使用：Scrapy-Redis-BloomFilter - 超级强大的去重利器 去发现同类优质开源项目:https://gitcode.com/ 在大数据爬虫领域，有效地去除重复数据是一项至关重要的任务。为此，我们向您隆重推荐一个开源项目——Scrapy-Redis-BloomFilter，它是一个专门针对Scrapy-Redis框架设计的布隆过滤器插件，能帮助您的爬虫轻松实现高效的去重功能。...
不踩坑的Python爬虫：Python爬虫开发与项目实战，从爬虫入门 Python
03-21
前者通过去重机制确保数据的唯一性，如使用BloomFilter算法；后者通过多机器协作，如结合Redis或MongoDB集群，提高爬取速度和稳定性。 最后，PySpider框架提供了更人性化的界面，简化了爬虫开发过程，让开发者可以...
Python爬虫开源项目代码分享，100个
qq_38082146的博客
11-09 1万+
今天博主给大家带来了一份大礼，100个Python爬虫开源项目代码分享，都是完整的项目源码！！！ 本文下面所有的爬虫项目都有详细的配套教程以及源码，都已经打包好上传到百度云了，百度云下载链接在文章结尾处！ 大家自行获取即可~~~ Python爬虫开源项目代码（一）：入门级 1. CentOS环境安装 2. 和谐图网站爬取 3. 美空网数据爬取 4. 美空网未登录图片爬取 5. 27270图片爬取 6. 蜂鸟网图片爬取之一 7. 蜂鸟网图片爬取之二 8. 蜂鸟网图片爬取之三 9..
python爬虫教程pdf-《Python爬虫开发与项目实战》pdf完整版
weixin_37988176的博客
11-01 1831
【实例简介】【实例截图】【核心代码】目录前言基础篇第1章　回顾Python编程21.1　安装Python21.1.1　Windows上安装Python21.1.2　Ubuntu上的Python31.2　搭建开发环境41.2.1　Eclipse PyDev41.2.2　PyCharm101.3　IO编程111.3.1　文件读写111.3.2　操作文件和目录141.3.3　序列化操作151.4　进程和...
Scrapy 爬虫去重效率优化之 Bloom Filter的算法的对接
墨鱼菜鸡
07-11 427
From：https://cloud.tencent.com/developer/article/1084962 Python分布式爬虫打造搜索引擎Scrapy精讲—将bloomfilter(布隆过滤器)集成到scrapy-redis中https://www.cnblogs.com/adc8868/p/7442306.html scrapy redi...
爬虫学习（三）
qq_51390057的博客
04-23 662
目录1.布隆过滤器2.模拟登录抓取数据（1）session、cookie（2）jwt3.超级鹰4.pyppeteer5.js逆向网易云（上）
网络安全攻防之破解小程序积分制度（Fiddler抓包教程实战）【文末含彩蛋】
『愚』的博客
10-09 5094
今天碰到一个微信公众号的的某个积分制功能：简单介绍就是你阅读文章可以刷积分，然后也可以使用积分，正好前段时间接触到了Fiddler（抓包神奇），想利用一下，把请求给修改了，从而增加自己的累计积分。这就是那个程序的界面，点击【我要阅读】，阅读文章后就可以增加学分，【互助发布】中可以消耗积分。仅供娱乐学习使用，若是影响到了该程序的开发者，联系删除！
Scrapy如何借助于BloomFilter实现增量爬取
zcc_0015的专栏
01-29 1万+
一、增量爬取的思路：即保存上一次状态，本次抓取时与上次比对，如果不在上次的状态中，便视为增量，保存下来。对于scrapy来说，上一次的状态是抓取的特征数据和上次爬取的 request队列（url列表），request队列可以通过request队列可以通过scrapy.core.scheduler的pending_requests成员得到，在爬虫启动时导入上次爬取的特征数据，并且用上次request
BloomFilter在Python爬虫中的使用
老鹰的博客
01-08 1492
BloomFilter BloomFilter（布隆过滤器）是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法。BloomFilter是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。BloomFilter的这种高效是有一定代价的：在判断一个元素是否属于某个集合时，有可能会把不属于这个集合的元素误认为属于这个集合（false positive）。因此，BloomFilter不适合那些“零错误”的应用场合。而在能容忍低错误率的应用场合下，Bl
基于Redis的Bloomfilter去重（附Python代码）
热门推荐
九茶
11-10 2万+
前言：“去重”是日常工作中会经常用到的一项技能，在爬虫领域更是常用，并且规模一般都比较大。去重需要考虑两个点：去重的数据量、去重速度。为了保持较快的去重速度，一般选择在内存中进行去重。 数据量不大时，可以直接放在内存里面进行去重，例如python可以使用set()进行去重。 当去重数据需要持久化时可以使用redis的set数据结构。 当数据量再大一点时，可以用不同的加密算法先将长字符串压缩成 16/
搜索引擎–Scrapy爬虫使用Bloom Filter算法进行URL去重
473687880
10-15 257
主机环境：Ubuntu 13.04 Python版本：2.7.4 转载请标明：http://blog.yanming8.cn/archives/135 1、安装 1 sudo pip install pybloomfiltermmap 或者直接在github获取最新源代码，编译安装 1 sudo python setup.py install 2、使用方法 1 class pybloom...
scrapy-redis去重优化（Scrapy+Redis+Bloomfilter）附Demo福利
xk1761299425的博客
11-13 3866
背景： 前些天接手了上一位同事的爬虫，一个全网爬虫，用的是scrapy+redis分布式，任务调度用的scrapy_redis模块。 大家应该知道scrapy是默认开启了去重的，用了scrapy_redis后去重队列放在redis里面。我接手过来的时候爬虫已经有7亿多条URL的去重数据了，再加上一千多万条requests的种子，redis占用了一百六十多G的内存（服务器，Centos7），总共才...
Scrapy爬虫去重效率优化之Bloom Filter的算法的对接
学海无涯
06-10 4368
首先回顾一下Scrapy-Redis的去重机制。Scrapy-Redis将Request的指纹存储到了Redis集合中，每个指纹的长度为40，例如27adcc2e8979cdee0c9cecbbe8bf8ff51edefb61就是一个指纹，它的每一位都是16进制数。我们计算一下用这种方式耗费的存储空间。每个十六进制数占用4 b，1个指纹用40个十六进制数表示，占用空间为20 B，1万个指纹即占用空...
python关键词爬虫创建ai知识库，chromadb
03-28
<think>好的，我现在需要帮助用户构建一个基于关键词爬虫的AI知识库，并涉及ChromaDB的应用。首先，我应该先理清整个流程，确保每个步骤都正确无误。用户可能对爬虫、知识库构建以及ChromaDB的使用不太熟悉，所以需要分步骤详细说明。 首先，用户提到了关键词爬虫，所以第一步应该是如何实现爬虫功能。根据引用[4]和[5]，用户可能需要使用Python的库如requests和BeautifulSoup来发送请求和解析网页。同时，引用[2]提到了其他爬虫库比如Scrapy和portia，不过考虑到用户可能更倾向于简单实现，用requests和BeautifulSoup会更合适。此外，引用[4]还提到安装这些库的命令，我需要确保用户正确安装依赖。 接下来是数据存储部分。用户需要将爬取的数据结构化存储，可能用SQLite或者文本文件。根据引用[3]，知识图谱的数据存储可能需要更复杂的结构，但这里用户只需要关键词相关的数据，所以简单的数据库或文件存储即可。 然后是文本向量化，这部分需要用到自然语言处理模型。引用[4]提到了使用dashscope库，这可能是指阿里云的通义千问模型，或者其他预训练模型如Sentence Transformers。这里需要确认用户是否有访问这些模型的权限，并指导如何将文本转换为向量。 接下来是使用ChromaDB进行向量存储和检索。ChromaDB是一个向量数据库，用户需要知道如何安装和初始化，如何将向量数据存入，并进行相似性搜索。需要详细说明每一步的操作，包括代码示例。 最后，整合整个系统，确保爬虫、处理、存储和检索各环节衔接顺畅。可能需要提供完整的代码框架，并解释各部分的功能。 同时，用户可能关心性能优化、扩展性以及实际应用中的问题，比如爬虫的合法性、反爬措施处理、模型选择等。引用[5]提到知识图谱的重要性，可能需要考虑数据的关系和结构，但当前项目可能更侧重于关键词和向量检索，所以这部分可以简要提及。 在编写代码时，要注意异常处理，比如网络请求失败、解析错误等，确保系统的健壮性。同时，数据清洗和预处理也是关键步骤，避免无效数据影响知识库质量。 还需要考虑ChromaDB的具体用法，比如如何创建集合、插入数据、查询等。可能需要参考官方文档，确保代码的正确性。 总结下来，步骤大致分为：爬虫实现、数据存储、文本向量化、ChromaDB集成、系统整合。每个步骤都需要详细说明，并给出示例代码。同时，要提醒用户注意法律合规性和伦理问题，确保爬虫行为符合目标网站的规则。</think>以下是使用Python构建基于关键词爬虫的AI知识库，并结合ChromaDB的实现方案： ### 一、系统架构设计 ```mermaid graph TD A[网络爬虫] --> B[数据清洗] B --> C[向量化处理] C --> D[ChromaDB存储] D --> E[语义检索] ``` ### 二、实现步骤详解 #### 1. 关键词爬虫开发 ```python import requests from bs4 import BeautifulSoup from urllib.parse import urljoin class KeywordSpider: def __init__(self, seed_url, keywords): self.seed_url = seed_url self.keywords = keywords self.visited = set() def crawl(self, max_depth=2): results = [] queue = [(self.seed_url, 0)] while queue: url, depth = queue.pop(0) if depth > max_depth or url in self.visited: continue try: response = requests.get(url, timeout=10) soup = BeautifulSoup(response.text, 'html.parser') text = soup.get_text() # 关键词匹配逻辑 if any(keyword.lower() in text.lower() for keyword in self.keywords): results.append({ 'url': url, 'content': text[:2000] # 截取前2000字符 }) # 提取新链接 for link in soup.find_all('a', href=True): absolute_url = urljoin(url, link['href']) if absolute_url.startswith('http'): queue.append((absolute_url, depth+1)) self.visited.add(url) except Exception as e: print(f"Error fetching {url}: {str(e)}") return results ``` *说明：该爬虫支持关键词过滤和层级控制，使用BeautifulSoup解析HTML[^4]* #### 2. 数据向量化处理 ```python from sentence_transformers import SentenceTransformer # 加载预训练模型 model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2') def vectorize_text(texts): return model.encode(texts) ``` *说明：使用轻量级多语言模型生成文本向量[^4]* #### 3. ChromaDB集成 ```python import chromadb from chromadb.config import Settings # 初始化客户端 client = chromadb.Client(Settings( chroma_db_impl="duckdb+parquet", persist_directory=".chromadb" )) # 创建集合 collection = client.create_collection("knowledge_base") # 添加数据示例 def add_to_chroma(data): ids = [str(hash(item['url'])) for item in data] documents = [item['content'] for item in data] embeddings = vectorize_text(documents) collection.add( embeddings=embeddings.tolist(), documents=documents, ids=ids, metadatas=[{"source": item['url']} for item in data] ) ``` ### 三、完整工作流程 1. 初始化爬虫并获取数据 ```python spider = KeywordSpider( seed_url="https://example.com", keywords=["人工智能", "机器学习"] ) data = spider.crawl() ``` 2. 数据清洗（示例） ```python import re def clean_text(text): text = re.sub(r'\s+', ' ', text) # 去除多余空格 text = re.sub(r'<[^>]+>', '', text) # 去除HTML标签 return text.strip() for item in data: item['content'] = clean_text(item['content']) ``` 3. 存储到ChromaDB ```python add_to_chroma(data) client.persist() # 持久化存储 ``` 4. 知识检索示例 ```python def semantic_search(query, top_k=3): query_vec = vectorize_text([query])[0] results = collection.query( query_embeddings=[query_vec.tolist()], n_results=top_k ) return results ``` ### 四、性能优化建议 1. 使用异步请求提升爬虫效率（如aiohttp） 2. 添加Bloom Filter进行URL去重[^5] 3. 实现增量爬取机制 4. 添加请求速率限制避免被封禁 ### 五、法律与伦理注意事项 1. 遵守robots.txt协议 2. 设置合理的请求间隔（建议≥2秒） 3. 仅爬取公开可用数据 4. 尊重网站版权声明
评论 45
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

梦想橡皮擦

如有帮助，来瓶可乐

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值