- 博客(63)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 python备份mongodb数据库全量备份
本文介绍了一个Python脚本，用于实现MongoDB数据库的全量备份功能。该脚本通过pymongo库连接MongoDB，使用自定义的JSON编码器处理MongoDB特殊数据类型（如ObjectId、datetime等），将数据库中的所有非系统集合批量导出为JSON文件。脚本支持分批导出以避免内存溢出，可配置连接参数、输出目录和导出批次大小。执行后会创建按数据库名分类的文件夹结构，每个集合保存为一个格式化的JSON文件。最后提供了配置示例和调用方法，适用于本地或远程MongoDB的备份需求。
2025-12-02 19:48:30
147
原创 scrapy核心组件工作流程
Scrapy框架的工作流程包括8个核心步骤：1.Spider生成初始请求；2.Engine将请求传递给Scheduler；3.Scheduler调度请求；4.Engine通过Downloader Middleware处理请求；5.Downloader获取网页响应；6.Engine通过Spider Middleware传递响应给Spider；7.Spider解析响应生成Item或新请求；8.Engine将Item送至Item Pipeline处理。各组件分工明确：Spider负责规则定义，Engine协调调度
2025-09-08 10:55:58
1611
原创 Python爬虫面试求生指南：从‘Hello World’到‘法官，我冤枉啊！’的超长灵魂拷问
Python 并发爬虫优化方案 Python 的 concurrent.futures 模块可通过以下方式优化爬虫任务： 线程池优化 I/O 任务 使用 ThreadPoolExecutor 处理网络请求等 I/O 密集型操作 典型应用：批量请求网页时避免阻塞主线程 进程池处理 CPU 任务 使用 ProcessPoolExecutor 处理数据解析等 CPU 密集型操作 绕过 GIL 限制，充分利用多核性能 任务批量提交 通过 submit() 或 map() 方法批量提交任务 示例：同时发起多个 URL
2025-08-21 15:10:30
1882
原创 flask基于装饰器实现限速
本文展示了一个使用Flask框架实现请求速率限制的示例代码。该程序通过维护一个全局字典来记录每个IP地址的请求次数，当某一IP每秒请求超过5次时，返回429状态码(Too Many Requests)。程序使用loguru进行日志记录，详细记录了每个请求的访问次数、IP地址和状态信息。日志输出示例显示了从正常访问到触发限速的完整流程，当请求达到第6次时开始拒绝服务并记录警告日志。这种方法可以有效防止API滥用和DDoS攻击，同时保留详细的访问日志供分析使用。
2025-06-10 13:57:49
534
原创 API QPS 限流服务
这是一个基于Go语言开发的API服务，具有IP限流和随机数据获取功能。该服务使用MongoDB存储数据，内存实现IP限流功能。该脚本会读取 data.json 中的数据并插入到 MongoDB 数据库中。
2025-04-18 11:18:22
780
原创 利用paddle的识别模型识别图片内容(chinese_text_detection_db_server)
【代码】利用paddle的识别模型识别图片内容(chinese_text_detection_db_server)
2025-02-18 16:33:26
462
原创 逛github遇到喜欢的项目但是没时间去看的解决方法
逛GitHub遇到喜欢的项目但是暂时又不想看可以clone方法:服务器搭建一个简单的flask dmeo，遇到喜欢的把链接发送给服务器，让服务器去下载，我们去干别的事。
2025-02-17 10:09:22
244
LangChain-ChatLLM-webui.md
2023-09-18
Vue antd 表格 组件
2021-04-27
TA创建的收藏夹 TA关注的收藏夹
TA关注的人