<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[ip16yun的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/ip16yun</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; ip16yun]]></copyright><item><title><![CDATA[告别 ELK 账单刺客：用 ClickHouse + 隧道代理搭建百亿级爬虫观测底座]]></title><link>https://blog.youkuaiyun.com/ip16yun/article/details/165314357</link><guid>https://blog.youkuaiyun.com/ip16yun/article/details/165314357</guid><author>ip16yun</author><pubDate>Mon, 14 Sep 2026 14:44:58 +0800</pubDate><description><![CDATA[针对高并发爬虫场景下 MySQL 写入瓶颈、ELK 机器成本高昂及快照日志割裂等痛点，本文分享了用 ClickHouse 统一承接日志度量与 HTML 快照的架构实践。依托列式存储与 ZSTD 编码实现 7.7:1 极限压缩，通过 LSM-Tree 追加写支撑单机 20 万行/秒写入，配合原生 TTL 实现冷热自动分层。结合亿牛云隧道代理提供异步度量采集、批量入库及排障 SQL 的完整落地代码，实测降低 75% 存储成本并达成毫秒级聚合分析。]]></description><category></category></item><item><title><![CDATA[爬虫健康度看板_实时监控成功率响应时间与异常占比]]></title><link>https://blog.youkuaiyun.com/ip16yun/article/details/164621454</link><guid>https://blog.youkuaiyun.com/ip16yun/article/details/164621454</guid><author>ip16yun</author><pubDate>Tue, 08 Sep 2026 16:05:20 +0800</pubDate><description><![CDATA[针对传统爬虫“进程存活却无有效数据”的监控盲区，本文提出了一套完整的爬虫链路可观测性与健康度监控体系。文章从“首包与终态双口径成功率、TTFB 延迟分位数、可处置异常分类”三大度量口径切入，详解了基于 aiohttp 生命周期的精细化埋点、5 分钟滚动窗口流式聚合，以及 Prometheus/Grafana 核心告警规则的搭建；并结合 7 天连续实测数据，深度解析了 IP 池规模、去重率与 Proxy-Tunnel 业务隔离对监控基线的决定性影响，为构建高可用数据采集系统提供了可直接复用的工程落地清单。]]></description><category></category></item><item><title><![CDATA[爬虫调度系统设计：用 Celery 实现按媒体权重动态调整的抓取频率控制]]></title><link>https://blog.youkuaiyun.com/ip16yun/article/details/163881587</link><guid>https://blog.youkuaiyun.com/ip16yun/article/details/163881587</guid><author>ip16yun</author><pubDate>Wed, 19 Aug 2026 11:12:34 +0800</pubDate><description><![CDATA[基于媒体权重动态调整的舆情采集系统，通过为每个媒体源分配权重值来决定抓取频率，权重根据成功率和新内容数量实时调整。系统利用Celery和Redis进行任务调度，使用隧道代理自动换IP，失败时自动重试。调度器每分钟计算抓取频率，权重自适应模块根据数据调整权重。改造后，代理流量降低四成，热点命中延迟缩短，抓取成功率提高，效率和准确性显著提升。]]></description><category></category></item><item><title><![CDATA[聊聊数据的“冷热分离“：如何对历史爬虫数据进行合理的归档与压缩存储？]]></title><link>https://blog.youkuaiyun.com/ip16yun/article/details/163819109</link><guid>https://blog.youkuaiyun.com/ip16yun/article/details/163819109</guid><author>ip16yun</author><pubDate>Mon, 17 Aug 2026 11:27:05 +0800</pubDate><description><![CDATA[这篇实战笔记讨论了爬虫项目中数据量增长的挑战，并提供了冷热数据分离的解决方案。主要内容包括：1. 数据量增长导致查询慢、成本高；2. 冷热数据分离的概念；3. 使用亿牛云隧道代理简化配置；4. 分层架构设计；5. 实战代码示例；6. 压缩选型。文档强调了冷热数据分离的重要性，并提供了实施方法和代码示例。]]></description><category></category></item><item><title><![CDATA[爬完别忘了存：社交媒体快照上 OSS_S3 的 4 个必做优化]]></title><link>https://blog.youkuaiyun.com/ip16yun/article/details/163536405</link><guid>https://blog.youkuaiyun.com/ip16yun/article/details/163536405</guid><author>ip16yun</author><pubDate>Thu, 06 Aug 2026 14:54:38 +0800</pubDate><description><![CDATA[本文讨论了降低网页快照存储成本的四个优化措施：1. 压缩HTML内容，使用gzip或brotli减少空间；2. 使用内容哈希去重，避免重复存储；3. 按数据冷热程度选择合适的存储类型；4. 采集层使用隧道代理，避免IP被封。这些方法可大幅降低成本。]]></description><category></category></item><item><title><![CDATA[架构师视角：如何设计一套高扩展性的通用爬虫中间件系统？]]></title><link>https://blog.youkuaiyun.com/ip16yun/article/details/163303146</link><guid>https://blog.youkuaiyun.com/ip16yun/article/details/163303146</guid><author>ip16yun</author><pubDate>Wed, 29 Jul 2026 14:20:37 +0800</pubDate><description><![CDATA[这篇文章讨论了如何设计一套高扩展性的通用爬虫中间件系统。作者从架构师视角出发，分析了爬虫系统的需求和挑战，并提出了相应的设计原则和解决方案。文章强调了模块化、可配置性和容错性的重要性，旨在帮助读者构建一个稳定、高效且易于扩展的爬虫系统。]]></description><category></category></item><item><title><![CDATA[我爬了Steam畅销榜3000条评论，发现今年的玩家口味有点不对劲]]></title><link>https://blog.youkuaiyun.com/ip16yun/article/details/163265712</link><guid>https://blog.youkuaiyun.com/ip16yun/article/details/163265712</guid><author>ip16yun</author><pubDate>Tue, 28 Jul 2026 10:46:23 +0800</pubDate><description><![CDATA[这篇文章介绍了如何利用爬虫技术获取Steam游戏销售和评论数据。作者通过亿牛云代理绕过防护，使用Steam Charts & Stats和社区API抓取数据。分析发现，模拟经营类游戏满意度高，中国玩家对价格敏感，社群推荐影响购买。作者强调，数据清洗和分析才是关键，希望分享的经验能助人节省时间。]]></description><category></category></item><item><title><![CDATA[那些每秒抓取数万次的系统，底层架构到底是怎么设计的？]]></title><link>https://blog.youkuaiyun.com/ip16yun/article/details/163236216</link><guid>https://blog.youkuaiyun.com/ip16yun/article/details/163236216</guid><author>ip16yun</author><pubDate>Mon, 27 Jul 2026 11:04:41 +0800</pubDate><description><![CDATA[本文以日均8亿网页采集需求切入，拆解支撑万级QPS抓取系统的五层架构：URL调度层（Kafka+Bloom Filter去重）、下载层（Go连接复用、DNS缓存、HTTP/2）、代理管理层、解析层（80/15/5分层）与数据管道（OSS+ClickHouse）。核心结论：瓶颈在I/O而非CPU，DNS缓存与连接复用比加机器划算。代理层以亿牛云隧道代理为实测对象，其固定入口自动切换、99%连通率与低拦截率，配合自建调度逻辑，可将采集效率提升30%至50%。]]></description><category></category></item><item><title><![CDATA[如何设计一套高可用的爬虫任务队列，保证断点续爬与故障转移？]]></title><link>https://blog.youkuaiyun.com/ip16yun/article/details/163134891</link><guid>https://blog.youkuaiyun.com/ip16yun/article/details/163134891</guid><author>ip16yun</author><pubDate>Thu, 23 Jul 2026 14:55:59 +0800</pubDate><description><![CDATA[这篇文章介绍了一种基于Redis的任务队列解决方案，用于提高爬虫任务的稳定性和可靠性。文章分析了Celery在爬虫场景下的不足，并提出了一个包含任务状态机、断点续爬、故障转移和代理层的架构设计。通过checkpoint机制实现断点续爬，心跳和租约机制实现故障转移，隧道代理模式简化代码逻辑。项目模板包括配置文件和核心代码，有效解决爬虫任务执行中的稳定性问题。]]></description><category></category></item><item><title><![CDATA[深入内存优化：如何防止分布式爬虫在长时运行中导致的内存暴涨？]]></title><link>https://blog.youkuaiyun.com/ip16yun/article/details/163106449</link><guid>https://blog.youkuaiyun.com/ip16yun/article/details/163106449</guid><author>ip16yun</author><pubDate>Wed, 22 Jul 2026 14:46:25 +0800</pubDate><description><![CDATA[这篇文档讨论了线上爬虫集群内存暴涨的问题及解决方案。主要原因包括全局容器、缓存字典或队列中的对象未正确释放。解决方案包括：1. 使用布隆过滤器替代set集合，减少URL去重集合的内存占用；2. 采用流式读取HTTP响应体，降低内存消耗；3. 使用有界任务队列，防止请求队列堆积；4. 在Scrapy的Item Pipeline中设置最大缓冲大小，并及时清空；5. 使用弱引用缓存日志和调试信息，避免内存堆积。文档提供了具体的代码示例，帮助减少爬虫运行中的内存问题。]]></description><category></category></item><item><title><![CDATA[从多场景实测看代理IP产品：一份可复现的六方横向测评]]></title><link>https://blog.youkuaiyun.com/ip16yun/article/details/163077256</link><guid>https://blog.youkuaiyun.com/ip16yun/article/details/163077256</guid><author>ip16yun</author><pubDate>Tue, 21 Jul 2026 14:29:37 +0800</pubDate><description><![CDATA[本文探讨了代理IP池对自动化数据流水线和高并发请求架构的影响，并提出了多维度测评方案。基于6家主流代理服务商的入门产品，设计了包含10项核心指标的测试体系，并选取了5个不同反爬梯度的目标站点进行测试。测试结果表明，不同服务商在不同场景下表现各异。亿牛云在稳定性和延迟方面表现最佳，适合对延迟敏感的业务。综合评分中，亿牛云适宜大规模数据采集和高并发爬取。]]></description><category></category></item><item><title><![CDATA[单机万级并发：利用Python-asyncio与aiohttp打造极致性能的异步爬虫]]></title><link>https://blog.youkuaiyun.com/ip16yun/article/details/163045896</link><guid>https://blog.youkuaiyun.com/ip16yun/article/details/163045896</guid><author>ip16yun</author><pubDate>Mon, 20 Jul 2026 14:14:36 +0800</pubDate><description><![CDATA[文章介绍了使用asyncio和aiohttp实现高并发新闻数据采集的方法。它指出了传统多线程的局限性，并强调了异步编程的优势。文章还讨论了环境配置和关键参数设置，并提供了一个实现示例。]]></description><category></category></item><item><title><![CDATA[Canvas_Audio 浏览器指纹：从原理到绕过，一次讲清楚]]></title><link>https://blog.youkuaiyun.com/ip16yun/article/details/162939263</link><guid>https://blog.youkuaiyun.com/ip16yun/article/details/162939263</guid><author>ip16yun</author><pubDate>Thu, 16 Jul 2026 15:41:34 +0800</pubDate><description><![CDATA[本文讨论现代网站反爬虫技术中Canvas和AudioContext浏览器指纹的重要性，并提供绕过策略。Canvas指纹通过不同设备渲染绘图代码的差异识别设备，AudioContext指纹则基于音频硬件和系统音频栈差异。绕过方法包括注入噪音和使用专门的stealth fork。测试效果可访问browserleaks.com/canvas等网站。]]></description><category></category></item><item><title><![CDATA[代理IP质量评估：如何建立一套代理IP的多维度评分与淘汰算法？]]></title><link>https://blog.youkuaiyun.com/ip16yun/article/details/162903106</link><guid>https://blog.youkuaiyun.com/ip16yun/article/details/162903106</guid><author>ip16yun</author><pubDate>Wed, 15 Jul 2026 13:32:45 +0800</pubDate><description><![CDATA[本文探讨了如何评估代理IP的质量，并建立一个多维度评分与淘汰算法。文章分析了代理IP的不同质量指标，包括响应速度、稳定性、安全性等，并提出了一个综合评分系统。同时，讨论了如何根据评分结果对代理IP进行淘汰，以维护代理池的质量。最后，文章提供了一些实用的策略和技巧，帮助用户有效地管理和优化他们的代理IP资源。]]></description><category></category></item><item><title><![CDATA[免费代理IP为什么用不了：代理池的可用性检测与生命周期管理]]></title><link>https://blog.youkuaiyun.com/ip16yun/article/details/162872526</link><guid>https://blog.youkuaiyun.com/ip16yun/article/details/162872526</guid><author>ip16yun</author><pubDate>Tue, 14 Jul 2026 13:55:27 +0800</pubDate><description><![CDATA[本文讨论了免费代理IP无法使用的原因，包括代理池的可用性检测和生命周期管理。文章分析了免费代理IP的不稳定性，指出了检测代理IP有效性的重要性，并提出了管理代理IP生命周期的方法，以提高代理池的可用性和稳定性。]]></description><category></category></item><item><title><![CDATA[为什么爬虫并发拉到几百，吞吐反而掉了？记一次高并发爬虫性能瓶颈排查与实战]]></title><link>https://blog.youkuaiyun.com/ip16yun/article/details/162844108</link><guid>https://blog.youkuaiyun.com/ip16yun/article/details/162844108</guid><author>ip16yun</author><pubDate>Mon, 13 Jul 2026 15:39:20 +0800</pubDate><description><![CDATA[本文探讨了高并发环境下数据采集和爬虫扩容的挑战，强调了提高并发量可能不会提升吞吐量，反而可能导致系统变慢。文章介绍了排查单机资源瓶颈的方法，并讨论了代理隧道的瓶颈。提供了一个Python asyncio + aiohttp的生产级爬虫代码示例，整合了连接池控制、隧道代理接入等，以解决高并发下的吞吐抖动和429报错。最后，总结了爬虫调优的分层治理法则，强调了在遇到问题时，应遵循迭代路径，找准真正的瓶颈层进行优化。]]></description><category></category></item><item><title><![CDATA[为什么爬虫并发拉到几百，吞吐反而掉了？记一次高并发爬虫性能瓶颈排查与实战]]></title><link>https://blog.youkuaiyun.com/ip16yun/article/details/162843887</link><guid>https://blog.youkuaiyun.com/ip16yun/article/details/162843887</guid><author>ip16yun</author><pubDate>Mon, 13 Jul 2026 15:28:36 +0800</pubDate><description><![CDATA[本文探讨了高并发环境下数据采集和爬虫扩容的挑战，强调了提高并发量可能不会提升吞吐量，反而可能导致系统变慢。文章介绍了排查单机资源瓶颈的方法，并讨论了代理隧道的瓶颈。提供了一个Python asyncio + aiohttp的生产级爬虫代码示例，整合了连接池控制、隧道代理接入等，以解决高并发下的吞吐抖动和429报错。最后，总结了爬虫调优的分层治理法则，强调了在遇到问题时，应遵循迭代路径，找准真正的瓶颈层进行优化。]]></description><category></category></item><item><title><![CDATA[2026架构前沿：将Declarative Crawler（声明式爬虫）引入你的技术栈]]></title><link>https://blog.youkuaiyun.com/ip16yun/article/details/162729909</link><guid>https://blog.youkuaiyun.com/ip16yun/article/details/162729909</guid><author>ip16yun</author><pubDate>Thu, 09 Jul 2026 14:12:43 +0800</pubDate><description><![CDATA[这篇文档讨论了2026年数据工程领域中声明式爬虫架构的重要性。它通过分离业务意图和执行细节，降低跨部门协作门槛。关键挑战在于底层IP设施，尤其是代理IP池质量。文档介绍了爬虫代理技术，并通过Python代码示例展示了如何实现声明式会话组。最后，提出了渐进式迁移策略，以实现声明式爬虫架构。]]></description><category></category></item><item><title><![CDATA[技术拆解：单页面应用（SPA）路由跳转后的数据抓取策略]]></title><link>https://blog.youkuaiyun.com/ip16yun/article/details/162665498</link><guid>https://blog.youkuaiyun.com/ip16yun/article/details/162665498</guid><author>ip16yun</author><pubDate>Tue, 07 Jul 2026 14:37:36 +0800</pubDate><description><![CDATA[这篇文档讨论了单页应用（SPA）数据抓取的挑战和策略。SPA与传统服务端渲染不同，数据由JS生成，导致传统爬虫失效。难点包括路由切换时机、动态接口定位、鉴权、反爬等。解决方案包括直接复现接口和浏览器自动化渲染。核心是保持会话和IP一致性。文档提供了技术解决方案和代码示例。]]></description><category></category></item><item><title><![CDATA[爬虫实战：如何优雅地抓取网页中隐藏在伪元素(__before)里的文本？]]></title><link>https://blog.youkuaiyun.com/ip16yun/article/details/162633231</link><guid>https://blog.youkuaiyun.com/ip16yun/article/details/162633231</guid><author>ip16yun</author><pubDate>Mon, 06 Jul 2026 14:14:54 +0800</pubDate><description><![CDATA[文章讨论了如何克服因CSS伪元素导致的文本抓取难题。CSS伪元素生成的文本不在DOM树中，导致传统DOM查询方法失效。解决方案包括：直接采集接口、正则解析CSS、使用渲染引擎和代理IP。文章提供了使用Selenium和代理的示例代码，并强调了处理返回值引号、警惕图片文字和不轻信attr()函数的重要性。总结策略是先判断数据来源，优先使用接口；如果需要渲染，使用稳定代理。]]></description><category></category></item></channel></rss>