为解决目标网站频繁改版带来的维护难题，本文介绍了一种服务端-客户端架构的爬虫设计方案，通过将解析逻辑集中于服务端，客户端仅负责装载及执行抓取任务，有效降低维护成本。
最近公司的爬虫要进行改造。对一架构问题进行了解决
问题：目标网站经常改版，我们部署的服务器由于有很多台，每次改版，其维护消耗很大，如果减少工作量？
将架构设计成为服务端-客户端。服务端将解析逻辑类，客户端可以装载服务端这个解析逻辑类。然后 客户端运行抓取.
反射应用
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
