本文介绍了一个使用Ruby实现的安全网络请求方法，通过异常处理确保在遇到网络错误时能够进行重试，提高了爬虫程序的稳定性和可靠性。
一个带异常处理的open...
Ruby代码
def safe_open(url, retries = 5, sleeep = 0.42, headers = {})
begin
open(url, headers).read
rescue StandardError,Timeout::Error, SystemCallError, Errno::ECONNREFUSED #有些异常不是标准异常
puts $!
retries -= 1
if retries > 0
sleep sleeep and retry
else
#TODO Logging..
#TODO 多次爬取失败后记录到日志
end
end
end
要先 require 'timeout'
Ruby代码
def safe_open(url, retries = 5, sleeep = 0.42, headers = {})
begin
open(url, headers).read
rescue StandardError,Timeout::Error, SystemCallError, Errno::ECONNREFUSED #有些异常不是标准异常
puts $!
retries -= 1
if retries > 0
sleep sleeep and retry
else
#TODO Logging..
#TODO 多次爬取失败后记录到日志
end
end
end
要先 require 'timeout'
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
