关于抓取网页数据超时问题

用基于httpclient的爬虫框架例如jsoup  会出现超时的问题 ，虽然超时可以用timeout设置  但是超时的时间长了也会被请求的服务器干掉。而后续没有操作 就会出现数据没查完，非常的蛋疼!!我的解决办法是用捕捉异常的方法 ，捕捉超时异常，然后再调用它本身的方法 代码如下：

public  Document getDocument (String url,Map map){

try {
Connection conn = Jsoup.connect(url);
conn.timeout(5000);
conn.data(map);
return conn.get();
} catch (SocketTimeoutException e) {

return getDocument(url, map); //递归调用 直到请求成功
} catch (IOException e) {

e.printStackTrace();
}
return null;
}