前几天,在用htmlparser分析页面时,遇到一个郁闷的问题,在爬取得时候,htmlparser停住啦,当时没报任何的错误。我以为多等一会它就会报一个异常啦,结果,等了一个上午,还是停在那里不动。实在等不下去啦,直接看它的源代码,原来是获取数据的时候,获取到一半,停在那里,我找不到在哪里修改它的代码,结果是我不用htmlparser进行连接下载数据,而htmlparser单纯是用于分析页面。我链接那部分是用
url1 = new URL(url);
URLConnection urlcon = url1.openConnection();
urlcon.setConnectTimeout(6000);
urlcon.setReadTimeout(6000);
urlcon.connect();
设置了连接超时和读取数据超时。
经过这样整,就可以把我的htmlparser假死问题解决掉啦