Java的Webcrawler实例

现在的搜索引擎做的越来越多，特别是垂直和商业网站的需要：

基本原理： 通过http协议进行request和response，同浏览器的原理类似。

下面的一个是测试通过的单网页测试：代码是转载的

import java.io.File;
import java.io.FileOutputStream;