
28 Robots
文章平均质量分 92
passport_daizi
这个作者很懒,什么都没留下…
展开
-
一个简爬取网页源文件的Demo
import java.io.BufferedReader;import java.io.IOException;import java.io.InputStream;import java.io.InputStreamReader;import java.net.HttpURLConnection;import java.net.MalformedURLException;转载 2012-08-29 10:59:12 · 1843 阅读 · 0 评论 -
robots.txt 文件详解
robots.txt robots.txt写法 robots.txt是一个协议,而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中原创 2012-08-29 09:15:49 · 19732 阅读 · 0 评论