我不知道什么时候糊涂,在让DotText的URL模块捕获HTTP请求之后,居然没有选择性执行,而是把所有不能识别的请求全部都当成首页来处理,结果虽然看起来很好,可是我想这个也是Google长期以来只收录我的首页的原因吧。
Google为了防止检索资源浪费,而作了限制,Google会自动生成一个随机的文件名,并且认为这个文件在你的服务器上基本上是不可能存在的,然后试图访问你的网站上的这个文件,假如你的网站没有返回一个404(网页不存在)的提示,那么Google会觉得你的网站太难以区分错误提示页面和正常的页面,然后索性不检索除首页以外的内容。
所以我现在改了一下,当要访问的页面在DotText的列表中不存在时,给出404的提示:
context.Response.StatusCode=404;
context.Response.End();
一直以来我的网站只有Baidu才能正常检索,我开始以为是Baidu反应快,可是现在发现,Baidu居然连这个检查都不做,实际上是有问题的,还是Google强啊。
估计不久我的网站就能被Google正常检索了,呵呵,期待中……