勿忘初心 方得始终

四、处理页面的抓取4.1 更加有效的使用robot.txt文件robot.txt文件存放在网站的根目录下，用来告知搜索引擎是否有权抓取你网站的特定部分。因为通常情况下，一个网站并不是所有的页面都希望被搜索引擎抓取，比如说一些异常情况处理的页面出现在网页搜索的结果中对用户来说就没什么用处。在Google的站长工具中，有可以生成robot.txt的专用工具。同时也有专门的工具可以让

最近在看Google 的“search engine optimization starter guide”，写的很好，只有32页，讲的是站长如何优化网站，使得google可以更好的对网站 进行检索，使用户可以获得更好的，更精确的网站内容，使得网站更易被搜索到。一、搜索引擎优化基础1.1 给每个网页唯一而精确的标题网页标题放在html的标签内，而标签放在标签内。如果某个网页出现在搜索结