网站能不能被搜索引擎索引到,除了看有没有向搜索引擎入口提交、有否与其他站点交换链接等之外,还得看根目录底下的robots.txt文件有没有禁止搜索引擎的收录。熟练书写robots.txt语法,是每个SEOer所必须掌握的基本技能。SEO研究院曾经写过一篇《SEO七十二案例:Z-Blog优化完全攻略》的具体案例,阐述过如何通过robots.txt来优化Z-blog,大家可以先参考下。
以下robots.txt的语法教学部分的写作参考了一些网络信息,在此SEO研究院表示感谢,写作过程中,有些内容已经老旧,而SEO是不断发展的,因此视情况对其进行了去伪存真以及相关整理。

订阅我的BLOG(RSS)