对于网站优化，robots的写法非常重要，在这里西安seo就为大家分享一下robots的功效！robots.txt 这个方便蜘蛛爬行的文件，其实里面有很大的学问，我只懂一点皮毛今天就发布一点我知道的，希望大家多多补充

http://www.google.com.hk/robots.txt   谷歌的
http://www.baidu.com/robots.txt     百度的

当我看到大型网站都要写这个文件时我觉得就很重要，具体为什么要写这个我觉得应该是方便蜘蛛吧，其他的我还真不知道

User-agent： *

Disallow： /admin/ 《禁止蜘蛛抓取admin目录下所有文件》

Disallow： .jpg$《禁止蜘蛛抓取.jpg的文件》

Sitemap： http://www.xxx.com/sitemaps/sitemaps_1.xml

robots.txt语法规则
 

最简单的 robots.txt 语法使用两条规则：
　　User-Agent: 后面为搜索机器人的名称，后面如果是*，则泛指所有的搜索机器人
　　Disallow: 限制搜索引擎不能访问网站中的哪些部分，Disallow后可以写目录名，文件扩展名，特定的程序文件结构。
 
robots.txt语法示例

让所有机器人访问所有文件(通配符”*”表示所有的意思)

拦截所有的机器人访问网站
  User-agent: *
  Disallow: /

禁止所有机器人访问特定目录：
  User-agent: *
  Disallow: /public/
  Disallow: /images/
  Disallow: /temp/
  Disallow: /include/

禁止特定搜索引擎蜘蛛访问特定目录(这里我们以百度蜘蛛为例说明)
  User-agent: Baiduspider
  Disallow: /test/
上面的robots.txt语法示例的意思是禁止百度蜘蛛爬行根目录下的test目录

仅禁止Baiduspider抓取.jpg格式图片的robots.txt语法
  User-agent: Baiduspider
  Disallow: .jpg$

大家在学习robots.txt语法时,可能会感到纳闷的是:有那么多搜索引擎，那我不是要知道所有搜索引擎蜘蛛的名字。并不是这样的，我们只要知道常见的搜索引擎名字就可以了。下面就带大家来认识几大个搜索引擎蜘蛛名称。

1. Google爬虫名称: Googlebot

2. 百度（Baidu）爬虫名称：Baiduspider

3. 雅虎（Yahoo）爬虫名称：Yahoo Slurp

4. 有道（Yodao）蜘蛛名称：YodaoBot

5. 搜狗（sogou）蜘蛛名称：sogou spider

6. MSN的蜘蛛名称(微软最新搜索引擎Bing蜘蛛名也是这个)：Msnbot

这些是小明网络成员：【张文红】整理的，希望对大家有所帮助 个人小站http://ww w.zk79.com 折扣网

文章由张文红原创（http://www.badcatu.com），一点点小的方法，西安seo-小明网络欢迎大家转载，转载请注明出处，谢谢！

本文标题：robots.txt的写法以及重要性
作者: 剑锋网络企业模板堂
版权属于: 剑锋网络
版权所有。转载时必须以链接形式注明作者和原始出处及本声明。