今天做了一次全面的SEO分析，分析了好多站，居然發(fā)現(xiàn)了很多robots.txt文件寫法上的錯誤，注意了很簡單，可是如果不說，估計很多人不知道。
1、正確基本寫法
User-agent:*
Disallow:
注意兩個單詞首字母大寫，其余小寫
常見錯誤：User-Agent:
  Allow:*
Disallow:/
其中以第三種錯誤最為嚴重（禁止抓取所有文件），且犯錯誤者不少。
2、robots.txt文件的作用
1）控制搜索引擎蜘蛛抓取，節(jié)約服務器帶寬
2）控制相似頁面的抓取，增加蜘蛛友好度
3）讓蜘蛛爬行的更有效率
3、robots.txt文件寫法中的通配符
*代表匹配所有字符，$代表結束字符，
具體寫法見 http://www.google.com/robots.txt
4、robots文件在線檢查工具
http://tool.motoricerca.info/robots-checker.phtml
剛百度了下robots文件的寫法，居然就有教程中出現(xiàn)了User-Agent:這樣的寫法，很是無語.