今天我们主要学习一下robots.txt文件的使用和设置方法。
一、认识robots.txt文件
从网站优化和网站安全的方面来说，我们的站点并不是每一个页面都需要用户访问，这就好比即使再好的朋友来到了您的家里，您也不会将家里所有的东西都展示给朋友看。那么怎么控制搜索引擎蜘蛛抓取网站的范围呢？这就是我们今天要讲的主角——robots.txt文件。
robots.txt文件是搜索引擎来到网站之后访问的第一文件，robots.txt文件中设置了搜索引擎的抓取范围。
二、robots.txt文件设置要求
1、robots.txt文件必须放置在网站根目录；
2、robots.txt文件名必须小写。