遇见seo网站的robots.txt文件设置是否合理，哪些文件需要屏蔽，哪些设置方法对网站运行有好处?有些人复制相同的内容来应对不同搜索引擎的排名规则。不过，一旦搜索引擎发现站内有大量“克隆”网页将受到惩罚，不会收录这些重复的网页。另一方面，网站的内容属于私人文档，我们不想把它暴露给搜索引擎。在这个时候，robots.txt就是为了解决这两个问题。
哪些文件应该在robots协议文件中被屏蔽
1、图像目录
图片是网站的主要组成部分。随着建站越来越方便，很多CMS的介绍，能真正做到打字就会建网站，而正是因为这种方便，网络呈现出很多同质化的模板网站，被反复使用，这样的网站搜索引擎肯定不受欢迎。网站图片目录是：ima企业或img;
2、网站模板目录
正如上面的图片目录所提到的，强大而敏感的CMS也导致了许多同质网站模板的呈现和误用。高度重复的模板在搜索引擎中形成了一种冗余，模板文件通常与生成的文件高度相似，并且相同的内容易于呈现。他们对搜索引擎不友好。搜索引擎直接把它们放在冰箱里，不能翻过来。许多CMS都有独立的模板存放目录。因此，模板目录可能被屏蔽了。通用模板目录的文件目录是templates
3、CSS和JS目录的屏蔽
CSS目录文件不适用于搜索引擎的爬网，不能提供有价值的信息。因此为了提高搜索引擎的索引质量，有必要在文件中对其进行筛选。为搜索引擎提供一个简洁的索引环境，更容易提升网站的友好性。CSS样式的列表通常是：CSS或style
无法在搜索引擎中标识JS文件。在这里，我们只声称它可以被屏蔽。这也有一个优点：它为搜索引擎提供了一个简洁的索引环境;
4、屏蔽多个相同内容页
以dedecms为例。我们都知道deecms可以使用静态和动态URL访问相同的内容。如果生成整个站点的静态地址，则需要阻止动态地址的URL连接。有两个优点：1。静态URL比动态URL更友好，更容易输入。静态和动态URL可以访问同一篇文章，并被搜索引擎判定为重复内容。所以需要对动态地址进行屏蔽，这有利于提高搜索引擎的友好性。
5、模板缓存目录
很多CMS程序都有缓存目录，这种缓存目录的优点，我想我们理解它不用说了，它可以非常有用地提升网站的访问速度，减少网站带宽，而且它对用户体验也非常好。然而，这样的缓存目录也有一定的缺陷，即会使搜索引擎反复抓取，而在一个网站上的内容复制也是一种巨大的牺牲，这对网站是有害而无利的。
6、删除的目录
太多的死链接对搜索引擎优化是致命的。不得不引起站长的高度重视。在网站开发过程中，不可避免地要对目录进行删除和调整。如果您的网站目录当时不存在，则需要用robots屏蔽该目录并返回正确的404故障页面。
