robots是网站非常重要的一个指令，公司网站上线之前部署好非常重要。我们可以用这个指令告知搜索引擎哪些内容是需要它们收录的，哪些敏感信息是不需要它们收录的。如下图：
该指令意思就是：允许所有蜘蛛爬行网站，但是有些目录做了限制。/*？*这个指令是禁止所有动态页面被蜘蛛抓取到。(如果企业网站是纯静态编写，这个指令是非常有用的?？梢越饩鲆嬷馗词章嫉姆衬蘸秃诳凸セ髁髁康姆衬?。
网站运维者在部署robots协议的时候一定要仔细，防止所有页面被引擎清空。小编就遇到这么一次，不小心设置了禁止所有引擎抓取网站，悲催的事情发生了——所有索引一夜之间消失。好在更新及时才挽回损失。下一次小编专门给大家讲一下失误是如何解决的，很实用。
最好是可以在站长robots工具进行设置，很方便。工具地址大家在度娘搜索。今天就给大家讲到这里，希望您收获满满。中秋快乐！
上一篇
公司网站是否需要做等保下一篇
公司网站更换新服务器会有哪些影响
