robots是網(wǎng)站非常重要的一個(gè)指令，公司網(wǎng)站上線之前部署好非常重要。我們可以用這個(gè)指令告知搜索引擎哪些內(nèi)容是需要它們收錄的，哪些敏感信息是不需要它們收錄的。如下圖：
該指令意思就是：允許所有蜘蛛爬行網(wǎng)站，但是有些目錄做了限制。/*？*這個(gè)指令是禁止所有動態(tài)頁面被蜘蛛抓取到。(如果企業(yè)網(wǎng)站是純靜態(tài)編寫，這個(gè)指令是非常有用的。可以解決引擎重復(fù)收錄的煩惱和黑客攻擊流量的煩惱)。
網(wǎng)站運(yùn)維者在部署robots協(xié)議的時(shí)候一定要仔細(xì)，防止所有頁面被引擎清空。小編就遇到這么一次，不小心設(shè)置了禁止所有引擎抓取網(wǎng)站，悲催的事情發(fā)生了——所有索引一夜之間消失。好在更新及時(shí)才挽回?fù)p失。下一次小編專門給大家講一下失誤是如何解決的，很實(shí)用。
最好是可以在站長robots工具進(jìn)行設(shè)置，很方便。工具地址大家在度娘搜索。今天就給大家講到這里，希望您收獲滿滿。中秋快樂！
用作品證明實(shí)力，網(wǎng)站建設(shè)行業(yè)排名前列
