robots協議** 容易忽略的小細節

　　在我看來robots協議就是站長行使網站支配權的執行文件，這是我們作為站長** 基本的權利。它是搜索引擎蜘蛛爬取網站之前要面對的第一道關口，所以robots協議的重要性也是可想而知了。都說細節決定成敗，那么越重要的東西細節就

　　在我看來robots協議就是站長行使網站支配權的執行文件，這是我們作為站長** 基本的權利。它是搜索引擎蜘蛛爬取網站之前要面對的第一道關口，所以robots協議的重要性也是可想而知了。都說細節決定成敗，那么越重要的東西細節就顯得尤為重要，往往自己一不小心忽略的一個細節到** 后就可能會成為你的致命一擊。本人之所以會這么說，是因為我差點就成了這個問題的反面教材了，還好發現的及時也算是亡羊補牢吧!之所以想立即分享給大家，就是希望大家以后自己做站的時候要避免犯類似的錯誤。

　　事情其實就發生在今天，經過是這樣的：因為重慶優化博客也剛做好不久，前幾天網站上線之后發現還有很多小問題需要處理，為了避免網站還在調整的過程中就被搜索引擎抓取到，所以我在robots協議里面寫了禁止所有搜索引擎爬取網站任何部分的指令，網站的調整一直持續了幾天(之所以會弄這么長時間是因為我是一個不能容忍瑕疵的人，不知道這算不算強迫癥的一種)，直到昨天也就是2月3號才全面竣工，但是這期間我每天都在堅持添加原創文章。昨天網站檢查完畢，全部問題都解決好以后，我就把robots協議重新更換了過來，并且發了一篇帖子引了蜘蛛希望爬蟲能快點過來爬我的網站。就這樣，到了今天早上發現網站還是沒有被收錄，于是我就去百度站長工具平臺看一下我的網站到底是個什么情況，進去一看嚇我一跳，因為我看到了下面一則(如圖所示)信息：

　　我的網站竟然對百度進行了全面封禁，檢測時間是在今天(2月4號)早上凌晨5點整的時候，這讓我像丈二的和尚摸不著頭腦了，太不科學了，因為我在昨天2月3號上午已經把網站的robots協議更改過來了，真的是太奇怪了。就在我百思不得其解的時候總算是通過站長平臺工具的“robots檢測”找到了答

　　原來百度蜘蛛早就在我網站蜘蛛上線后的第三天抓取了我網站的robots協議，所以當前生效的協議也就是當時它抓取到的我把蜘蛛全部屏蔽時的那個，而本站** 新的robot協議還沒有生效。這下我總算是明白了過來了，既然弄清楚了原因那事情就好辦了。于是我立即把協議提交更新了一下