robots協議** 被忽視的細節

　　在我看來，robots協議是站長行使網站控制權的執行文件，這是我們作為站長** 基本的權利。這是搜索引擎蜘蛛爬行網站之前的第一關，所以robots協議的重要性可想而知。據說細節決定成敗，所以越重要的事情，細節就越重要

　　在我看來，robots協議是站長行使網站控制權的執行文件，這是我們作為站長** 基本的權利。這是搜索引擎蜘蛛爬行網站之前的第一關，所以robots協議的重要性可想而知。據說細節決定成敗，所以越是重要的事情，細節就特別重要，往往一個你不小心忽略的細節** 終可能成為對你致命的打擊。我之所以這么說，是因為我幾乎成了這個問題的反面教材。幸好我及時找到了，算是修好了！我之所以想馬上和大家分享，是希望大家以后做自己的站時，能避免犯類似的錯誤。

　　其實，事情發生在今天，過程是這樣的：因為重慶優化博客剛剛結束，前幾天網站上線，發現還有很多小問題要處理。為了避免網站在調整過程中被搜索引擎抓取，我在robots協議中寫了禁止所有搜索引擎抓取網站任何部分的指令，網站的調整持續了好幾天（之所以花這么長時間是因為我不能容忍缺陷）。我不知道這是不是一種強迫癥）。直到昨天2月3日才完全完成，但在這期間，我每天都不斷添加原創文章。昨天網站檢查完畢，所有的問題都解決了，我更換了robots協議，并發了一個帖子帶領蜘蛛，希望爬蟲能快點來爬我的網站。就這樣，我今天早上發現網站沒有收錄，于是我去百度站長工具平臺看看我的網站是什么樣子。我進去看了一眼，很驚訝，因為我看到了以下信息（如圖所示）

　　我的網站甚至完全禁止百度。考試時間是今天（2月4日）凌晨5點，這讓我像丈二的和尚一樣困惑。太不科學了，因為我昨天2月3日上午把網站的robots協議改了。真的很奇怪。當我想不通的時候，是通過站長平臺工具robots檢測出來的；我知道答案了

　　原來百度蜘蛛在我的網站蜘蛛抓捕后的第三天我的網站蜘蛛抓捕了robots協議，所以目前有效的協議是，它抓捕的時候我封鎖了所有蜘蛛，而網站** 新的robot協議還沒有生效。現在我終于明白了。既然我知道了原因，就很容易做了。所以我立即提交了更新協議