503狀態碼應該用到沒有建立好的的頁面上
近日,百度站長平臺發現,一些網站將未建頁面放到網上,這些頁面被百度抓取時返回404的代碼,因此當頁面被百度抓取后,將直接被視為死鏈接刪除。但是,此頁面將在第二天或幾天后生成,并將顯示在網站上。不過,由于之前已經被百度作為死鏈接刪除,必須等待這些鏈接再次被發現,然后抓取才能顯示出來,這樣的操作** 終會導致一些頁面在一段時間內不出現在百度上。
比如,某大型門戶網站爆出大量時間敏感、百度沒有及時收錄的新聞話題。經檢查核實,發現該頁面因未完成而被放到網上,并返回404狀態碼,被百度視為死鏈接刪除,導致記錄和流量丟失。
對于這樣的問題,百度官方建議網站合理使用返回碼,即使用503返回碼,這樣百度的爬蟲在收到503返回碼后,會在一定時間后訪問這個地址,并建立在頁面上。上線后,可以重新抓取,** 頁面及時抓取和索引,避免未建內容設置為404造成不必要的收錄和流量損失。
以下是百度支持的幾種常用返回碼的詳細介紹
404 404返回碼的意思是“找不到”,百度會認為網頁已經過期,然后通常會從搜索結果中刪除,蜘蛛短期內不會再找到這個網址。
301:301返回碼的含義是“永久移動”。百度會認為該網頁目前正在跳轉到一個新的網址。在站點遷移、域名替換和站點修訂的情況下,建議使用301返回碼,以** 大限度地減少修訂造成的流量損失。盡管百度蜘蛛現在對301跳的響應時間更長,但我們仍然建議這樣做。
503:503返回碼的含義是“服務不可用”。百度會認為網頁是暫時無法訪問的,通常網站是暫時關閉的,而且帶寬是有限的。對于返回503的網頁,百度蜘蛛不會直接刪除此網址,并將在短時間內再次訪問。屆時,如果網頁已經恢復,將正常抓取;如果繼續返回503,將在短期內多次訪問。但是如果網頁長時間返回503,那么這個網址仍然會被百度視為無效鏈接,并從搜索結果中刪除。
成都優化建議與總結
1、如果百度蜘蛛給網站帶來太大壓力,請盡量不要使用404。還建議返回503。這樣,百度蜘蛛會在一段時間后嘗試抓取這個鏈接。如果此時站點處于空閑狀態,則將成功對其進行爬網。
2、如果網站暫時關閉或網頁尚未聯機,當網頁無法打開且未完成時,不要立即返回404。建議使用503狀態。503可以通知百度蜘蛛該頁面暫時無法訪問,請稍后再試。
- 如何優化:
- 網站url改版不收錄 網站建設哪個 奉賢網站改版哪家好 公司網站改版價格會變嗎 網站改版注意哪些 陽江網站開發 孝義網站定制公司 日本跨境選品軟件網站開發 本溪網站定制報價 鄭州旅游網站開發運營