搜索引擎爬蟲對網頁的三種更新策略

　　很長一段時間以來，成都優化一直圍繞著爬蟲抓取來講述相關的信息，今天成都優化將與大家分享搜索引擎抓取更新的三種策略。

　　搜索引擎爬蟲的更新主要應用于快照等更新，以及搜索引擎對搜索頁面的爬網行為。至于為什么要重新爬網，基本上是因為互聯網上有數以萬億計的頁面。許多頁面在不斷變化。這個不斷變化的前置因素導致爬網程序不斷更新自己的數據，因此它必須重新爬網已爬網的網頁。那么搜索引擎爬蟲的三大更新策略是什么?

　　搜索引擎爬蟲歷史更新策略

　　所謂的歷史更新策略是為已被爬網的網頁設置重新爬網的時間限制。例如，爬蟲對我的優化博客主頁進行爬網，搜索引擎通過爬網獲得我的博客主頁。爬蟲的爬行策略被調整為每3天訪問一次我的博客主頁。

　　這種更新爬行策略告訴我們，網頁中的頻繁更改將導致蜘蛛頻繁爬行。如果你的頁面都是靜態的。這意味著，如果不重新生成相應的頁，則不會對其進行更改。相對而言，你不太擅長這種策略邏輯。因此，URL被設置為偽靜態。在網站開放速度可控的前提下，將網頁本身設置為動態頁面是一個不錯的選擇。

　　搜索引擎爬蟲的用戶體驗更新策略

　　所謂用戶體驗網頁更新策略，是指搜索引擎認為網頁參與具有一定的搜索量詞排名，前三頁是用戶經常訪問的網頁。然后我們應該優先對這些頁面的更新進行爬網。

　　對于3頁之后的用戶，訪問的人很少，以后更新也不錯。因此，采用了一種web爬行更新策略。

　　這個策略讓我們知道，一些核心關鍵字排名較高的網頁更經常被爬蟲程序爬網。那么一個值得思考的問題是，網站也會有一些細節頁面、聚合頁面，甚至文章頁面參與錯別字的排名。這是否意味著這次的頁面爬網量不錯?針對這個問題，成都優化此前通過對訪問日志的分析，確定了這個答案。在80%的案例中，確實如此。但是，這些頁面的頻率遠低于主頁、頻道頁面和其他更靠近主頁且路徑更短的頁面。

　　但是，我們仍然可以seo詳細信息頁/文章頁，以便在此類頁上顯示** 新內容，并增加爬網程序條目以包含** 新內容。

　　搜索引擎爬蟲抓取網頁的抽樣聚類策略

　　說到這個策略，我們首先從字面上看“抽樣，聚類”。抽樣是指從網站上抽取一些樣本進行觀察，聚類就是根據這些樣本的觀察結果得出一定的結論后應用這種類型。

　　我們的網站由不同的類型組成，如列表頁面、產品詳細信息頁面、文章頁面、頻道頁面、聚合頁面等。這些都是不同的類型。搜索引擎從中間選取一些樣本，觀察并獲得更新周期，應用于整個類型的方法是抽樣聚類的web爬行更新策略。

　　我們舉個例子。搜索引擎通過從列表頁中取樣來查找A列表頁。通過分析和觀察，發現A列表頁面可以每2天進行一次爬網。然后有與A列表頁類型相同的B、C和D列表頁，因為它們具有相同的模板、導航，并且第一頁上的模塊也指這四個列表頁。然后它們是相同類型的，所以B、C、D列表頁與A列表頁相同，并且它們在2天內被獲取。

　　好吧，今天的分享就在這里，希望能幫助你，如果有任何問題，請留言給我。