問題：如何不讓蜘蛛抓取重復的頁面？

回答：想要蜘蛛不抓取重復頁面，有效的方法就是不給這些頁面提供鏈接入口，這樣會減少蜘蛛抓取。另外，如果減少這些頁面的內容更新，那么也會降低抓取。

大家之所以問到如何不讓蜘蛛抓取重復的頁面，其目的是想把這些抓取份額轉移到其他的頁面上，促進其他的頁面收錄。但是，有兩個問題大家首先要搞清楚：

一、為什么蜘蛛喜歡重復抓取這些重復的頁面

1、頁面內容質量高

對于質量高的頁面，搜索引擎更喜歡去抓取！如果蜘蛛喜歡抓取這些頁面，在某種程度上說，搜索引擎對頁面的內容是比較認可的，我們可以重點去分析其中的原因。

2、頁面內容更新頻繁

頁面內容的更新程度，也會影響到蜘蛛抓取。大家可以去看看那些被頻繁抓取的頁面，很多更新會比較頻繁。

二、為什么其他的頁面收錄情況不佳

前面說到了為什么有些頁面容易被重復抓取，那么為什么有些頁面就得不到蜘蛛抓取，得不到收錄呢？原因也有好幾個：

1、頁面缺乏鏈接入口，如果頁面沒有鏈接入口，就很難得到蜘蛛抓取，也就世界影響到收錄了。

2、頁面內容質量太差，這在蜘蛛抓取的階段就被拋棄了，蜘蛛也不會多次來抓取。

3、頁面內容缺少更新，這里的更新包括更新相關文章，更新評論等等，如果頁面更新慢、更新少，搜索蜘蛛也不會反復抓取。

前面說到了有關頁面抓取和收錄的問題，我們再來看如何不讓蜘蛛抓取重復的頁面！很顯然，這個問題問得就不對，蜘蛛重復抓取頁面，表面頁面的整體質量度高，這樣百度快照更新快，也容易得到網站排名。對于這樣的頁面，我們為什么要刻意減少蜘蛛抓取呢？反觀那些不容易被抓取，或者抓取不多的頁面，我們需要去分析其中的原因，而不是強行想著把其他頁面抓取的份額分配過來。

關于如何不讓蜘蛛抓取重復的頁面，筆者就簡單的說到這里。總之來說，想要減少蜘蛛抓取還是有方法的，比如說減少鏈接入口，比如說降低頁面更新的頻率和幅度等，這些都能有效降低蜘蛛抓取。但是，筆者認為我們沒有必要這么做，而是應該去分析這些頁面能夠得到蜘蛛青睞的原因，然后把其中的方法技巧使用到其他的頁面上，這樣就能夠促進其他頁面的抓取和收錄。