分析網站日志找到頁面不收錄的原因

昨天有朋友問到，為什么** 近更新的商品頁面百度都不收錄，該朋友認為是頁面結構出了問題。筆者習慣找依據，于是讓朋友發來近幾日的網站日志，果不其然，在網站日志里找到了頁面不被百度收錄的原因，更新的商品頁面壓根沒有被百度蜘蛛抓取！連抓取都沒有，何來頁面收錄呢！

筆者簡要的分析網站日志，該站每天百度抓取量有7000多次，但絕大部分，甚至是98%以上的抓取都集中在數據庫信息、css信息、js信息上，而商品頁面一條抓取記錄都沒有！答案很明顯了，之所以更新的商品頁面沒有被百度收錄，是因為這些頁面沒有被抓取。

筆者分享這個案例的目的是想告訴大家，網站在seo過程中若是遇到問題，不要憑空去想原因，應該通過必要的數據分析科學的找到問題所在，從而調整措施。

朋友將該網站做了優化外包，每次問到為什么頁面不收錄及如何處理時，對方都回答主動提交鏈接！然而鏈接提交了仍然沒有解決問題，這種回答是很不負責任的！

百度蜘蛛在某種意義上說有抓取記憶，如果長時間大量的抓取某類型的信息，那么它抓取的份額就會傾向于這類信息。這也能說明一個問題：為什么有些網站的某些欄目收錄很好，而有些欄目基本不收錄。

在分析完網站日志后，筆者又打開了網站的robots文件，發現robots文件里允許了圖片的抓取，同時又沒有限制對于css文件、js文件的抓取。這種設置方法是存在問題的，為此，筆者依據分析網站日志得到的信息，重新對robots文件進行了修改。

總結，影響頁面收錄的因素很多，其中** 基本的因素是搜索蜘蛛抓取，倘若沒有抓取，那斷然是不會被收錄的！若是頁面被蜘蛛成功抓取，但還是沒有被收錄，這就說明頁面的內容質量不高。所以，如果我們遇到頁面收錄不好的情況，首先應該分析網站日志，若是抓取沒問題，再去分析頁面內容。