淺談網頁反作弊技術思路、方法以及處理方式

　　一、網頁反作弊出現背景

　　出于商業利益的驅使，很多網站站長會針對搜索引擎排名進行分析，并采取一些手段來提升排名。這種行為本身無可厚非，很多seo行為都是符合搜索引擎排序規則的，但與此同時也存在很多惡意的seo行為。所以網頁反作弊，也是目前所有商業搜索引擎需要解決的重要難點。

　　快排科技（vx:SEOkuaipai）孔宇今天來談一下目前一些常見的互聯網網頁作弊方法、反作弊的整體思路，以及引申出的淘寶搜索反作弊機制與傳統網頁搜索反作弊的異同。

　　二、網頁作弊類型內容作弊：

　　從大的分類來說，主要的作弊方法包括：內容作弊、鏈接作弊、隱藏作弊及近幾年興起的Web2.0作弊方法。筆者認為，內容作弊與現階段業務息息相關，因此會在本文著重講下此類型及相關的反作弊思路。

　　內容作弊的目的是通過精心更改或者調控網頁內容，使得網頁在搜索引擎排名中獲得與其網頁不相稱的高排名。常見的作弊方式包括：關鍵詞重復、無關查詢詞作弊、圖片alt標簽文本作弊、網頁標題作弊、網頁重要標簽作弊及網頁元信息作弊。通過這幾種常見的作弊手段，作弊者的作弊意圖不外乎以下幾種：

　　1、增加目標作弊詞詞頻來影響排名；

　　2、增加主題無關內容或者熱門查詢吸引流量；

　　3、關鍵位置插入目標作弊詞影響排名。

　　Google在2011年2月高調宣布針對低質量網頁內容調整排序算法，據報道此算法影響了大約11.8%的網頁排名，而這項調整措施是專門針對以Demand media（創建于2006年5月，雇員500人，它的業務比較龐雜，包括域名注冊、內容廣告交易等。它的一個主要業務是，它有包括65個社會化媒體組成的網站群。）網站為代表的內容農場作弊手法的。

　　內容農場的運營者廉價雇傭大量自由職業者，支持他們付費寫作，但內容普遍質量低下，很多文章都是通過復制黏貼完成。但重點是，他們會研究搜索引擎的熱門搜索詞等，并有機的將這些詞匯添加到寫作內容當中去。這樣，普通搜索引擎用戶在搜索時，會被吸引進內容農場網站，通過大量低質量內容吸引流量，內容農場可以賺取廣告費用。

　　與傳統的作弊方法相比，內容農場不采用機器拼接內容等機械方式，而是通過雇傭人員寫作，這種作弊方式搜索引擎往往難以給出是否作弊的明確界定，但又嚴重影響搜索結果質量，所以是一種很難處理的作弊手法。

　　三、網頁反作弊技術的整體思路：

　　目前搜索引擎作弊手段五花八門且層出不窮，作為應對方的搜索引擎，也相應調整技術思路，所以如果整理一下反作弊思路，則會發現技術方法很多，理清思路著實不易。盡管如此，如果對大多數反作弊思路深入分析，會發現整體思路上還是有規律可循。從基本思路角度看，可以將反作弊手段大致劃分為以下3種：信任傳播模型、不信任傳播模型和異常發現模型。

　　1、信任傳播模型：在海量的網頁數據中，通過一定的技術手段或人工半人工手段，從中篩選出部分完全值得信任的頁面（可以理解為我們日常所說的白名單），算法以這些白名單內的頁面作為出發點，賦予白名單內頁面節點較高的信任度分值，其他頁面是否作弊，要根據其與白名單內節點鏈接關系來確定。白名單內節點通過鏈接關系將信任度分值向外擴散傳播，如果某個節點** 后得到的信任度分值高于一定的值，則認為沒有問題，如果低于這個值則會被判為作弊。

　　2、不信任傳播模型：從大的技術框架來講，與信任傳播模型極其相似。** 大的區別在于：初始頁面自己不是值得信任的頁面節點，而是確認存在作弊行為的頁面集合（即我們日常所說的黑名單）。賦予黑名單內頁面節點不信任分值，通過鏈接將這種不信任關系傳播出去，如果** 后頁面節點的不信任分值大于設定的那個值，則被判為作弊。

　　3、而異常發現模型：簡單的譬如分析網頁內容來發現詞頻、鏈接等的異常，復雜點的像分析網站用戶行為異常等。異常發現模型往往和信任傳播模型和不信任傳播模型進行組合處理。

　　事實上，純粹技術手段目前是無法**解決作弊的問題，因此現在一般都是用戶在瀏覽搜索結果甚至是上網瀏覽時舉報作弊網頁，搜索引擎公司內部會有專門的團隊來審核與主動發現可疑頁面，經過審核確認的網頁則可以放入黑名單或者白名單當中。綜上所述，必須將人工手段與技術手段相互結合，才能取得較好的反作弊效果。

　　四、通用鏈接反作弊方法：

　　1、TrustRank 算法 （屬于信任傳播模型）

　　2、BadRank 算法 （屬于不信任傳播模型，據傳是Google采用的反鏈接作弊算法。 注意：不要鏈接給作弊頁面）

　　3、SpamRank （屬于異常發現模型）

　　SpamRank 的基本假設是：

　　3.1、對于正常頁面來說，其支持者頁面的 PangRank 值應該滿足 Power-Law 分布，即 PR值有大有小。

　　3.2、作弊網頁不同，一般具有如下3個特點：

　　Ⅰ、支持者頁面數量非常巨大

　　Ⅱ、支持者頁面的 PangRank 值得分都較低

　　Ⅲ、支持者頁面的 PangRank 值都落在一個較小浮動范圍內

　　五、專用鏈接反作弊技術：

　　1、識別鏈接農場：

　　、網頁出鏈的統計分布規則，作弊網頁出鏈不符合 Power-Law 分布

　　Ⅱ、網頁入鏈的統計分布規則，作弊網頁入鏈不符合 Power-Law 分布

　　Ⅲ、URL名稱統計特征，作弊網頁的網址較長，包含更多的點畫線和數字等

　　Ⅳ、很多作弊網頁的URL地址盡管不同，但是對應同一個IP地址

　　Ⅴ、網頁特征會隨時間變化，比如入鏈的增長率、出鏈的增長率等

　　Ⅵ、鏈接農場的結構特征，農場內的網頁之間鏈接關系非常密切

　　2、識別 Google 轟炸：

　　判斷錨文字是否和被指向頁面有語義關系

　　六、識別內容作弊：

　　1、重復出現關鍵詞，判斷文本內一定大小的窗口中是否連續出現同一個關鍵詞

　　2、標題關鍵詞作弊

　　3、統計正常頁面中句子長度的規律、停用詞的分布規律、詞性的分布規律等

　　七、反隱藏作弊：

　　常見的隱藏作弊方式包括頁面隱藏和網頁重定向。

　　1、識別頁面隱藏

　　對網頁做2次抓取，第1次數正常的搜索引擎爬蟲抓取，第2次模擬人工訪問網頁的方式抓取。這種方法成本非常高。

　　2、識別網頁重定向

　　Strider 系統給出了根據網頁重定向來識別到底哪些是作弊網頁的解決方案。

　　八：石榴算法簡介：

　　2013年5月17日下午，百度網頁搜索反作弊團隊在百度站長平臺發布公告稱：將于一星期后正式推出新的算法“石榴算法”。新算法前期將重點整頓含有大量妨礙用戶正常瀏覽的惡劣廣告的頁面。百度稱此舉是為了尊重搜索的用戶，凈化互聯網生態環境！

　　發布時間：2013年5月17日

　　打擊對象：針對大量妨礙用戶正常瀏覽的惡劣廣告的頁面、低質量內容頁面。石榴算法針對的尤其以彈出大量低質彈窗廣告、混淆頁面主體內容的垃圾廣告頁面為代表。與之前百度綠蘿算法相對應，這正是百度搜索引擎提高用戶體驗，提高搜索質量的有力手段。2013年5月17日下午，百度網頁搜索反作弊團隊在百度站長平臺發布公告稱：將于一星期后正式推出新的算法“石榴算法”。新算法前期將重點整頓含有大量妨礙用戶正常瀏覽的惡劣廣告的頁面。百度稱此舉是為了尊重搜索的用戶，凈化互聯網生態環境！

　　整改建議：有彈窗廣告？且在主體內容位置顯示？趕緊撤掉吧、短期利益是獲得了、長期就不討好了、就如一次借錢忘了還、感覺像是賺到了、實則不然、你的信譽度在他人心中逐漸在減弱……這類型的頁面評分也會被降分

　　更多算法解讀請點擊“谷歌、百度搜索引擎近幾年算法大盤點（持續更新...）”查看