robots協議文件中應該屏蔽哪些文件

　　網站的robots.txt文件設置是不是合理，哪些文件或許目錄需求屏蔽、哪些設置辦法對網站運營有優點?有人復制出相同的內容以應付不同搜索引擎的排名規則。然而，一旦搜索引擎發現站內有大量“克隆”的頁面，就會給以懲罰，不收錄這些重復的頁面。另一方面，我們網站的內容屬于個人私密文件，不想暴露在搜索引擎中。這時，robot.txt就是為了解決這兩個問題。

　　查找引擎運用spider程序主動拜訪互聯網上的頁面并獲取頁面信息。spIDer在拜訪一個網站時，會首先會查看該網站的根域下是不是有一個叫做robots.txt的純文本文件，這個文件用于指定spider在您網站上的抓取規劃。您能夠在您的網站中創立一個robots.txt，在文件中聲明該網站中不想被查找引擎錄入的有些或許指定查找引擎只錄入特定的有些。

　　1、疾速增加網站權重和拜訪量;

　　2、制止某些文件被查找引擎索引，能夠節約服務器帶寬和網站拜訪速度;

　　3、為查找引擎供給一個簡潔明了的索引環境

　　1)、圖像目錄

　　圖像是構成網站的首要組成元素。跟著現在網站建設越來越便利，許多cms的呈現，真實做到了會打字就會建網站，而正是由于如此便利，網上呈現了許多的同質化模板網站，被重復運用，這樣的網站查找引擎是必定不喜愛的，就算是你的網站被錄入了，那你的作用也是很差的。若是你非要用這種網站的話，主張你大概在robots.txt文件中進行屏蔽，一般的網站圖像目錄是：imags或許img;

　　2)、網站模板目錄

　　如上面圖像目錄中所說，cms的強大和靈敏，也致使了許多同質化的網站模板的呈現和亂用，高度的重復性模板在查找引擎中形成了一種冗余，且模板文件常常與生成文件高度類似，相同易形成相同內容的呈現。對查找引擎很不友愛，嚴峻的直接被查找引擎打入冷宮，不得翻身，許多cms有具有獨立的模板寄存目錄，因而，大概進行模板目錄的屏蔽。一般模板目錄的文件目錄是：templets

　　3)、css、js目錄的屏蔽

　　css目錄文件在查找引擎的抓取中沒有用途，也無法供給有價值的信息。所以強烈主張在robots.txt文件中將其進行屏蔽，以進步查找引擎的索引質量。為查找引擎供給一個簡潔明了的索引環境更易晉升網站友愛性。css款式的目錄一般情況下是：css或許style

　　js文件在查找引擎中無法進行辨認，這里僅僅主張，能夠對其進行屏蔽，這樣做也有一個優點：為查找引擎供給一個簡潔明了的索引環境;

　　4)、屏蔽雙頁面的內容

　　這里拿dedecms來舉例吧。我們都曉得dedecms能夠運用靜態和動態url進行同一篇內容的拜訪，若是你生成全站靜態了，那你有必要屏蔽動態地址的url連接。這里有兩個優點：1、查找引擎對靜態的url比動態的url更友愛、更簡單錄入;2、避免靜態、動態url能拜訪同一篇文章而被查找引擎判為重復內容。這樣做對查找引擎友愛性來說是有益無害的。

　　5)、模板緩存目錄

　　許多cms程序都有緩存目錄，這種緩存目錄的優點我想不用說我們也明白了吧，能夠十分有用的晉升網站的拜訪速度，削減網站帶寬，對用戶體會也是極好的。不過，這樣的緩存目錄也有必定的缺陷，那就是會讓查找引擎進行重復的抓取，一個網站中內容重復也是大祭，對網站百害而無一利。許多運用cms網站建設的兄弟都沒有注意到，有必要要導致注重。

　　6)被刪去的目錄

　　死鏈過多，對查找引擎seo來說，是喪命的。不能不導致站長的高度注重，。在網站的開展過程中，目錄的刪去和調整是不可避免的，若是你的網站當時目錄不存在了，那有必要對此目錄進行robots屏蔽，并回來正確的404過錯頁面(注意：在iis中，有的兄弟在設置404過錯的時分，設置存在疑問，在自定義過錯頁面一項中，404過錯的正確設置大概是挑選：默認值或許文件，而不大概是：url，以避免查找引擎回來200的狀況碼。至于怎樣設置，網上教程許多，我們要吧查找一下)

　　這里有一個爭議性的疑問，關于網站后臺辦理目錄是不是需求進行屏蔽，其實這個可有可無。在能確保網站安全的情況下，若是你的網站運營規劃較小，就算網站目錄呈現在robots.txt文件中，也沒有多大疑問，這個我也見過許多網站這樣設置的;但若是你的網站運營規劃較大，對手過多，強烈主張千萬別呈現網站后臺管理目錄的信息，以防被心懷叵測的人使用，危害你的利益;引擎越來越智能，關于網站的管理目錄仍是能極好的辨認，并拋棄索引的。別的，我們在做網站后臺的時分，也能夠在頁面元標簽中增加：進行查找引擎的屏蔽抓取。

　　內容項的基本格式：鍵:值對。

　　1)User-Agent鍵

　　后面的內容對應的是各個具體的搜索引擎爬行器的名稱。如百度是Baiduspider，谷歌是Googlebot。

　　一般我們這樣寫：

　　User-Agent:*

　　表示允許所有搜索引擎蜘蛛來爬行抓取。如果只想讓某一個搜索引擎蜘蛛來爬行，在后面列出名字即可。如果是多個，則重復寫。

　　注意：User-Agent:后面要有一個空格。

　　在robots.txt中，鍵后面加：號，后面必有一個空格，和值相區分開。

　　2)Disallow鍵

　　該鍵用來說明不允許搜索引擎蜘蛛抓取的URL路徑。

　　例如：Disallow:禁止網站index.php文件

　　Allow鍵

　　該鍵說明允許搜索引擎蜘蛛爬行的URL路徑

　　例如：Allow:允許網站的index.php

　　通配符*

　　代表任意多個字符

　　例如：Disallow:/*.jpg網站所有的jpg文件被禁止了。

　　結束符$

　　表示以前面字符結束的url。

　　例如：Disallow:/?$網站所有以?結尾的文件被禁止。