網站優化適度屏蔽“網絡蜘蛛”有益無害

網棍

網站優化適度屏蔽“網絡蜘蛛”有益無害


網站優化做的是使搜索引擎快速索引頁面，從而增加權重和訪問量。由此站長喜歡網絡蜘蛛將網站爬個遍，吃個透。但是讓蜘蛛肆無忌憚的去爬行真的就有益於網站優化嗎？很多站長在robots.txt文本中可能除了ADMIN、DATA目錄限制蜘蛛爬行，其他目錄任蜘蛛索引。筆者要說，做網站優化除了一些安全目錄外再應適度屏蔽一些目錄，禁止搜索引擎的索引是有益無害的。

　　一：圖片目錄的屏蔽

　　圖片是構成網站組成的主要元素，然而主題模板中類似的圖片在搜索引擎中鋪天蓋地，搜索引擎一遍遍的索引下去還會進行收錄嗎？即使收錄了，所帶的效果也是微乎其微的。一個不錯的網站，每天各式各樣的蜘蛛加起來來訪不下幾千次，無疑是浪費了大量的帶寬。一般我們常屏蔽的目錄為“images、images”。

　　二：緩存目錄的屏蔽

　　很多程序都具有緩存目錄，拿z-blog這個程序來舉例子，它的緩存目錄為“CACHE”，其中會有著不少已經生成HTML的緩存文件。如果蜘蛛繼續進行索引的話，無疑是造成了重復內容的索引，這對網站是有害無益的。看到不少使用Z-blog的朋友都沒有進行設置，可能是沒有引起足夠的重視吧。當然，其他程序還有這各自不同的緩存目錄，針對性的進行屏蔽才最為適宜。

　　三：模板目錄的屏蔽

　　對於程序的模板，大多站長都選擇了直接套用而非獨立模板。模板的高度重復性也成為了一個搜索引擎中信息的冗余，因此利用Robots.txt來進行模板的屏蔽也是有益無害的。且模板文件常常與生成文件高度相似，同樣易造成雷同內容的出現。

　　四：CSS目錄的屏蔽

　　CSS目錄，搜索引擎抓取無用，所以我們在設置Robots.txt文件中將其進行屏蔽，以提高搜索引擎的索引質量。為搜索引擎提供一個簡潔明了的索引環境更易提升網站友好性。

　　五：部分程序的RSS頁

　　此條只針對存在RSS頁的程序來講，一般博客中比較常見。此頁面可以說是一個高度重復的頁面，完全有必要進行屏蔽，以增強網站在搜索引擎中的友好性。

　　六：屏蔽雙頁面的內容

　　一個可以生成靜態頁面的網站，一般來說動態頁面也是可以訪問的。如：“www.XXXX/1.html與www.xxxxx/asp?id=1”，兩者若被搜索引擎完全索引，無疑是訪問到了完全一致的內容，對搜索引擎友好性來說是有害無益的。而我們屏蔽的往往都是後者，因為前者頁面為靜態，更易被搜索引擎索引收錄。

　　七：涉及程序安全頁

　　在起始位置我們交代了屏蔽ADMIN、DATA目錄，防止安全目錄與數據庫泄露。另外數據庫目錄、網站日誌目錄、備份目錄都是需要進行屏蔽的，都是可以有效減少“泄密”現象的發生。

　　八：屏蔽文件形式

　　一些站長總是喜歡將網站備份後方到網站下載後忘記刪除，或者根本不做下載，直接保留到服務器。但是大家都知道，網站發展壯大必定受到一些人的窺視，網站一次次的被嘗試下在數據庫、備份文件，稍微有點名次的網站都會受到類似的攻擊。利用robots.txt屏蔽類似“rar、zip”等類似的文件。實質上，這樣的屏蔽方式更有益於“第七點”，但是做到的仍然只是局部。


屏蔽方法請參閱：
http://www.sskyn.com/thread-5153-1-1.html


作者：網棍@南天網 - SEO與網站營銷交流
南天SEO - 全面知識，免費分享
文章名稱：網站優化適度屏蔽“網絡蜘蛛”有益無害，版權所有