巧妙使用robots.txt提升網站的權重

網棍

巧妙使用robots.txt提升網站的權重


　　這不是什麽訣竅，而是向大家提供一種思路。

　　目前采集站很多，加上百度算法頻繁調整，被降權，被封殺（K）成光桿司令（只剩下首頁被收錄）的站比比皆是。

　　我的新站易拍屋www.epioo.com就更不例外了。這是一個網摘類站點，在會員收藏網頁的同時不僅給網頁截圖還保存原網頁代碼，即完全備份一個頁面，存在高度復制性。

　　剛開始的時候百度收錄3千頁每天就有1千多IP，可是好景不長，幾天下來，每天變成了0IP，一桿子降到底，收錄也放緩了。

　　我就在思索為什麽如此高度複製的網頁，百度只是降低了權重，卻沒有封殺（K站）。除了模板完全原創以外難道還有什麽原因讓百度認為易拍屋還是有點可親呢?

　　思來想去大概原因只有一個，就是我的網站裏還有相當數量的網頁列表頁和標簽頁不存在太高的複製性。從百度收錄偏好上來看也是如此，你可以查看site:epioo.com，標籤頁收得最多。而標簽頁全是標題鏈接，對SEO非常有利，如果網站權重能提升的話，呵呵...

　　為了進一步論證列表頁不會被視為垃圾頁，我特地觀查了網圖導航www.wt265.cn，該網站列表頁也存在複製性，但是一直沒有被降權，而且穩居百度網址排行第2位：

　　http://up.baidu.com/rank_16.html

　　看到這裏就有一線點曙光了——舍卒保帥，自已刪掉內容頁!

　　真的刪除內容頁不太可能，最簡單的辦法當然就是讓robots.txt告訴親愛的百度不要理會內容頁了。

　　如何設置robots.txt請參考http://www.baidu.com/search/robots.html

　　需要特別註意的是Disallow與Allow行的順序是有意義的，robot會根據第一個匹配成功的Allow或Disallow行確定是否訪問某個URL。

　　GOOGLE和百度都支持使用"*"和"$"：
　　baiduspider支持使用通配符"*"和"$"來模糊匹配url。
　　"$"匹配行結束符。
　　"*"匹配0或多個任意字符。

　　變廢為寶，大家快用robots.txt打造一個偽原創站吧!


本來想自己寫一篇的，但是今天已經寫了很多了，以後想提筆（提筆？？？）又很難，姑且轉載一篇相關的吧...


作者：wzqxb@南天網 - SEO與網站營銷交流
南天SEO - 全面知識，免費分享
文章名稱：巧妙使用robots.txt提升網站的權重，wzqxb版權所有