居民
專職SEO與LAMP工作
|
通過robots.txt屏蔽國際公認垃圾蜘蛛的訪問
全球互聯網上有多少搜索引擎機器人(爬行蜘蛛)在工作?這個問題很難回答,你要知道有很多人開發了自己的機器人來竊取別人的信息,也有很多為了其他的利益而開發了機器人。這些機器人,都是垃圾機器人,不但占用了網站的帶寬,而且網站的用戶信息都可能已經被偷走了。這裏,我根據國外同行的一些小技巧介紹下如何給自己的添加robots.txt並進行設置,來徹底與垃圾搜索引擎機器人說Goodbye。
首先,打開記事本,復制下面這些代碼。代碼解釋:下面是126個國際上公認的垃圾搜索引擎機器人、蜘蛛、搜索代理等,通過disallow:/來完全禁止他們爬行網站。然後保存這個記事本,命名為robots.txt。
把這個保存好的文件上傳到你的網站根目錄下,也就是你的網站index.htm的相同目錄下。
大功告成。
就這麽簡單,利用robots.txt設置,可以完全把垃圾機器人和蜘蛛屏蔽掉,他們以後再也不會來到你的網站為非作歹了。
相關閱讀
巧妙使用robots.txt提升網站的權重
作者:網棍@南天 - SEO與網絡營銷
南天SEO - 全面知識,免費分享
文章名稱:通過robots.txt屏蔽國際公認垃圾蜘蛛的訪問,版權所有
|
|