robots文件的用法和robots.txt的寫法

我們說robots.txt是站長和搜索引擎交互的重要工具之一。

是我們向搜索引擎?zhèn)鬟f站點信息重要手段。

那么robots文件是怎么用的？robots.txt的寫法是怎么樣的？

robots文件的常見用法如下：

1、可以告訴搜索引擎哪些URL是可以收錄的。

2、可以屏蔽的站點死連接，錯誤連接。

3、可以屏蔽網站上存在一些比較大的文件、比如：打包文件、大圖片文件、音樂文件、或電影

文件、日志文件夾等等。因為這些文件可能讓你的流量過大，占用過多寬帶

robots.txt的寫法：

首先：robots.txt的命名，都應該是小寫。

robots.txt文件中一般至少要包含一個Disallow：

如果都允許收錄，你可以寫一行Disallow:/searchABC.html

這個文件(searchABC.html)本來就不存在也沒關系。

你可以查看Seoer365的robots文件！http:www.seoer365.com/robots.txt

robots.txt寫法格式：

User-agent: *
Disallow: /searchABC.html
Disallow: /index.asp?
Disallow: /Images/

User-agent: * 星號說明，允許所有的搜索引擎來收錄

Disallow: /search.html  說明不允許收錄 /search.html 這個文件

Disallow: /index.asp?  說明不允許收錄以index.asp?為前綴的鏈接如：index.asp?

boardid=1、index.asp?/search等等。

Disallow: /Images/  說明不允許收錄/Images/里的所有文件。但可以收錄如：/Images.asp 的鏈接。

這里是我們在SEO中常用的寫法。如果你想了解更多可到百度官方網站查看：

http://www.baidu.com/search/robots.html

相關疑問
如果沒有robots文件要不要緊？
我們說搜索引擎用來爬取網頁內容的工具我們稱之為搜索引擎機器人，搜索引擎機器人每次來到要抓取的網站，都會先訪問這個網站根目錄下的一個文件（robots.txt），如果不存在該文件，則搜索引擎機器人默認這個網站允許其全部抓取。不過我們建議網站要有自己獨特的robots文件，這樣搜索引擎會覺得比較正規(guī)！