robots協議也稱爬蟲協議、爬蟲規則等,是指網站可建立一個robots.txt文件來告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取,而搜索引擎則通過讀取robots.txt文件來識別這個頁面是否允許被抓取。通常被放置在根目錄下

目前位置robots協議文件寫法有如下：
user-agent:* 這里的*代表對所有的搜索引擎種類類型，*其實就是通配符的意思。
allow:/ 是代表所有的robots允許訪問。
Disallow: /是代表所有的robots不允許訪問。

文件寫法

User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符

Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄

Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄

Disallow: /ABC/ 這里定義是禁止爬尋ABC目錄下面的目錄

Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。

Disallow: /*?* 禁止訪問網站中所有包含問號 (?) 的網址

Disallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片

Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。

Allow: /cgi-bin/　這里定義是允許爬尋cgi-bin目錄下面的目錄

Allow: /tmp 這里定義是允許爬尋tmp的整個目錄

Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。

Allow: .gif$ 允許抓取網頁和gif格式圖片

Sitemap: 網站地圖 告訴爬蟲這個頁面是網站地圖

robots文件的作用：

1、可以屏蔽網站內一些打不開的鏈接，也就是死鏈接

2、可以屏蔽搜索引擎蜘蛛訪問網站內重復的內容和重復的頁面

3、阻止搜索引擎訪問網站的隱私性的內容。

4、阻止搜索引擎訪問網站的后臺內容。

5、告訴搜索引擎那些內容是需要被訪問的。指定爬網延遲，以便在爬網程序一次加載多個內容時防止服務器過載

6、防止搜索引擎索引您網站上的某些文件(圖像，PDF等)