很多時(shí)候，您會(huì)發(fā)現(xiàn)網(wǎng)站會(huì)引用了一個(gè)名為robots.txt的文件，您可以使用該文件來實(shí)現(xiàn)搜索引擎索引和爬行方面的不同目標(biāo)，告知搜索引擎是否應(yīng)抓取您的網(wǎng)頁。
robots.txt是什么？
我們都知道txt后綴的文件是純文本文檔，robots是機(jī)器人的意思，所以顧名思義，robots.txt文件也就是給搜索引擎蜘蛛這個(gè)機(jī)器人看 的純文本文件。robots.txt是搜索引擎公認(rèn)遵循的一個(gè)規(guī)范文 檔，它告訴Google、百度等搜索引擎哪些網(wǎng)頁允許抓取、索引并在搜索結(jié)果中顯示，哪些網(wǎng)頁是被禁止收錄的。 搜索引擎蜘蛛 spider（Googlebot/Baiduspider）來訪問你的網(wǎng)站頁面的時(shí)候，首先會(huì)查看你的網(wǎng)站根目錄下是否有robots.txt文件，如果有則按照里面設(shè)置的規(guī)則權(quán)限對(duì)你網(wǎng)站頁面進(jìn)行抓取和索引。
robots.txt的作用：
我們了解了什么是robots.txt，那它有什么作用，總體來說，robots.txt文件至少有下面兩方面的作用：
1、通過設(shè)置屏蔽搜索引擎訪問不必要被收錄的網(wǎng)站頁面，可以大大減少因spider抓取頁面所占用的網(wǎng)站帶寬，小網(wǎng)站不明顯，大型網(wǎng)站就很明顯了。
2、設(shè)置robots.txt可以指定google或百度不去索引哪些網(wǎng)址，比如我們通過url重寫將動(dòng)態(tài)網(wǎng)址靜態(tài)化為永久固定鏈接之后，就可以通過robots.txt設(shè)置權(quán)限，阻止Google或百度等搜索引擎索引那些動(dòng)態(tài)網(wǎng)址，從而大大減少了網(wǎng)站重復(fù)頁面，對(duì)SEO優(yōu)化起到了很明顯的作用。
robots.txt文件寫法舉例說明：
禁止Google/百度等所有搜索引擎訪問整個(gè)網(wǎng)站 | User-agent: *
Disallow: / |
允許所有的搜索引擎spider訪問整個(gè)網(wǎng)站(Disallow:可以用Allow: /替代) | User-agent: *
Disallow: |
禁止Baiduspider訪問您的網(wǎng)站，Google等其他搜索引擎不阻止 | User-agent: Baiduspider
Disallow: / |
只允許Google spider： Googlebot訪問您的網(wǎng)站，禁止百度等其他搜索引擎 | User-agent: Googlebot
Disallow:
User-agent: *
Disallow: / |
禁止搜索引擎蜘蛛spider訪問指定目錄
(spider不訪問這幾個(gè)目錄。每個(gè)目錄要分開聲明，不能合在一起) | User-agent: *
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /~jjjj/ |
禁止搜索引擎spider訪問指定目錄，但允許訪問該指定目錄的某個(gè)子目錄 | User-agent: *
Allow: /admin/far
Disallow: /admin/ |
使用通配符星號(hào)"*"設(shè)置禁止訪問的url
(禁止所有搜索引擎抓取/cgi-bin/目錄下的所有以".html"格式的網(wǎng)頁(包含子目錄)) | User-agent: *
Disallow: /cgi-bin/*.html |
使用美元符號(hào)"$"設(shè)置禁止訪問某一后綴的文件
(只允許訪問以".html"格式的網(wǎng)頁文件。) | User-agent: *
Allow: .html$
Disallow: / |
阻止google、百度等所有搜索引擎訪問網(wǎng)站中所有帶有?的動(dòng)態(tài)網(wǎng)址頁面 | User-agent: *
Disallow: /*?* |
阻止Google spider：Googlebot訪問網(wǎng)站上某種格式的圖片
(禁止訪問.jpg 格式的圖片) | User-agent: Googlebot
Disallow: .jpg$ |
只允許Google spider：Googlebot抓取網(wǎng)頁和.gif格式圖片
(Googlebot只能抓取gif格式的圖片和網(wǎng)頁，其他格式的圖片被禁止；
其他搜索引擎未設(shè)置) | User-agent: Googlebot
Allow: .gif$
Disallow: .jpg$
....... |
只禁止Google spider：Googlebot抓取.jpg格式圖片
(其他搜索引擎和其他格式圖片沒有禁止) | User-agent: Googlebot
Disallow: .jpg$ |
重復(fù)強(qiáng)調(diào)一下并請(qǐng)注意，您的網(wǎng)站上沒有robots.txt文件不會(huì)以任何方式損害您的網(wǎng)站。但是作為網(wǎng)站管理者必須知道網(wǎng)站使用robots.txt文件對(duì)搜索引擎來說是友好的，因?yàn)樗试S網(wǎng)站與搜索引擎蜘蛛通信并給他們一些指示。進(jìn)而有利于蜘蛛爬蟲抓取和收錄，希望河南網(wǎng)站建設(shè)公司小編分享對(duì)大家有幫助，感謝瀏覽！
