詳解Robots.txt的各個數(shù)值
發(fā)布時間：2022-01-21 點擊：751
搜索引擎使用spider程序自動訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息。spider在訪問一個網(wǎng)站時，會首先會檢查該網(wǎng)站的根域下是否有一個叫做robots.txt的純文本文件。您可以在您的網(wǎng)站中創(chuàng)建一個純文本文件robots.txt，在文件中聲明該網(wǎng)站中不想被robot訪問的部分或者指定搜索引擎蜘蛛只收錄特定的部分。這里提醒一下，請注意：當(dāng)你網(wǎng)站不希望搜索引擎全部收錄時才用到robots.txt文件（比如你網(wǎng)站后臺頁面）如果你希望搜索引擎全部收錄你的網(wǎng)站，請建立一個空的robots.txt文件。
1.首先告訴大家robots.txt文件要放在你網(wǎng)站的根目錄里面。當(dāng)你修改了你的robots.txt一般會在48小時內(nèi)生效（對于搜索引擎來說）。
2.如果你要禁止搜索引擎在搜索你網(wǎng)站時顯示快照，而只對你的網(wǎng)站索引，什么辦呢？ 百度支持通過設(shè)置網(wǎng)頁的meta，防止搜索引擎顯示網(wǎng)站的快照。方法如下：
要防止所有搜索引擎顯示您網(wǎng)站的快照，請將此元標(biāo)記置入網(wǎng)頁的 <head> 部分：
<meta name=”robots” content=”noarchive”>
要允許其他搜索引擎顯示快照，但僅防止百度顯示，請使用以下標(biāo)記：
<meta name=”baiduspider” content=”noarchive”>
注：此標(biāo)記只是禁止百度顯示該網(wǎng)頁的快照，百度會繼續(xù)為網(wǎng)頁建索引，并在搜索結(jié)果中顯示網(wǎng)頁摘要。
3.我們來看一下如何寫robots.txt,他的格式是什么樣的。
該文本是以 user-agent: 作為文本記錄開頭的。這個值有什么樣呢？它是來描述搜索引擎robots的名字。
比如說你要專指百度搜索引擎你就可以寫為 user-agent: baiduspider
同樣的谷歌就是 user-agent:googlespider 比如你要描述soso圖片蜘蛛你可以寫 user-agent:sosoimagespider 這樣都可以 如果你要針對所有搜索引擎呢 user-agent: *就是所有搜索引擎全部概括了。
robots.txt 除了第一項 user-agent: 還有其他兩項 disallow: allow: 但是user-agent: 是唯一項 他后面可以加若干disallow和allow行 也就是這種格式
user-agent: *
disallow:
disallow:
disallow:
allow:
allow:
allow:
后面加多少個disallow和allow行都可以 是根據(jù)你需要來加的。好了我接著說disallow,該項就是告訴搜索引擎我不希望我網(wǎng)站的那些網(wǎng)頁收錄的。你就可以用disallow的描述來限制搜索引擎 我們來舉個例子，比如我要限制所有搜索引擎不收錄我的后臺目錄admin那么我們什么做呢？來看一下
user-agent: *
disallow:/admin/
如果是要顯示百度不要收錄我的這個目錄其實搜索引擎可以什么做呢 前面我們說到了
user-agent: baiduspider
disallow:/admin/
你問如果是要禁止所有搜索引擎訪問全站應(yīng)該什么辦呢？我們來看一下
user-agent: *
disallow:/
如果要禁止訪問多個文件夾呢 比如我要禁止訪問 admin image data 3個文件夾
user-agent: *
disallow:/admin/
disallow:/image/
disallow:/data/
我們來解釋一下allow行是做什么的？其實這個allow和disallow是相反的。allow他的意思就是希望搜索引擎訪問我網(wǎng)站的一下路徑，allow通常與disallow搭配使用。下面我們舉個例子:
我要允許訪問特定目錄中的部分url 比如我不要他訪問我admin目錄 但是我希望他訪問我admin目錄里面的hdd.html 什么辦呢？這時候我們就可以用到allow了 來看例子
user-agent: *
allow:/admin/hdd
disallow:/admin/
順便所一下 在robots.txt里面可以使用”*”和”$”：baiduspider支持使用通配符”*”和”$”來模糊匹配url。
“$” 匹配行結(jié)束符。
“*” 匹配0或多個任意字符。
舉個例子： 使用”*”限制訪問url 。禁止訪問/iea/目錄下的所有以”.htm”為后綴的
url(包含子目錄)。
user-agent: *
disallow:/iea/*.htm
再來舉個例子 關(guān)于使用”$”限制訪問url ， 僅允許訪問以”.htm”為后綴的url。
user-agent: *
allow: .htm$
disallow: /
1.首先告訴大家robots.txt文件要放在你網(wǎng)站的根目錄里面。當(dāng)你修改了你的robots.txt一般會在48小時內(nèi)生效（對于搜索引擎來說）。
2.如果你要禁止搜索引擎在搜索你網(wǎng)站時顯示快照，而只對你的網(wǎng)站索引，什么辦呢？ 百度支持通過設(shè)置網(wǎng)頁的meta，防止搜索引擎顯示網(wǎng)站的快照。方法如下：
要防止所有搜索引擎顯示您網(wǎng)站的快照，請將此元標(biāo)記置入網(wǎng)頁的 <head> 部分：
<meta name=”robots” content=”noarchive”>
要允許其他搜索引擎顯示快照，但僅防止百度顯示，請使用以下標(biāo)記：
<meta name=”baiduspider” content=”noarchive”>
注：此標(biāo)記只是禁止百度顯示該網(wǎng)頁的快照，百度會繼續(xù)為網(wǎng)頁建索引，并在搜索結(jié)果中顯示網(wǎng)頁摘要。
3.我們來看一下如何寫robots.txt,他的格式是什么樣的。
該文本是以 user-agent: 作為文本記錄開頭的。這個值有什么樣呢？它是來描述搜索引擎robots的名字。
比如說你要專指百度搜索引擎你就可以寫為 user-agent: baiduspider
同樣的谷歌就是 user-agent:googlespider 比如你要描述soso圖片蜘蛛你可以寫 user-agent:sosoimagespider 這樣都可以 如果你要針對所有搜索引擎呢 user-agent: *就是所有搜索引擎全部概括了。
robots.txt 除了第一項 user-agent: 還有其他兩項 disallow: allow: 但是user-agent: 是唯一項 他后面可以加若干disallow和allow行 也就是這種格式
user-agent: *
disallow:
disallow:
disallow:
allow:
allow:
allow:
后面加多少個disallow和allow行都可以 是根據(jù)你需要來加的。好了我接著說disallow,該項就是告訴搜索引擎我不希望我網(wǎng)站的那些網(wǎng)頁收錄的。你就可以用disallow的描述來限制搜索引擎 我們來舉個例子，比如我要限制所有搜索引擎不收錄我的后臺目錄admin那么我們什么做呢？來看一下
user-agent: *
disallow:/admin/
如果是要顯示百度不要收錄我的這個目錄其實搜索引擎可以什么做呢 前面我們說到了
user-agent: baiduspider
disallow:/admin/
你問如果是要禁止所有搜索引擎訪問全站應(yīng)該什么辦呢？我們來看一下
user-agent: *
disallow:/
如果要禁止訪問多個文件夾呢 比如我要禁止訪問 admin image data 3個文件夾
user-agent: *
disallow:/admin/
disallow:/image/
disallow:/data/
我們來解釋一下allow行是做什么的？其實這個allow和disallow是相反的。allow他的意思就是希望搜索引擎訪問我網(wǎng)站的一下路徑，allow通常與disallow搭配使用。下面我們舉個例子:
我要允許訪問特定目錄中的部分url 比如我不要他訪問我admin目錄 但是我希望他訪問我admin目錄里面的hdd.html 什么辦呢？這時候我們就可以用到allow了 來看例子
user-agent: *
allow:/admin/hdd
disallow:/admin/
順便所一下 在robots.txt里面可以使用”*”和”$”：baiduspider支持使用通配符”*”和”$”來模糊匹配url。
“$” 匹配行結(jié)束符。
“*” 匹配0或多個任意字符。
舉個例子： 使用”*”限制訪問url 。禁止訪問/iea/目錄下的所有以”.htm”為后綴的
url(包含子目錄)。
user-agent: *
disallow:/iea/*.htm
再來舉個例子 關(guān)于使用”$”限制訪問url ， 僅允許訪問以”.htm”為后綴的url。
user-agent: *
allow: .htm$
disallow: /