一步一步教您 [SEO] yourwebsite(2)

 何謂 [SEO]  robots.txt

• 先瞭解什麼是 robots.txt 檔案:robots.txt 檔案是來限制檢索網頁的搜尋引擎如 google 、yahoo、bing.....的漫遊器來存取您的網站。這些自動化的漫遊器,在存取網站的網頁前，會先檢查網站是否擁有阻止它們存取特定網頁的 robots.txt 檔案。 它是一個文字檔，一定要放在網站的根目錄下面。這個檔案可以定義是否允許搜尋引擎收錄以及決定哪些目錄與檔案要讓搜尋引擎收錄。

• 重點是(為什麼跟  [SEO]  有關):幾乎所有的虛擬主機，都允許多的域名及站台，除了頭一個域名之外，其他的域名都是建立在第一個域名的子目錄下。如果沒有把不屬於該站台的目錄排除掉，就會分散該站台排名的權重。

 在Robots.txt的檔案中，我們會把一些像是標籤、目錄排除掉。

Disallow: /tag/

Disallow: /category/

這是因為不要讓搜尋引擎在不同的網址，收錄到同樣的內容的文章進而分散掉文章排名的權重。

• robots.txt 檔案建立步驟(本段出自google):

在「網站管理員工具」首頁上，按一下你要建立此檔案的網站。

在 [網站設定] 下，按一下 [檢索器存取]。

按一下 [產生 robots.txt] 標籤。

選擇預設漫遊器存取權。我們建議您允許所有漫遊器，並執行下一個步驟來排除您不想讓其存取您網站的特定漫遊器。這可以避免從您網站意外封鎖重要的檢索器。

指定任何其他規則。例如，若要封鎖 Googlebot，使其無法檢索您網站上的所有檔案和目錄：

在 [動作] 清單中，選取 [不允許]。

在 [漫遊器] 清單中，按一下 [Googlebot]。

在 [檔案或目錄] 方塊中，輸入 /。

按一下 [新增]。robots.txt 檔案的代碼將會自動產生。

儲存 robots.txt 檔案，方法是下載檔案或是將內容複製到文字檔並儲存為 robots.txt。將檔案儲存到您網站的最高層級目錄。robots.txt 必須存放在網域的根目錄，並命名為「robots.txt」。位於子目錄的 robots.txt 檔案是無效的，因為漫遊器僅在網域根目錄中查找此檔案。例如，http://www.example.com/robots.txt 是有效位置，但 http://www.example.com/我的網站/robots.txt 則不是。