如果引用或轉貼,麻煩註明出處與本網誌連結,否則視為侵權。

2014年1月7日

甚麼是網站的robot.txt ?

作者: Fred Wang (FW知識瑣記) 日期: 2013/1/7

網站robot.txt在早期有網頁搜尋引擎時就出現的一種機制,放在網站的根目錄下,用來讓搜尋引擎辨識用的。並不是所有的網站都要建立robot.txt文件,只有當網站全部或部分內容不希望被搜索引擎收錄容時,才需要使用robots.txt

    如果您希望搜索引擎收錄網站上所有內容,就不要建立robots.txt文件。當robot.txt不存在的時候,搜索引擎蜘蛛就會直接爬鏈接。

    因此,robot.txt並不是用來提高網站搜尋排名用途的!

    robot.txt的寫法可以參考這個網址 http://eric0703.pentaxfans.net/2016