作者: Fred Wang (FW知識瑣記) 日期: 2013/1/7
網站robot.txt在早期有網頁搜尋引擎時就出現的一種機制，放在網站的根目錄下，用來讓搜尋引擎辨識用的。並不是所有的網站都要建立robot.txt文件，只有當網站全部或部分內容不希望被搜索引擎收錄容時，才需要使用robots.txt。
如果您希望搜索引擎收錄網站上所有內容，就不要建立robots.txt文件。當robot.txt不存在的時候，搜索引擎蜘蛛就會直接爬鏈接。
因此，robot.txt並不是用來提高網站搜尋排名用途的!
robot.txt的寫法可以參考這個網址 http://eric0703.pentaxfans.net/2016