今天無意中看到一位站長朋友的訴說，講的是他新站為什么沒有被收錄，從發現問題的原因到解決問題中一系列的工作。感覺比較典型，很多人可能會遇到，現在貼出來分享給大家。

　　問題原因：

　　該站長在新站上線后不久，網站內部就出現了重大的bug(漏洞)。該站長先用robots.txt文件屏蔽了搜索引擎的抓取，然后對網站的bng進行修復。

　　問題處理：

　　等到網站的bug修復完成后，該網友再次對robots.txt文件進行了修改，允許所有搜索引擎的抓取。表面上看做到這一步就可以等搜索引擎過來抓取內容了，可是一個星期過去網站一點反應也沒有，查看網站日志，連蜘蛛都木有來過。于是干脆刪除了網站的robots.txt文件。

　　問題原理：

　　通過百度站長工具檢測，發現了原來原因就隱藏在robots.txt文件中，當他發現網站有bng的時候，他禁止了搜索引擎的抓取，而蜘蛛發現這個網站是禁止抓取的，就會默認一個時間段不在去爬了。百度的站長工具顯示，網站robots.txt文件更新時間就停留在禁止搜索引擎抓取的那天，以后都沒在更新過。這也就更加證明了蜘蛛在爬行到一個禁止抓取的頁面，它就不在抓取，并默認下次在來抓取的時間間隔，這就可以解釋了很多站長為什么在解除robots.txt文件限制蜘蛛抓取后，也要一段才會重新收錄新內容的原因了，只是以前百度沒有出站長工具我們不知道而已。

　　解決辦法：

　　知道了原理，那么解決起來也就容易多了。大家請看下圖：

　　先去開通百度站長工具-robots.txt工具，在更新一下就可以了，新站沒有收錄一定不要忽略robots.txt文件。