1、是否有蜘蛛來訪問
搜索引擎蜘蛛有哪些我們都知道吧,如果是做國內用戶的話就主要看看百度、360、搜狗蜘蛛是否按時到訪,做外貿的網站就要注重谷歌蜘蛛是否按時到訪,新站上線后要時刻關注蜘蛛來訪記錄,如果發(fā)現(xiàn)哪個蜘蛛沒來的話就要檢查網站的robots文件設置是否有問題。
注意:新站的日志上如果出現(xiàn)這個百度蜘蛛IP:121.14.89.*。表示這個新站已經擺脫了新站考察期,可以放心繼續(xù)努力了。
2、抓取了哪些目錄
通過蜘蛛抓取網站目錄的情況,查看網站重要的目錄是否被抓取,如果這些目錄沒有被抓取,看是不是網站的內鏈是不是不對,就需要對網站內鏈進行調整,如果網站內鏈沒問題就需要增加網站外鏈,引導蜘蛛來抓取。
注意:如果不希望一些毫無意義的目錄或者不想讓蜘蛛抓取的信息,建議用robots屏蔽掉。
3、抓取了哪些頁面、圖片
就像訪客會對一些頁面或者圖片青睞,蜘蛛也有自己喜歡抓取的頁面、圖片,這樣就可以分析這些頁面圖片和其它頁面有什么不同,為其他頁面、圖片優(yōu)化提供了參考物。
注意:對于蜘蛛不抓取的頁面,可以查看是不是這些頁面出現(xiàn)了頁面重復、url不規(guī)范等問題。
4、蜘蛛訪問次數(shù)、停留時間、抓取量
任何一個網站都希望蜘蛛來的勤快些,因為訪問次數(shù)越頻繁、停留時間越長、抓取的頁面越多就說明蜘蛛喜歡這個網站,如果發(fā)現(xiàn)蜘蛛停留時間長但是抓取量 少,需要查看是不是網站的訪問速度有問題、蜘蛛對網站內容抓取困難或者網站文章質量偏低蜘蛛不喜歡。因此為了獲取搜索引擎的好感,需要網站每天有規(guī)律性的 更新高質量內容。
注意:新站上線后,如果發(fā)現(xiàn)蜘蛛已經爬取過網站內容,這就說明搜索引擎已經開始對你的網站進行新站考察。這時就不要輕易修改網站結構、網站域名、網站程序、網站標題、關鍵詞、描述等,否則會加長百度考察期。
提升網站排名的秘密:在一段時間里就可以知道蜘蛛每天都是什么時間段來訪問網站,然后在搜索引擎蜘蛛來訪問網站時去更新站內內容,這樣利于頁面快速收錄。