2015年3月1日星期日

從日志看搜索引擎訪問網站的真相

-從日志看搜索引擎訪問網站的真相

從日志看搜索引擎訪問網站的真相


  平時對網站做優化都非常註重網站的數據,比如收錄、快照和排名。尤其對於大型網站,很多都存在收錄不理想的問題,這個時候就不能僅僅看表面的數據判斷出現這種問題的原因,而是應該深入一層,通過網站日志,查看搜索引擎蜘蛛對網站訪問的具體情況來找到一些答案。我平時分析網站的時候,也非常註重從日志查看問題,一般都能找到問題的根源。今天與大傢分享一下自己的方法和思路,希望多交流。

  查看搜索引擎蜘蛛爬行總次數

  一個網站的收錄首先要搜索引擎蜘蛛來到網站爬去才能夠實現。通過查看日志能夠清楚的看到每天蜘蛛訪問網站的總次數有多少,從而大致的判斷網站的權重如何。一個高權重的網站,蜘蛛來訪的次數相對是較多的,相反,一個低權重的網站,即使有非常龐大規模的內容,蜘蛛來訪的次數依舊有限。爬行次數有限,分配的時間和深度也就有限,所以收錄也就受到瞭限制。所以我們的重點就是多提供百度來訪我們網站的入口,隻有入口多瞭,訪問次數才能得到提升。

  查看所有被爬行目錄的整體情況

  通過日志查看所有被爬行目錄的整體情況,能讓我們知道搜索引擎爬行最多的目錄是哪些,是否是我們想要提供給用戶的目錄。一般可以非常清楚的看到排名前十位的目錄,如果這些目錄並不是我們重點提供給用戶內容的目錄,那麼就需要做出調整,說明當前的一些目錄被多度爬行瞭,而真正有價值的目錄沒有被搜索引擎過度重視,要及時發現並找到原因。

  查看爬行榜前十名的頁面情況

  除瞭查看蜘蛛總訪問次數以及爬行目錄的整體情況,剩下一個非常重要的就是查看爬行總頁面的情況。我平時分析網站的時候,時常會看到,被蜘蛛爬行前幾名的頁面都是一些無關緊要的頁面,比如B2C購物車鏈接頁面、比如聯系我們頁面、一些主題中CSS文件,這些頁面和文件對排名和收錄本來沒有實際的幫助,但現實情況是蜘蛛爬行的最多,所以就會造成浪費,畢竟蜘蛛來訪一個網站的總時間和總爬行次數是一定的,總抓取深度也是一定的,如果時間都浪費在瞭這些頁面上,那麼對於重點的內頁收錄就會受到影響。因此通過日志發現之後,就需要在robots.txt中屏蔽掉,或者在頁面meta中屏蔽掉。

  查看平均爬行一次的抓取深度

  通過日志查看平均一次的抓取深度能有效的瞭解到網站內部結構的不足。比如百度蜘蛛在某天訪問網站總共818次,抓取量是978,那麼平均每次抓取的頁面數就為1.2頁。其實這個數據也是普遍存在的現象,很多網站都存在這樣的現象。這充分說明瞭網站的內部鏈接做的不足,或者網站結構存在問題,或者是內容出現瞭高度重復現象,導致蜘蛛來到網站,要麼沒有什麼新發現,要麼被結構所阻止,爬行不到新的頁面。畢竟,蜘蛛平均在我們網站存在的整體時間是有限的,在這個有限的時間內,如果我們自己設置瞭障礙,那麼蜘蛛就會走掉,是非常可惜的事情。

  通過以上幾點的說明,就能看到搜索引擎對我們網站訪問的整體情況,瞭解瞭這些情況,在下一步的優化過程中就非常具有針對性。如果不通過日志,那麼很多問題就隻能看到表面現象,就會出現猜測是的結論,可能對網站起不到對癥下藥的作用。希望這篇文章能讓更多的站長受益。好瞭,本文就到這裡,由網頁遊戲排行榜供稿,網址:

没有评论:

发表评论