對網站SEO優化人員來說，網站的收錄、排名、流量是我們必求的東西，但前提是，我們必須讓搜索引擎蜘蛛來抓我們的網站，否則網站內容再有價值也是徒勞。
互聯網就像一張大網一樣形成搜索引擎是通過一個單一的鏈接來抓取網站頁面的，這個行為就變成了蜘蛛抓取，或者叫做網絡爬蟲
所謂的蜘蛛就是搜索引擎的一個程序軟件，它自動地抓取頁面，蜘蛛會持續地訪問每個頁面的鏈接，
把html代碼數據輸入它自己的數據庫，這是搜索引擎的第一項任務，第二項任務是通過搜索引擎的排名算法來完成頁面的排名。
搜索引擎蜘蛛抓取原理
想要網站收錄，那么第一件事就是去給更新網站內容，但第七城網絡運營表示，有的時候你在這么更新原創內容搜索引擎蜘蛛就是不收錄你的網站，這是什么原因呢？原因很簡單，就是你不了解搜索引擎蜘蛛的爬行原理以及抓取原理，何謂搜索引擎蜘蛛抓取原理？
1)縱向抓取原理: 深度優先
當搜索引擎蜘蛛進入一個網站第一個入口之時，該蜘蛛就會順著第一個鏈接一直深入的縱向一個一個的頁面抓取，比如進入第一個，在進入下一個，再下下一個，直到進入到無法在進入，蜘蛛才會往返回去。
2)橫向抓取原理:廣度優先
當搜索引擎進入網站的第一個入口的時候，該蜘蛛不會順著網站一個一個頁面去抓取，而是一層一層的抓取，也就是說，只有搜索引擎把第一層所有的鏈接抓取完了，才會進入下一個鏈接去抓取其他頁面。
